Modelos con pesos abiertos y agentes en producción

Modelos más pequeños. Mejores resultados en tu tarea. Menor coste de operación.

Huyawo Solutions desarrolla modelos con pesos abiertos y agentes para producción. Mejoramos el rendimiento y la fiabilidad de tus tareas y reducimos la latencia y el coste.

EjemploCalidad de la tarea

Ganó el modelo más pequeño.

Referencia propietaria91.2%
Referencia con pesos abiertos79.8%
Modelo especializado93.1%

Este es un ejemplo. Evaluamos cada proyecto con la carga real del cliente y sus criterios de aceptación.

PropiedadEntrega

El resultado es tuyo.

  • Pesos o adaptadores
  • Procedimientos de entrenamiento y cuantización
  • Resultados de evaluación
  • Scripts y configuraciones
  • Evidencia del flujo del agente cuando corresponda
  • Instrucciones para repetir las pruebas

Tras la entrega, tu equipo puede trabajar por su cuenta.

Modelos con pesos abiertosAjuste finoCuantizaciónEspecialización por tareaEvaluación de modelosEconomía de la inferenciaFiabilidad del agentePropiedad del modelo Modelos con pesos abiertosAjuste finoCuantizaciónEspecialización por tareaEvaluación de modelosEconomía de la inferenciaFiabilidad del agentePropiedad del modelo

Servicios de consultoría

Seis servicios. Un criterio común de evaluación.

Trabajamos con un alcance definido y medimos la eficiencia de los modelos y la fiabilidad de los agentes en tareas reales.

01

Auditoría de costes y viabilidad del modelo

Comparamos las opciones con el modelo actual y documentamos si conviene sustituirlo, especializarlo o comprimirlo.

02

Proyecto de especialización de SLM

Ajustamos un modelo más pequeño con pesos abiertos, lo comparamos con el actual en tu tarea y entregamos el modelo o los adaptadores junto con los resultados.

03

Proyecto de cuantización y eficiencia del modelo

Medimos la calidad y el coste en el hardware de destino para encontrar la configuración más barata que cumple tus requisitos.

04

Servicio principal

Sustitución de modelos propietarios por modelos con pesos abiertos

Adaptamos y comprimimos un modelo con pesos abiertos para sustituir al propietario. Verificamos el rendimiento en la tarea y el coste de despliegue.

05

Auditoría de costes y fiabilidad del agente

Revisamos las trazas del agente en tareas representativas, calculamos el coste por tarea completada correctamente y recomendamos cambios.

06

Evaluación de agentes y optimización de flujos

Definimos pruebas para las tareas y el uso de herramientas. Solo adoptamos cambios que mantienen la corrección y la fiabilidad frente a una referencia fija.

Nuestro enfoque

Buscamos el modelo más pequeño que cumpla los requisitos.

El modelo debe alcanzar el rendimiento exigido de forma constante. Los modelos propietarios más avanzados pueden servir de referencia.

Prioridad a los pesos abiertos

Si las condiciones técnicas y los costes lo permiten, probamos si un modelo especializado con pesos abiertos puede sustituir una API propietaria.

Especializar antes de aumentar el tamaño

Probamos primero un modelo pequeño especializado en tu tarea antes de considerar uno mayor.

Optimizar todo el flujo del agente

Antes de proponer cambios, revisamos las llamadas y el resultado completo de cada tarea.

Evaluar antes de concluir

Juzgamos el resultado en tu carga de trabajo y según tus criterios de aceptación.

Estándar de eficiencia de Huyawo

El rendimiento va más allá de la precisión.

Comprobamos cada recomendación en tareas reales y medimos la eficiencia del modelo y el desempeño del agente.

01

Calidad de la tarea

¿Resuelve mejor el modelo la tarea real?

02

Tamaño del modelo

¿Cuál es el modelo más pequeño que cumple los requisitos?

03

Uso de memoria

¿Cuánta VRAM o RAM requiere?

04

Latencia

¿Cuánto tarda en responder?

05

Capacidad de procesamiento

¿Qué carga puede sostener en producción?

06

Coste de inferencia

¿Cuánto cuesta procesar la carga real?

07

Control del despliegue

¿Cuánto control conserva tu equipo?

08

Fiabilidad del agente

¿El flujo completa bien las tareas, usa las herramientas correctamente y limita los reintentos?

Equilibrio entre calidad y coste

Usar menos bits no siempre reduce el coste.

Buscamos la configuración de menor coste que cumpla el nivel de calidad exigido.

Ejemplo de comparación de configuraciones
ConfiguraciónCalidad de la tareaVRAMCapacidad de procesamientoCoste relativo
BF1694.148 GB1.00x1.00
FP894.027 GB1.42x0.67
INT893.925 GB1.51x0.61
INT493.215 GB2.11x0.38

Cómo trabajamos

De la referencia a un resultado comprobado.

Paso 01

Definir los criterios de aceptación

Medimos el punto de partida y acordamos los criterios de aceptación según las condiciones de operación.

Paso 02

Adaptar y evaluar

Probamos los cambios del modelo o del flujo del agente en la carga real.

Paso 03

Entregar resultados y materiales

Recibes lo acordado con los resultados de las pruebas, instrucciones para repetirlas y recomendaciones por escrito para producción.

Cada proyecto se cierra con evidencia

El dossier de modelos de Huyawo.

La documentación recoge las pruebas, los cambios y los fallos pendientes, y explica qué decisiones de producción respaldan los resultados.

HUYAWO / DOSSIER DEL MODELO Referencia, experimento, evidencia y recomendación.
ReferenciaDiseño del experimentoConjunto de datosConfiguración de entrenamientoConfiguración de cuantizaciónMétodo de evaluaciónResultados de calidadVRAMLatenciaCapacidad de procesamientoCosteCasos de falloÉxito del agente en las tareasFiabilidad del uso de herramientasConfiguración de producciónInstrucciones para repetir las pruebas

Evaluación de Huyawo

Infraestructura de evaluación con código abierto.

Evaluación de Huyawo es una herramienta de código abierto para evaluar modelos que está en desarrollo.

Evaluamos modelos y agentes en cargas de trabajo reales. Evaluación de Huyawo se está desarrollando para apoyar este método.

Condiciones comerciales

Alcance y costes acordados de antemano.

Acordamos los criterios de aceptación, el método de evaluación, los límites de cómputo y la entrega.

Si el trabajo continúa, se centra en mejoras del modelo o del agente acordadas de antemano.

Consulta sobre un proyecto

Cuéntanos qué problema quieres resolver.

Describe el modelo o flujo actual del agente y la limitación principal. Revisaremos tu caso y te propondremos el siguiente paso.