Modèles à poids ouverts et agents en production

Des modèles plus petits. De meilleurs résultats sur votre tâche. Des coûts réduits.

Huyawo Solutions développe des modèles à poids ouverts et des agents pour la production. Nous améliorons les résultats et la fiabilité des tâches tout en réduisant la latence et les coûts.

ExempleQualité sur la tâche

Le plus petit modèle l'a emporté.

Référence propriétaire91.2%
Référence à poids ouverts79.8%
Modèle spécialisé93.1%

Cet exemple est illustratif. Chaque projet est évalué sur la charge de travail du client et selon ses critères d'acceptation.

PropriétéLivraison

Le résultat vous appartient.

  • Poids ou adaptateurs
  • Procédures d'entraînement et de quantification
  • Résultats de l'évaluation
  • Scripts et configurations
  • Éléments de preuve sur le flux de l'agent, le cas échéant
  • Instructions pour refaire les tests

Après la livraison, votre équipe peut travailler en autonomie.

Modèles à poids ouvertsAjustement finQuantificationSpécialisation par tâcheÉvaluation des modèlesÉconomie de l'inférenceFiabilité de l'agentPropriété du modèle Modèles à poids ouvertsAjustement finQuantificationSpécialisation par tâcheÉvaluation des modèlesÉconomie de l'inférenceFiabilité de l'agentPropriété du modèle

Prestations de conseil

Six prestations, un même standard de vérification.

Nous définissons le périmètre du projet et mesurons l'efficacité des modèles et la fiabilité des agents sur des tâches réelles.

01

Audit des coûts et de la faisabilité du modèle

Nous comparons les options au modèle actuel et expliquons par écrit s'il convient de le remplacer, de le spécialiser ou de le compresser.

02

Projet de spécialisation d'un SLM

Nous ajustons un modèle plus petit à poids ouverts et le comparons à votre modèle sur la tâche. Nous livrons le modèle ou les adaptateurs avec les résultats.

03

Projet de quantification et d'efficacité du modèle

Nous mesurons la qualité et le coût sur le matériel cible pour trouver la configuration la moins chère qui répond aux exigences.

04

Prestation principale

Remplacement d'un modèle propriétaire par un modèle à poids ouverts

Nous adaptons et compressons un modèle à poids ouverts pour remplacer le modèle propriétaire. Nous vérifions ses résultats et le coût du déploiement.

05

Audit des coûts et de la fiabilité de l'agent

Nous examinons les traces de l'agent sur des tâches représentatives, calculons le coût par tâche réussie et recommandons des changements.

06

Évaluation des agents et optimisation des flux

Nous définissons des tests pour les tâches et l'usage des outils. Nous retenons les changements qui préservent la justesse et la fiabilité par rapport à une référence fixe.

Notre approche

Nous cherchons le plus petit modèle qui répond aux exigences.

Le modèle doit atteindre le niveau de performance requis de façon constante. Les modèles propriétaires les plus avancés peuvent servir de référence.

Priorité aux poids ouverts

Si la faisabilité et les coûts le permettent, nous vérifions si un modèle spécialisé à poids ouverts peut remplacer une API propriétaire.

Spécialiser avant d'augmenter la taille

Nous testons d'abord un petit modèle spécialisé sur votre tâche avant d'envisager un modèle plus grand.

Optimiser tout le flux de l'agent

Avant de recommander des changements, nous examinons les appels et le résultat de chaque tâche dans son ensemble.

Évaluer avant de conclure

Nous jugeons le résultat sur votre charge de travail et selon vos critères d'acceptation.

Standard d'efficacité de Huyawo

La performance va au-delà de la précision.

Nous vérifions chaque recommandation sur des tâches réelles et mesurons l'efficacité du modèle et le fonctionnement de l'agent.

01

Qualité sur la tâche

Le modèle résout il mieux la tâche réelle ?

02

Taille du modèle

Quel est le plus petit modèle qui répond aux exigences ?

03

Mémoire utilisée

De combien de VRAM ou de RAM le modèle a besoin ?

04

Latence

Combien de temps prend une réponse ?

05

Débit

Quelle charge le système peut supporter en production ?

06

Coût de l'inférence

Combien coûte le traitement de la charge réelle ?

07

Contrôle du déploiement

Quel contrôle votre équipe conserve ?

08

Fiabilité de l'agent

Le flux mène les tâches à bien, utilise correctement les outils et limite les nouvelles tentatives ?

Compromis entre qualité et coût

Réduire le nombre de bits ne réduit pas toujours le coût.

Nous cherchons la configuration la moins coûteuse qui atteint le niveau de qualité requis.

Exemple de comparaison de configurations
ConfigurationQualité sur la tâcheVRAMDébitCoût relatif
BF1694.148 GB1.00x1.00
FP894.027 GB1.42x0.67
INT893.925 GB1.51x0.61
INT493.215 GB2.11x0.38

Notre méthode

De la référence au résultat vérifié.

Étape 01

Définir les critères d'acceptation

Nous mesurons les performances actuelles et convenons des critères d'acceptation selon les conditions d'exploitation.

Étape 02

Adapter et évaluer

Nous testons les modifications du modèle ou du flux de l'agent sur la charge réelle.

Étape 03

Livrer les résultats et les éléments du projet

Vous recevez les éléments convenus, les résultats des tests, les instructions pour les refaire et des recommandations écrites pour la production.

Chaque projet se termine par des résultats documentés

Le dossier modèle de Huyawo.

Le dossier consigne les essais, les changements et les défaillances qui subsistent, puis indique quelles décisions de mise en production les résultats étayent.

HUYAWO / DOSSIER MODÈLE Référence, expérience, résultats et recommandation.
RéférencePlan de l'expérienceJeu de donnéesConfiguration d'entraînementConfiguration de quantificationMéthode d'évaluationRésultats de qualitéVRAMLatenceDébitCoûtCas d'échecRéussite des tâches par l'agentFiabilité de l'usage des outilsConfiguration de productionInstructions pour refaire les tests

Évaluation Huyawo

Une infrastructure d'évaluation à code ouvert.

Évaluation Huyawo est un outil à code ouvert pour l'évaluation des modèles, en cours de développement.

Nous évaluons les modèles et les agents sur des charges réelles. Évaluation Huyawo est développé pour appuyer cette méthode.

Conditions commerciales

Le périmètre et les coûts sont convenus à l'avance.

Nous convenons des critères d'acceptation, de la méthode d'évaluation, des limites de calcul et des éléments à livrer.

Les missions de suivi portent sur des améliorations du modèle ou de l'agent convenues à l'avance.

Demande de projet

Parlez-nous du problème à résoudre.

Décrivez votre modèle ou le flux actuel de votre agent et votre contrainte principale. Nous examinerons votre demande et proposerons la suite.