Le plus petit modèle l'a emporté.
Cet exemple est illustratif. Chaque projet est évalué sur la charge de travail du client et selon ses critères d'acceptation.
Modèles à poids ouverts et agents en production
Huyawo Solutions développe des modèles à poids ouverts et des agents pour la production. Nous améliorons les résultats et la fiabilité des tâches tout en réduisant la latence et les coûts.
Cet exemple est illustratif. Chaque projet est évalué sur la charge de travail du client et selon ses critères d'acceptation.
Après la livraison, votre équipe peut travailler en autonomie.
Prestations de conseil
Nous définissons le périmètre du projet et mesurons l'efficacité des modèles et la fiabilité des agents sur des tâches réelles.
01
Nous comparons les options au modèle actuel et expliquons par écrit s'il convient de le remplacer, de le spécialiser ou de le compresser.
02
Nous ajustons un modèle plus petit à poids ouverts et le comparons à votre modèle sur la tâche. Nous livrons le modèle ou les adaptateurs avec les résultats.
03
Nous mesurons la qualité et le coût sur le matériel cible pour trouver la configuration la moins chère qui répond aux exigences.
04
Nous adaptons et compressons un modèle à poids ouverts pour remplacer le modèle propriétaire. Nous vérifions ses résultats et le coût du déploiement.
05
Nous examinons les traces de l'agent sur des tâches représentatives, calculons le coût par tâche réussie et recommandons des changements.
06
Nous définissons des tests pour les tâches et l'usage des outils. Nous retenons les changements qui préservent la justesse et la fiabilité par rapport à une référence fixe.
Notre approche
Le modèle doit atteindre le niveau de performance requis de façon constante. Les modèles propriétaires les plus avancés peuvent servir de référence.
Si la faisabilité et les coûts le permettent, nous vérifions si un modèle spécialisé à poids ouverts peut remplacer une API propriétaire.
Nous testons d'abord un petit modèle spécialisé sur votre tâche avant d'envisager un modèle plus grand.
Avant de recommander des changements, nous examinons les appels et le résultat de chaque tâche dans son ensemble.
Nous jugeons le résultat sur votre charge de travail et selon vos critères d'acceptation.
Standard d'efficacité de Huyawo
Nous vérifions chaque recommandation sur des tâches réelles et mesurons l'efficacité du modèle et le fonctionnement de l'agent.
Le modèle résout il mieux la tâche réelle ?
Quel est le plus petit modèle qui répond aux exigences ?
De combien de VRAM ou de RAM le modèle a besoin ?
Combien de temps prend une réponse ?
Quelle charge le système peut supporter en production ?
Combien coûte le traitement de la charge réelle ?
Quel contrôle votre équipe conserve ?
Le flux mène les tâches à bien, utilise correctement les outils et limite les nouvelles tentatives ?
Compromis entre qualité et coût
Nous cherchons la configuration la moins coûteuse qui atteint le niveau de qualité requis.
| Configuration | Qualité sur la tâche | VRAM | Débit | Coût relatif |
|---|---|---|---|---|
| BF16 | 94.1 | 48 GB | 1.00x | 1.00 |
| FP8 | 94.0 | 27 GB | 1.42x | 0.67 |
| INT8 | 93.9 | 25 GB | 1.51x | 0.61 |
| INT4 | 93.2 | 15 GB | 2.11x | 0.38 |
Notre méthode
Étape 01
Étape 02
Étape 03
Chaque projet se termine par des résultats documentés
Le dossier consigne les essais, les changements et les défaillances qui subsistent, puis indique quelles décisions de mise en production les résultats étayent.
Évaluation Huyawo
Évaluation Huyawo est un outil à code ouvert pour l'évaluation des modèles, en cours de développement.
Nous évaluons les modèles et les agents sur des charges réelles. Évaluation Huyawo est développé pour appuyer cette méthode.
Conditions commerciales
Nous convenons des critères d'acceptation, de la méthode d'évaluation, des limites de calcul et des éléments à livrer.
Les missions de suivi portent sur des améliorations du modèle ou de l'agent convenues à l'avance.
Demande de projet
Décrivez votre modèle ou le flux actuel de votre agent et votre contrainte principale. Nous examinerons votre demande et proposerons la suite.
Adresse copiée.