更小的模型胜出。
此处仅为示例。每个项目均按客户实际任务与验收标准评估。
开放权重模型与生产智能体
此处仅为示例。每个项目均按客户实际任务与验收标准评估。
交付后,团队可独立运行。
咨询服务
我们围绕实际任务开展范围明确的项目,衡量模型效率与生产智能体的可靠性。
01
我们用现有模型作基准,评估替换、专门化或压缩的可行性与成本,并给出书面建议。
02
我们微调较小的开放权重模型,在你的任务上与现有模型比较,并交付模型或适配器及评估结果。
03
我们在目标硬件上评估质量与运行成本,找出满足生产要求的最低成本配置。
04
我们通过微调与压缩,让较小的开放权重模型接替专有模型,并验证任务表现和部署成本。
05
我们用代表性任务检查生产智能体的运行记录,计算正确完成任务的成本,并建议如何改进。
06
我们建立任务和工具调用的测试,以固定基准检查改动。仅采用能维持正确性与可靠性的改进。
我们的原则
模型必须稳定达到性能要求。最先进的专有模型可以用作比较基准。
技术与成本条件合适时,我们会验证专门化的开放权重模型能否替代专有 API。
我们先在实际任务上测试较小的专门化模型,再考虑更大的模型。
提出改动前,我们先检查调用记录与任务最终结果。
以实际任务和验收标准判断是否达标。
Huyawo 效率标准
我们在实际任务上验证每项建议,关注模型效率与智能体运行表现。
模型能更好地完成实际任务吗?
满足要求的最小模型是哪一个?
需要多少显存或内存?
需要多久才能响应?
生产环境中能持续处理多少负载?
运行实际任务要花多少钱?
你的团队保留多少控制权?
工作流能否正确完成任务、合理调用工具并控制重试?
质量与成本的权衡
我们找出满足质量要求的最低成本配置。
| 配置 | 任务质量 | VRAM | 吞吐量 | 相对成本 |
|---|---|---|---|---|
| BF16 | 94.1 | 48 GB | 1.00x | 1.00 |
| FP8 | 94.0 | 27 GB | 1.42x | 0.67 |
| INT8 | 93.9 | 25 GB | 1.51x | 0.61 |
| INT4 | 93.2 | 15 GB | 2.11x | 0.38 |
工作流程
第 01 步
第 02 步
第 03 步
每个项目都交付评估依据
交付文档记录测试内容、改动与尚未解决的问题,并说明哪些上线决策有数据支持。
Huyawo 评估
Huyawo 评估 是正在开发的开源模型评估工具。
我们用实际工作负载验证模型和智能体。Huyawo 评估 旨在支持这种评估方法。
商务条款
我们事先约定验收标准、评估方式、算力限制和交付材料。
持续合作也围绕事先约定的模型或智能体改进目标展开。
项目咨询
请描述当前模型或智能体工作流及主要限制。我们会查看详情并回复下一步建议。
已复制邮箱地址。