本站资源收集于互联网,不提供软件存储服务,每天免费更新优质的软件以及学习资源!

自适应分类器:通过智能查询路由降低LLM成本(已证明可以节省成本)

网络教程 app 1℃

自适应分类器:通过智能查询路由降低LLM成本(已证明可以节省成本)

大家好!我们很高兴向大家介绍一个新的开源库,它能有效降低LLM部署成本。这个自适应分类器库能够学习如何在不同模型之间路由查询,并根据复杂度进行智能选择,从而在实际应用中不断优化成本。

我们在arena-hard-auto数据集上进行了测试,该数据集包含高成本和低成本模型(成本差异2倍)。测试结果非常令人满意:

启用自适应功能后,成本降低了32.4%。总体成功率与基线保持一致(22%)。系统在评估期间自动学习了来自110个新示例的知识。成功将80.4%的查询路由到更经济的模型。

此库非常适合同时运行多个LLama模型(例如Llama-3.1-70B和Llama-3.1-8B)并希望在不影响性能的前提下优化成本的用户。该库易于与任何基于Transformer的模型集成,并具有内置的状态持久性功能。

欢迎访问我们的代码库了解更多实施细节和基准测试结果。如果您尝试使用该库,我们非常期待听到您的使用体验!

代码库 – www./link/18dabb99ce171ea5a317521425d5c206

以上就是自适应分类器:通过智能查询路由降低 LLM 成本(已证明可以节省成本)的详细内容,更多请关注范的资源库其它相关文章!

转载请注明:范的资源库 » 自适应分类器:通过智能查询路由降低LLM成本(已证明可以节省成本)

喜欢 (0)