自适应分类器：通过智能查询路由降低LLM成本（已证明可以节省成本）

大家好！我们很高兴向大家介绍一个新的开源库，它能有效降低LLM部署成本。这个自适应分类器库能够学习如何在不同模型之间路由查询，并根据复杂度进行智能选择，从而在实际应用中不断优化成本。

我们在arena-hard-auto数据集上进行了测试，该数据集包含高成本和低成本模型（成本差异2倍）。测试结果非常令人满意：

启用自适应功能后，成本降低了32.4%。总体成功率与基线保持一致（22%）。系统在评估期间自动学习了来自110个新示例的知识。成功将80.4%的查询路由到更经济的模型。

此库非常适合同时运行多个LLama模型（例如Llama-3.1-70B和Llama-3.1-8B）并希望在不影响性能的前提下优化成本的用户。该库易于与任何基于Transformer的模型集成，并具有内置的状态持久性功能。

欢迎访问我们的代码库了解更多实施细节和基准测试结果。如果您尝试使用该库，我们非常期待听到您的使用体验！

代码库 – www./link/18dabb99ce171ea5a317521425d5c206

以上就是自适应分类器：通过智能查询路由降低 LLM 成本（已证明可以节省成本）的详细内容，更多请关注范的资源库其它相关文章！