提示链正在彻底改变我们与大型语言模型 (llm) 交互的方式。通过将多个提示链接在一起，我们可以创建复杂、动态的对话并处理复杂的任务。但这种力量确实是有代价的。每次对 llm 服务（例如 google 的 gemini）的 api 调用都会增加您的账单。
许多llm提供商提供了一个解决方案：批处理。在一个请求中发送多个提示并享受大幅折扣（通常在 50% 左右！）。然而，在提示链工作流程中实现批处理很快就会变成编码噩梦。
批量提示链接的挑战
想象一下您正在构建一个具有多步骤对话的聊天机器人。使用传统的提示链接，您将发送每条用户消息并等待模型的响应，然后再制定下一个提示。但要利用批量折扣，您需要：
累积提示：不是立即发送，而是批量收集提示。拥抱异步性：发送批次并等待（可能需要更长的时间）作业完成。映射响应：批量结果到达后，将每个响应与链中相应的提示正确匹配。
除此之外，您还需要处理速率限制、错误和重试。这可能会导致难以阅读、调试和维护的复杂代码。
输入 gembatch：您的即时链接英雄
gembatch 是一个 python 框架，旨在简化与 google gemini 的批处理提示链接。它与 firebase 无缝集成，为您的 llm 应用程序提供熟悉且可扩展的环境。
以下是 gembatch 如何让您的生活更轻松：
轻松批处理：gembatch 在幕后处理批处理提示的复杂性。您可以按顺序定义提示链，就像使用传统方法一样。异步处理：gembatch 管理异步批处理作业，确保您的提示链顺利执行，而不会阻塞您的应用程序。简化的响应映射： gembatch 自动将响应路由回提示链中的正确点。节省成本：通过利用 gemini 的批量折扣，gembatch 可以显着降低您的 llm api 成本。一个简单的例子
import gembatch# Define a simple prompt chaindef task_a_prompt1(): gembatch.submit( {"contents": [ { "role": "user", "parts": [{"text": "What is the capital of France?"}], }], }, # prompt 1 "publishers/google/models/gemini-1.5-pro-002", task_a_prompt2 )def task_a_prompt2(response: generative_models.GenerationResponse): gembatch.submit( {"contents": [ { "role": "model", "parts": [{"text": response.text}], }, { "role": "user", "parts": [{"text": f"And what is the population of {response.text}?"}], }], }, # prompt 2 "publishers/google/models/gemini-1.5-pro-002", task_a_output )def task_a_output(response: generative_models.GenerationResponse): print(response.text)# Start the prompt chaintask_a_prompt1()
这个简单的示例演示了 gembatch 如何允许您使用 gembatch.submit() 定义提示链。 gembatch 负责对 gemini 的请求进行批处理并管理异步响应。
开始使用 gembatch
准备好释放经济高效的提示链的力量了吗？查看 github 上的 gembatch 存储库：
github./blueworrybear/gembatch
我们欢迎反馈和建议！
以上就是使用 GemBatch 降低提示链接的成本的详细内容，更多请关注范的资源库其它相关文章！
转载请注明：范的资源库 » 使用GemBatch降低提示链接的成本
