使用SpringBoot和Langchain探索JLAMA图书馆

大型语言模型(LLM)正迅速改变着编程领域。LLM能够理解和生成文本，甚至根据文本提示生成代码，为开发者提供了强大的辅助工具。本文将探讨如何利用jlama库将LLM集成到Java生态系统中，并结合Spring Boot和Langchain框架，演示其在实际应用中的强大功能。

jlama库是一个纯Java实现的LLM库，支持多种使用方式，既可作为命令行工具，也可作为依赖项直接集成到您的项目中。本文将重点介绍如何将其与Spring Boot项目集成。

功能亮点与先决条件

jlama库需要Java 20及以上版本，因为它使用了Java的向量API。如果您已经熟悉Langchain，那么将它与jlama集成将会非常便捷，Langchain提供的工具可以简化与LLM的交互过程。

本例中的Spring Boot项目包含两个端点，用于与LLM模型交互：

一个直接使用jlama配置的端点。一个结合Langchain和jlama的端点。

项目实现

1. 直接使用jlama的端点

该端点直接配置jlama库，根据用户提交的提示生成响应。

@PostMapping("/jlama")public ResponseEntity<ChatPromptResponse> chatJlama(@RequestBody ChatPromptRequest request) { PromptContext context; if (abstractModel.promptSupport().isPresent()) { context = abstractModel.promptSupport() .get() .builder() .addSystemMessage("You are a helpful chatbot providing concise answers.") .addUserMessage(request.prompt()) .build(); } else { context = PromptContext.of(request.prompt()); } System.out.println("Prompt: " + context.getPrompt() + ""); Generator.Response response = abstractModel.generate(UUID.randomUUID(), context, 0.0f, 256, (s, f) -> {}); System.out.println(response.responseText); return ResponseEntity.ok(new ChatPromptResponse(response.responseText));}

代码首先配置所需的模型。如果本地不存在，jlama会自动下载到指定目录。然后，创建提示上下文并使用jlama生成响应。

// 定义模型和下载目录String model = "tjake/llama-3.2-1b-instruct-jq4";String workingDirectory = "./models";// 下载或加载本地模型File localModelPath = new Downloader(workingDirectory, model).huggingFaceModel();// 加载模型ModelSupport.loadModel(localModelPath, DType.F32, DType.I8);

2. Langchain和jlama结合的端点

第二个端点利用Langchain简化了与jlama的交互。

@PostMapping("/langchain")public ResponseEntity<Object> chatLangChain(@RequestBody ChatPromptRequest request) { var model = JlamaChatModel.builder().modelName("meta-llama/Llama-3.2-1B").temperature(0.7f).build(); var promptResponse = model.generate( SystemMessage.from("You are a helpful chatbot providing concise answers."), UserMessage.from(request.prompt())).content().text(); System.out.println("" + promptResponse + ""); return ResponseEntity.ok(promptResponse);}

Langchain的builder模式简化了模型配置和参数设置，使代码更加简洁易懂。

资源与参考

本文的灵感来源于Isidro教授在SouJava的讲座。