FastGPT+ChatGLM3-6b搭建知识库

# Win11环境下基于
ChatGLM
3
–
6B与Spring
AI构建本地大
语言模型实战手册 最近两年，大
语言模型（LLM）技术从实验室快速走向实际应用，但云端API的隐私风险、网络延迟和成本问题让本地化部署需求激增。对于Java技术栈开发者而言，如何在Windows平台快速
搭建可定制的大模型服务成为刚需。本文将完整演示从零开始部署
ChatGLM
3
–
6B开源模型，并通过Spring
AI框架实现企业级集成的全流程方案。 1. 环境准备与硬件考量 1.1 基础软件栈配置 Windows 11作为当前主流开发平台，其WSL2子系统已能较好地支持
AI开发环境。建议先通过PowerShell执行以下环境检查： “`powershell # 检查系统版本 systeminfo | findstr /B /C:”OS 名称” /C:”OS 版本” # 验证WSL状态 wsl
–
–list
–
–verbose “` 关键组件版本要求：
– Python
3.11
+（推荐Miniconda管理）
– JDK 17
+（Spring
AI强制要求）
– CUDA 12.1（NVIDIA显卡必需）
– Git LFS（大文件版本控制） > 注意：若使用Intel Arc显卡需额外安装Intel OneAPI工具包，AMD显卡建议ROCm 5.7
+驱动 1.2 硬件性能基准测试
ChatGLM
3
–
6B模型量化等级与资源消耗关系： | 量化级别 | 显存占用 | 内存需求 | 推理速度(tokens/s) | |
–
–
–
–
–
–
–
–
–|
–
–
–
–
–
–
–
–
–|
–
–
–
–
–
–
–
–
–|
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–| | FP1
6 | 1
3.2GB | 28GB | 42 | | INT8 | 8.4GB | 18GB |
35 | | INT4 | 5.8GB | 12GB | 28 | 实测发现RTX
30
60 12GB显卡在INT8量化下可流畅运行，而CPU模式（i7
–1
3700K）仅能达到2
–
3 tokens/s。建议通过以下命令验证硬件兼容性： “`bash nvidia
–smi # 查看显卡状态 wmic memorychip get capacity # 检查物理内存 “` 2. 模型部署与优化技巧 2.1 高效下载与验证 使用HuggingFace镜像加速下载（需替换模型路径）： “`python from huggingface_hub import snapshot_download snapshot_download( repo_id=”THUDM/
chatglm
3
–
6b”, local_dir=”
chatglm
3
–
6b”, resume_download=True, etag_timeout=
300 ) “` 下载完成后执行完整性校验： “`powershell certutil
–hashfile .
chatglm
3
–
6bpytorch_model.bin SHA25
6 “` 2.2 服务化启动方案对比 API服务启动参数优化建议： “`bash python api_server.py
–
–model
–path ./
chatglm
3
–
6b
–
–tokenizer
–path ./
chatglm
3
–
6b
–
–host 0.0.0.0
–
–port 8000
–
–max
–context
–length 409
6
–
–gpu
–memory
–utilization 0.9 “` 不同部署方式性能对比：
– 原生Flask API：开发简单但并发性能差
– FastAPI
+Uvicorn：支持异步，QPS提升
3倍
– Triton推理服务器：生产级部署，支持动态批处理
3. Spring
AI深度集成实践
3.1 项目脚手架配置 Maven关键依赖示例： “`xml <dependency> <groupId>org.springframework.
ai</groupId> <artifactId>spring
–
ai
–open
ai
–spring
–boot
–starter</artifactId> <version>0.8.1</version> </dependency> <dependency> <groupId>dev.langch
ain4j</groupId> <artifactId>langch
ain4j
–spring
–boot
–starter</artifactId> <version>0.28.0</version> </dependency> “` YAML配置模板： “`yaml spring:
ai: open
ai: base
–url: http://localhost:8000 chat: options: model:
chatglm
3
–
6b temperature: 0.7 max
–tokens: 2048 “` 智谱 AI GLM 教程
3.2 高级功能实现 RAG增强实现方案： “`java @Bean public EmbeddingClient embeddingClient() { return new Open
AiEmbeddingClient(new Open
AiApi(“http://localhost:8000”)); } @Bean public ChatMemory chatMemory() { return MessageWindowChatMemory.withMaxMessages(20); } “` 流式响应处理： “`java @GetMapping(“/stream”) public SseEmitter streamChat(@RequestParam String query) “` 4. 生产环境调优指南 4.1 性能监控方案 Spring Actuator集成示例： “`java @Bean public MeterRegistryCustomizer<PrometheusMeterRegistry> metricsCommonTags() { return registry
–> registry.config().commonTags( “application”, “llm
–service”, “model”, ”
chatglm
3
–
6b” ); } “` 关键监控指标：
– 请求延迟分布（P99＜500ms）
– Token生成速率（＞
30/s）
– GPU利用率（80%
–90%最佳） 4.2 常见故障排查 内存泄漏处理步骤： 1. 使用JDK Mission Control分析堆内存 2. 检查Spring
AI的对话上下文缓存
3. 验证CUDA内存释放情况 典型错误解决方案： | 错误现象 | 根本原因 | 解决措施 | |
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–|
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–|
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–| | CUDA out of memory | 批处理大小过大 | 减小max_batch_size参数 | | 中文乱码 | 字符集配置错误 | 添加
–Dfile.encoding=UTF
–8 | | 响应时间波动大 | 显存碎片化 | 定期重启服务 | 5. 扩展应用场景开发 5.1
知识库问答系统 基于LangCh
ain4j的实现框架： “`java Retriever<TextSegment> retriever = EmbeddingStoreRetriever.from(embeddingStore, embeddingClient) .maxResults(
3) .minScore(0.
6); Assistant assistant =
AiServices.builder(Assistant.class) .chatLanguageModel(chatClient) .retriever(retriever) .build(); “` 5.2 自动化文档处理 PDF解析流水线示例： “`java DocumentReader pdfReader = new PdfDocumentReader(); DocumentSplitter splitter = new DocumentByParagraphSplitter(500, 0); EmbeddingStoreIngestor ingestor = new EmbeddingStoreIngestor( pdfReader, splitter, embeddingClient, embeddingStore); ingestor.ingest(Paths.get(“tech
–spec.pdf”)); “` 实际项目中发现，配合OCR技术处理扫描文档时，需要额外增加图像预处理环节，使用OpenCV进行去噪和锐化可提升识别准确率15%以上。