📝个人主页：
期待您的关注
目录
一、引言
二、文心一言开源模型
2.1 MoE架构
文心一言 ERNIE Bot 教程
2.2 文心一言MoE架构
三、文心一言稠密模型部署
3.1 产品选择
3.2 环境选择
3.3 Python3.12安装
3.3 PaddlePaddle-GPU安装
3.4 FastDeploy-GPU安装
编辑3.5 模型部署
四、模型测试
4.1 文心一言4.5基础请求测试
编辑
4.2 文心一言4.5多次请求测试
4.3 让文心一言4.5自己想一些测试方向
4.4 中文处理和生成测评
4.4.1 文学文本理解能力（基础核心）
4.4.2 文学知识储备（专业基础）
4.4.3 文学创作能力（核心应用）
五、测试总结
文心一言（ERNIE Bot）是百度推出的人工智能大语言模型，它基于飞桨平台和文心知识增强技术，具备文本处理、AI 绘画等功能，能应用于创作、数据分析、代码生成等多个场景，支持 PC、APP 及 API 接入等使用方式，用户规模庞大，生态不断扩展，不同版本在性能上各有提升，满足不同需求。
2025年6月30日，百度做出了一件具有里程碑意义的事情：开源文心一言大模型，这一举措旨在构建更加繁荣的开发者生态系统。此举不仅在行业内引发了广泛关注，也标志着中国AI市场竞争格局的重大变化。百度的这一战略转变，可能会推动整个行业从性能竞争逐步转向价格战，总体来说，文心一言的开源将来可能会推动AI行业的发展。
这一决策将打破AI技术壁垒，让AI社区开发者可以更加直观的了解到文心一言大模型的架构设计和运行机制，对于中小型AI相关企业来说，这是一个足以推动企业快速发展的决策。
文心4.5系列开源模型共10款，涵盖了激活参数规模分别为47B和3B的混合专家（MoE）模型（最大的模型总参数量为424B），以及0.3B的稠密参数模型。
开源模型分为两类：MoE模型以及稠密型模型。
混合专家模型(Mixed Expert Models，简称 MoEs) ，最早是随着 Mixtral 8x7B 的推出而逐渐引起人们的广泛关注。这个概念与集成学习方法相似，旨在为由多个单独网络组成的系统建立一个监管机制。在这种系统中，每个网络 (被称为“专家”) 处理训练样本的不同子集，专注于输入空间的特定区域。
混合专家模型 (MoE) 的一个显著优势是它们能够在远少于稠密模型所需的计算资源下进行有效的预训练。MoE的核心思想用多个 “专家网络（FFNN 1~4）”+“路由器（Router）” 替代传统的单一大 FFNN，让 不同输入由最擅长的 “专家” 处理，实现 “分工协作”。
针对 MoE 架构，文心一言提出了一种创新性的多模态异构模型结构，通过跨模态参数共享机制实现模态间知识融合，同时为各单一模态保留专用参数空间。此架构非常适用于从大语言模型向多模态模型的持续预训练范式，在保持甚至提升文本任务性能的基础上，显著增强多模态理解能力。
来看一下官方对于文心一言MoE架构的解释。
多模态混合专家模型预训练
文心4.5通过在文本和视觉两种模态上进行联合训练，更好地捕捉多模态信息中的细微差别，提升在文本生成、图像理解以及多模态推理等任务中的表现。为了让两种模态学习时互相提升，我们提出了一种多模态异构混合专家模型结构，结合了多维旋转位置编码，并且在损失函数计算时，增强了不同专家间的正交性，同时对不同模态间的词元进行平衡优化，达到多模态相互促进提升的目的。
高效训练推理框架
为了支持文心4.5模型的高效训练，我们提出了异构混合并行和多层级负载均衡策略。通过节点内专家并行、显存友好的流水线调度、FP8混合精度训练和细粒度重计算等多项技术，显著提升了预训练吞吐。推理方面，我们提出了多专家并行协同量化方法和卷积编码量化算法，实现了效果接近无损的4-bit量化和2-bit量化。此外，我们还实现了动态角色转换的预填充、解码分离部署技术，可以更充分地利用资源，提升文心4.5 MoE模型的推理性能。基于飞桨框架，文心4.5在多种硬件平台均表现出优异的推理性能。
针对模态的后训练
为了满足实际场景的不同要求，我们对预训练模型进行了针对模态的精调。其中，大语言模型针对通用语言理解和生成进行了优化，多模态大模型侧重于视觉语言理解，支持思考和非思考模式。每个模型采用了SFT、DPO或UPO（UnifiedPreferenceOptimization，统一偏好优化技术）的多阶段后训练。
我理解的文心一言MoE架构设计：
文心4.5系列模型均使用飞桨深度学习框架进行高效训练、推理和部署。在大语言模型的预训练中，模型FLOPs利用率（MFU）达到47%。实验结果显示，该系列模型在多个文本和多模态基准测试中达到SOTA水平，在指令遵循、世界知识记忆、视觉理解和多模态推理任务上效果尤为突出。模型权重按照Apache 2.0协议开源，支持开展学术研究和产业应用。此外，基于飞桨提供开源的产业级开发套件，广泛兼容多种芯片，降低后训练和部署门槛。
为方便个人学习，博主部署了 “paddlepaddle/ERNIE-4.5-0.3B-Paddle”模型，这里记录一下部署的流程，详细的模型请参考网站：https://ai.gitcode.com/theme/?pId=3037
个人学习上，我采购了一张4090卡进行部署，具体配置如下。
我在这里选购了一台包含CUDA驱动的服务器，现在的价格不贵，有活动优惠，0.99/h，感兴趣可以自行了解一下，丹摩DAMODEL｜让AI开发更简单！算力租赁上丹摩！
在选择镜像时，直接选择现有的镜像，这里我踩过坑，选择基础的ubuntu部署会有很多错误。
采购好后可通过SSH方式登录服务器。
现在来配置部署所需环境。
安装python3.12之前，首先执行指令更新核心依赖否则会报错。
安装完成。
由于下方还有不少踩坑的点，这里还需要再去安装一些其他东西。因为我们的环境中是有python3.10的。
参考PaddlePaddle官方命令，我们这里安装适配CUDA12.6版本的PaddlePaddle-GPU。
输入代码验证 。
出现下方输出证明我们成功的安装了适配当前CUDA版本的PaddlePaddle-GPU。
官方给出的安装流程要区别于GPU的架构，不同架构的GPU有不同的安装指令。
For SM80/90 architecture GPUs(e.g A30/A100/H100/):
For SM86/89 architecture GPUs(e.g A10/4090/L20/L40):
在这里我们输入下方指令安装。
输入下方的命令，当页面中出现端口证明我们成功的部署了模型
首先对于文心一言进行基础的请求测试，看看文心一言会不会正常的返回数据给我们。
来看一个典型的逻辑问题吧，3.11和3.8哪个大。
哈哈，从结果来看文心一言确实给出了答案，不过是错误的，因为我部署的是参数最小的模型，可以理解。基本的沟通是没有问题的
现在让我们调整代码，连续问答。
可以，连续问答的功能都有。不过我部署的是小参数模型，这些不重要。
我们在官方访问AI时，有时候我们连续询问AI问题，AI的回复会有卡顿，现在我们模拟多次请求测试，检测文心一言模型的回答情况。这里准备了多个问题。
针对于给出的测评思路，我们主要在中文处理方向进行测评。
4.4.1 文学文本理解能力（基础核心）
从结果来看，对文学有一定的理解。
4.4.2 文学知识储备（专业基础）
这里我对结果进行省略了。
4.4.3 文学创作能力（核心应用）
这里才是真正的测试，我们一般都是要靠大模型写作的，看看0.3B的模型效果如何。
看来结果还是不错的。
本人测试了“paddlepaddle/ERNIE-4.5-0.3B-Paddle”模型，该模型对于文学领域的处理是十分不错的，由于模型参数量较小，没有对逻辑分析领域进行测评，至于3.11和3.8谁大的问题，对于0.3B的模型来说是可以接受的，毕竟当初GPT那么大的参数还会出错。本人测评水平有限，如有更好的测评思路，还请各位大佬指正。
文章来源于互联网:文心一言4.5开源部署指南及文学领域测评
发布者：Ai探索者，转载请注明出处：https://javaforall.net/265117.html原文链接：https://javaforall.net
