文心一言 ERNIE Bot 教程
百度于2025年6月30日正式开源了其文心大模型4.5系列，推出了10款不同的模型。这一系列模型的参数范围从47B的混合专家（MoE）模型到轻量级的0.3B稠密型模型，涵盖了文本和多模态任务，标志着百度在AI领域的一次重大转变。
而且模型不仅有开源标准的Pytorch模型，还有百度自研的PaddlePaddle模型（支持国产显卡适配）。
文心大模型4.5版本（尤其是基于混合专家系统的A47B和A3B系列）的先进能力，源于以下核心技术创新：
- 多模态异构混合专家预训练：我们的模型通过文本与视觉模态联合训练，以更精准捕捉跨模态信息细微差异，提升文本理解生成、图像理解及跨模态推理任务的性能。为避免模态间学习相互干扰，我们设计了异构混合专家架构，引入模态隔离路由机制，并采用路由正交损失与多模态令牌平衡损失。这些创新结构确保双模态高效表征，实现训练过程中的协同增强效果。
- 高效扩展的基础设施：我们提出了一种新颖的异构混合并行与分层负载均衡策略，用于高效训练ERNIE 4.5模型。通过采用节点内专家并行、内存优化的流水线调度、FP8混合精度训练以及细粒度重计算技术，我们实现了卓越的预训练吞吐量。在推理方面，我们提出多专家并行协作方法与卷积编码量化算法，实现了4比特/2比特无损量化。此外，我们引入具有动态角色切换的PD解耦技术，以提升ERNIE 4.5 MoE模型的资源利用率和推理性能。基于PaddlePaddle框架，ERNIE 4.5能在广泛的硬件平台上提供高性能推理服务。
- 特定模态的后训练：为了满足实际应用中的多样化需求，我们对预训练模型的不同变体进行了特定模态的微调。我们的LLM针对通用语言理解和生成进行了优化，而VLM则专注于视觉语言理解，并支持思维模式和非思维模式。每个模型在后训练阶段均采用了监督微调（SFT）、直接偏好优化（DPO）或改进的强化学习方法——统一偏好优化（UPO）的组合策略。
这里我就简单介绍其中两个模型：ERNIE-4.5-21B-A3B-PT 和 ERNIE-4.5-VL-28B-A3B-PT
ERNIE-4.5-21B-A3B 是一个文本混合专家（MoE）后训练模型，总参数量为210亿，每个token激活参数量为30亿。以下是模型配置详情：
使用 库
注意：使用模型前，请确保已安装 库（版本需 4.50.0 或更高）
以下代码片段展示了如何根据给定输入内容使用模型生成文本。
vLLM 推理
vllm GitHub 仓库。纯 Python 构建。
ERNIE-4.5-VL-28B-A3B是一款多模态MoE聊天模型，总参数量280亿，单token激活参数量30亿。以下是模型配置详情：
使用 库
以下示例展示了如何使用transformers库进行推理：
vLLM推理
我们正与社区合作，以全面支持ERNIE4.5模型，敬请期待。
文章来源于互联网:【百度拥抱开源】百度真的把文心一言开源了哦！一口气开源 10 个模型
相关推荐: 文心一言：开启AI人工智能领域的智慧之旅
文心一言：开启AI人工智能领域的智慧之旅 关键词：文心一言、大语言模型、自然语言处理、AI应用、深度学习、知识图谱、智能对话 摘要：本文深入探讨百度推出的”文心一言”大语言模型的技术原理、架构设计和应用实践。文章从大语言模型的基础概念出发，详细分析文心一言的核…
发布者：Ai探索者，转载请注明出处：https://javaforall.net/270536.html原文链接：https://javaforall.net
