原文：Step-by-step Guide to Fine-tune Qwen3
翻译： @北方的郎
上面的视频描述了在我们的微调模型上使用 HuggingFace transformers 库进行推理，有和没有思考模式。
此 Studio 中提供了代码：在本地微调 Qwen 3。您可以通过复制下面的环境来运行它，而无需任何安装：
1） 加载模型
我们首先使用 Unsloth 加载 Qwen 3（14B 变体）模型及其分词器。
2） 定义 LoRA 配置
我们将使用 LoRA 来避免微调整个模型。
- 模型
- LoRA 低秩 （r）
- 用于微调等的图层。
3-4） 加载数据集
接下来，我们加载一个推理和非推理数据集，我们将在该数据集上微调我们的 Qwen 3 模型。
从以下数据集中检查一个样本：
5-6） 准备数据集
在微调之前，我们必须以对话格式准备数据集：
- 从推理数据中，我们选择 solution 和 solution key。
- 对于非推理数据，我们使用标准化方法，将数据转换为所需的格式。
注意：使用 clear prompt-response 对。设置微调数据的格式，以便用一致的、模型友好的方式呈现每个问题。通常，这意味着将每个数学问题转化为指令或问题提示，并提供结构良好的解决方案或答案作为答复。格式设置的一致性有助于模型了解如何从问题过渡到答案。
- 整合分步解决方案 （Chain-of-Thought）。
- 清楚地标记最终答案。
- 确保与评估基准兼容。
7） 定义Trainer
在这里，我们 通过指定训练配置（如学习率、模型、分词器等）来创建一个对象。Trainer
8） 训练
完成后，我们开始训练。损失随着训练而减少，这意味着模型训练正常。检查此代码和输出
9） 推理
下面，我们通过 HuggingFace transformers 库以思考和非思考模式运行模型。思考要求我们将 参数设置为 。enable_thinkingTrue
因此，我们已经完全在本地对 Qwen 3 进行了微调！
此 Studio 中提供了代码：在本地微调 Qwen3。您可以通过复制下面的环境来运行它，而无需任何安装：
发布者：Ai探索者，转载请注明出处：https://javaforall.net/262156.html原文链接：https://javaforall.net
