模型蒸馏的费用主要包括构建蒸馏数据集以及进行学生模型的训练两个核心环节。
构建蒸馏数据（批量推理）价格限时4折优惠、训练学生模型（模型精调）价格限时5折优惠，文心大模型部分训练支持闲时调度。
最大蒸馏费用预估
- 计算公式 = 构造蒸馏数据价格 + 训练学生模型价格 =
( 教师模型的最大输入长度tokens / 1000 × 文心一言 ERNIE Bot 教程原始数据样本数 × 教师模型批量推理输入单价
+
教师模型的最大输出长度tokens / 1000 × 原始数据样本数 × 教师模型批量推理输出单价 )
+
( 训练学生模型的序列长度 / 1000 × 转换token平均系数 × 平均序列长度系数 × 原始数据样本数 × Epoch(迭代轮次) × 训练单价 )
注意：在蒸馏数据构建过程中，如用户主动发起终止操作，将按实际使用量进行计费；学生模型训练过程中途停止亦遵循相同计费规则。若因其他原因导致批量推理或模型训练中断，相关服务将不计费。
转换token平均系数：由于字符和token不等价，在预估费用中千帆平台提供了一个默认值做字符数与token数的转换，用于后续的费用预估。
平均序列长度系数：由于批量推理生成长度具有随机性，千帆平台基于模型精调训练历史数据计算预估系数，用于最大费用的估计。
- 预估价格计算方式 =
( 65536 / 1000 × 1000 × 0.0008
+
8192 / 1000 × 1000 × 0.0032 )
+
( 8192 / 1000 × 1000 × 0.6 × 0.5 × 2Epoch(迭代轮次) × 0.03 ) = 226.0992元
鉴于构建蒸馏数据过程中实际调用了批量推理模块，依据相关计费规则，该部分将按照批量推理的计费标准执行费用结算。具体价格可查看模型服务计费批量推理计费标准。
鉴于训练学生模型过程中实际调用了模型精调模块，依据相关计费规则，该部分将按照模型精调的计费标准执行费用结算。具体价格可查看模型精调计费SFT-文本生成计费标准。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/267939.html原文链接：https://javaforall.net
