大家好，又见面了，我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。
Jetbrains全家桶1年46，售后保障稳定
学习率是模型训练中最重要的超参之一，针对学习率的优化有很多种方法，而warmup是其中重要的一种。
1. 什么是warmup
warmup是一种学习率优化方法（最早出现在ResNet论文中）。在模型训练之初选用较小的学习率，训练一段时间之后（如：10epoches或10000steps）使用预设的学习率进行训练；
2. 为什么使用warmup
2.1 理性分析
- 因为模型的weights是随机初始化的，可以理解为
训练之初模型对数据的“理解程度”为0（即：没有任何先验知识），在第一个epoches中，每个batch的数据对模型来说都是新的，模型会根据输入的数据进行快速调参，此时如果采用较大的学习率的话，有很大的可能使模型对于数据“过拟合”（“学偏”），后续需要更多的轮次才能“拉回来”； - 当模型训练一段时间之后（如：10epoches或10000steps），
模型对数据具有一定的先验知识，此时使用较大的学习率模型就不容易学“偏”，可以使用较大的学习率加速模型收敛； - 当模型使用较大的学习率训练一段时间之后，
模型的分布相对比较稳定，此时不宜从数据中再学到新特点，如果仍使用较大的学习率会破坏模型的稳定性，而使用小学习率更容易获取local optima。
2.2 感性分析
- 刚开始模型对数据完全不了解，这个时候
步子太大，容易扯着dan，此时需要使用小学习率摸着石头过河； - 对数据了解了一段时间之后，可以使用大学习率
朝着目标大步向前； - 快接近
目标时，使用小学习率进行探索，此时步子太大，容易错过最近点；
3. 常用的warmup
3.1 Constant Warmup
学习率从非常小的数值线性增加到预设值之后保持不变，其学习率的系数如下图所示：
3.2 Linner Warmup
学习率从非常小的数值线性增加到预设值之后，然后再线性减小。其学习率的系数如下图所示。
3.3 Cosine Warmup
学习率先从很小的数值线性增加到预设学习率，然后按照cos函数值进行衰减。其学习率系数如下图所示。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/201118.html原文链接：https://javaforall.net
