PyTorch学习—13.优化器optimizer的概念及常用优化器

*
–
+ 引言
+ 一、什么是优化器？
+ 二、optimizer的基本属性
+ 三、optimizer的基本方法
+ 四、方法实例
+
* 1.optimizer.step()
* 2. optimizer.zero_grad()
* 3. optimizer.add_param_group()
* 4. optimizer.state_dict()
* 5. optimizer.load_state_dict()
+ 五、优化器中的常用参数
+
* 1.learning rate 学习率
* 2.momentum 动量
+ 六、Pytorch十种优化器简介

本文学习优化器optimizer的基本属性、基本方法和作用

pytorch的优化器： 管理并 更新模型中可学习参数的值，使得模型输出更接近真实标签。通俗一点，就是采样梯度更新模型的可学习参数，使得损失减小。

• defaults：优化器超参数
• state：参数的缓存，如momentum的缓存
• params_groups：管理的参数组
• _step_count：记录更新次数，学习率调整中使用

• zero_grad()：清空所管理参数的梯度
  pytorch特性：张量梯度不自动清零，会将张量梯度累加；因此，需要在使用完梯度之后，或者在反向传播前，将梯度自动清零
• step()：执行一步更新
• add_param_group()：添加参数组，例如：可以为特征提取层与全连接层设置不同的学习率或者别的超参数
• state_dict()：获取优化器当前状态信息字典
  长时间的训练，会隔一段时间保存当前的状态信息，用来在断点的时候恢复训练，避免由于意外的原因导致模型的终止
• load_state_dict() ：加载状态信息字典

1.optimizer.step()

2. optimizer.zero_grad()

3. optimizer.add_param_group()

4. optimizer.state_dict()

5. optimizer.load_state_dict()

1.learning rate 学习率

梯度下降:
+ = ? ( ) + = ? l r ? ( ) _{+}=_ ? (_ )\_{+}=_ ? lr * (_)w i +1 ?=w i g (w i ?)w i +1 ?=w i l r ?g (w i ?)
学习率（learning rate）控制更新的步伐
需要

2.momentum 动量

momentum 动量：结合当前梯度与上一次更新信息，用于当前更新。pytorch中更新公式为：
v i=m ? v i ? 1 + g ( w i ) w i + 1=w i ? l r ? v i v_i=mv_{i-1}+g(w_i)\w_{i+1}=w_i-lrv_i v i ?=m ?v i ?1 ?+g (w i ?)w i +1 ?=w i l r ?v i ?
v i v_i v i ?：更新量
m m m：momentum系数，通常设置为0.9
g ( w i ) g(w_i)g (w i ?)：w i w_i w i ?的梯度
v i v_i v i ?有两部分组成,v i v_i v i ?直接依赖于v i ? 1 v_{i-1}v i ?1 ?和g ( w i ) g(w_i)g (w i ?)，而不仅仅是g ( w i ) g(w_i)g (w i ?)。

= ? + ( )= ( ) + ? ( ? + ( ) )= ( ) + ? ( ) + ? = ( ) + ? ( ) + ? ( ) + ? 99 _{}= ? _{} + (_{}) \=(_{}) + ? ( ? _{} + (_{})) \=(_{}) + ? (_{}) + ^ ? _{} \=(_{}) + ? (_{}) + ^ ? (_{}) + ^ ? _{99}v 1 0 0 ?=m ?v 9 9 ?+g (w 1 0 0 ?)=g (w 1 0 0 ?)+m ?(m ?v 9 8 ?+g (w 9 9 ?))=g (w 1 0 0 ?)+m ?g (w 9 9 ?)+m 2 ?v 9 8 ?=g (w 1 0 0 ?)+m ?g (w 9 9 ?)+m 2 ?g (w 9 8 ?)+m 3 ?v 9 9 ?
可以看到越往前梯度信息的作用就越小。

1. optim.SGD：随机梯度下降法

主要参数：
– params：管理的参数组
– lr：初始学习率
– momentum：动量系数
– weight_decay：L2正则化系数
– nesterov：是否采用NAG
2. optim.Adagrad：自适应学习率梯度下降法
3. optim.RMSprop： Adagrad的改进
4. optim.Adadelta： Adagrad的改进
5. optim.Adam：RMSprop结合Momentum
6. optim.Adamax：Adam增加学习率上限
7. optim.SparseAdam：稀疏版的Adam
8. optim.ASGD：随机平均梯度下降
9. optim.Rprop：弹性反向传播
10. optim.LBFGS：BFGS的改进

上述优化器的使用可参考：torch.optim
SGD与Adam是两种最常用的方式。PyTorch官方文档介绍的非常详细！

如果对您有帮助，麻烦点赞关注，这真的对我很重要！！！如果需要互关，请评论或者私信！

Original: https://blog.csdn.net/weixin_46649052/article/details/119718582
Author: 哎呦-_-不错
Title: PyTorch学习—13.优化器optimizer的概念及常用优化器