大家好，又见面了，我是你们的朋友全栈君。
存疑的点：value函数的参数是（s, a)。
离散状态下 s, a 作为横纵坐标来获取Q值。ｑ－ｌｅａｒｎｉｎｇ
DQN情况下，输出的是最大Q值。
PG里面输出的是action的概率分布。
DDPG里，actor网络输出的是Action。critic网络里输出的是Q值，依然和ｓ，ａ有关，由ｓ，ａ确定。只不过这里确定的方式是①将ｓ，ａ分别经过一个输出维度为３０的网络后 得到的值 相加(两个网络分别为：（s_dim, 30) (a_dim, 30)。②将ｓ，ａ维度拼接再经过网络计算（这个网络的维度是（s_dim + a_dim, output_dim)。
ddpg多出的部分有
①action数值 首先经过tanh(),其次再判断上下限界。
②噪音，对action添加噪音（可能tanh()这种本来就不精确吧）。
③对环境的action幅度进行normalization。
④是两个target网络的参数都采用soft更新，这与Dqn不同。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/149436.html原文链接：https://javaforall.net
![softmax、softmax损失函数、cross-entropy损失函数[通俗易懂]](https://javaforall.net/wp-content/uploads/2020/11/2020110817443450-480x300.jpg)
