pytorch交叉熵损失函数计算_pytorch loss不下降

pytorch交叉熵损失函数计算_pytorch loss不下降MSE:MeanSquaredError(均方误差)含义:均方误差,是预测值与真实值之差的平方和的平均值,即:MSE=1N∑i=1n(xi−yi)2\begin{aligned}MSE=\cfrac{1}{N}\sum_{i=1}^n(x_i-y_i)^2\end{aligned}MSE=N1​i=1∑n​(xi​−yi​)2​  但是,在具体的应用中跟定义稍有不同。主要差别是参数的设置,在torch.nn.MSELoss中有一个reduction参数。reduction是维度要不要

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

MSE: Mean Squared Error(均方误差
含义:均方误差,是预测值与真实值之差的平方和的平均值,即:
M S E = 1 N ∑ i = 1 n ( x i − y i ) 2 \begin{aligned} MSE =\cfrac {1}{N}\sum_{i=1}^n(x_i-y_i)^2 \end{aligned} MSE=N1i=1n(xiyi)2
  但是,在具体的应用中跟定义稍有不同。主要差别是参数的设置,在torch.nn.MSELoss中有一个reduction参数。reduction是维度要不要缩减以及如何缩减主要有三个选项:

  • ‘none’:no reduction will be applied.
  • ‘mean’: the sum of the output will be divided by the number of elements in the output.
  • ‘sum’: the output will be summed.

  如果不设置reduction参数,默认是’mean’
下面看个例子:

import torch
import torch.nn as nn
 
a = torch.tensor([[1, 2], 
				  [3, 4]], dtype=torch.float)
				  
b = torch.tensor([[3, 5], 
				  [8, 6]], dtype=torch.float)
 
loss_fn1 = torch.nn.MSELoss(reduction='none')
loss1 = loss_fn1(a.float(), b.float())
print(loss1)   # 输出结果:tensor([[ 4., 9.],
               # [25., 4.]])
 
loss_fn2 = torch.nn.MSELoss(reduction='sum')
loss2 = loss_fn2(a.float(), b.float())
print(loss2)   # 输出结果:tensor(42.)
 
 
loss_fn3 = torch.nn.MSELoss(reduction='mean')
loss3 = loss_fn3(a.float(), b.float())
print(loss3)   # 输出结果:tensor(10.5000)

  在loss1中是按照原始维度输出,即对应位置的元素相减然后求平方;loss2中是对应位置求和;loss3中是对应位置求和后取平均。
  除此之外,torch.nn.MSELoss还有一个妙用,求矩阵的F范数(F范数详解)当然对于所求出来的结果还需要开方。

参考文献

[1]pytorch的nn.MSELoss损失函数
[2]状态估计的基本概念(3)最小均方估计和最小均方误差估计

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/192133.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • vm虚拟机安装ubuntu_vmware安装虚拟机

    vm虚拟机安装ubuntu_vmware安装虚拟机所需环境:VMware12Fedora12镜像文件1、新建虚拟机 2、选择自定义下一步,其实典型也差不多读者有兴趣可以试一试 3、默认即可,这里可以改VM兼容性,比如建立vm8 4、选择稍后安装操作系统 5、操作系统选择linux,版本选择Fedora 6、默认即可,路径也可以自己设置 7、核心选两个 8、建议选择1G以上

    2022年9月16日
    1
  • 全球最大手游源码共享网站_传奇手游开发定制

    全球最大手游源码共享网站_传奇手游开发定制今天分享个最简单,最直接的游戏源码和教程最容易搭建的一键端,改几个IP就可以了,纯小白也能搭建成功。服务器系统:win82008企业版我的配置:2H4G2M教程开始:直接解压到D盘解压完的路径是这样的D:\MTJ(记得检查下,不要有任何操作)第一步,打开【JAVA一键环境设置】,点击一键【环境变量】,设置成功第二步,打开【phpStudy】文件,打开文件夹【huluxia】把里面的文件…

    2022年9月25日
    3
  • linux tail 自动刷新,Linux命令: tail

    linux tail 自动刷新,Linux命令: tailtail原单词tail(尾巴)工作中应用于查看实时日志,或者复现BUG时实时查看日志tail命令可用于查看文件的内容,与cat不同的是tail命令是从末尾开始查看,默认查看最后十行,最常用的是-f参数,可以实时刷新文件的内容(循环读取)语法tail文件参数-f:循环读取-n:显示文件的尾部n行内容例子:taila.log读取a.log最后10行内容tail-fa.log循环读…

    2022年5月9日
    430
  • RNN详解及BPTT详解

    RNN详解及BPTT详解 版权声明:转载请注明出处 https://blog.csdn.net/zhaojc1995/article/details/80572098 本文部分参考和摘录了以下文章,在此由衷感谢以下作者的分享!https://zhuanlan.zhihu.com/p/28…

    2022年6月23日
    42
  • Springboot源码_pe启动制作源码

    Springboot源码_pe启动制作源码我们在使用SpringBoot启动项目的时候,可能只需加一个注解,然后启动main,整个项目就运行了起来,但事实真的是所见即所得吗,还是SpringBoot在背后默默做了很多?本文会通过源码解析的方式深入理解SpringBoot启动全过程SpringBoot启动过程流程图源码解析大家不要抗拒源码解析,这个非常优秀的代码,我们如果能够学会对自己代码编写水平大有裨益首先,我们先来看下SpringBoot项目的启动类@SpringBootApplicationpublicclassSp.

    2022年8月21日
    5
  • Crsctl_fsck命令

    Crsctl_fsck命令一.crsctl1.crsctl语法1)语法$crsctl<command><object>[<options>]2)命令add|check|config|create|debug|delete|disable|discover|enable|eval|export|get|getperm|lsmodules|modify|pin|query|release|relocate|replace|request|set|setperm|start|stat.

    2025年10月25日
    5

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号