长尾分布数据_厚尾分布

长尾分布数据_厚尾分布长尾分布数据11.什么是长尾分布数据长尾分布数据是一种偏态分布,是指几个类别(亦叫头类)包含大量的样本,而大多数类别(亦叫尾类)只有非常少量的样本。类似这样的数据集会使得深度学习网络在头部类中表现良好,在尾部类中效率不高,整体的识别精度显著下降。2.解决办法大多数研究者通过不平衡学习策略来解决长尾识别问题,主要分为两类:数据级方法和算法级方法。数据级方法数据水平的策略包括尾部类过采样,头部类欠采样,以及其他新的抽样方法。所以解决手段主要着力于如何对数据进行抽样。这种方法存在的问题是,过采

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全家桶1年46,售后保障稳定

长尾分布数据1

1. 什么是长尾分布数据

长尾分布数据是一种偏态分布,是指几个类别(亦叫头类)包含大量的样本,而大多数类别(亦叫尾类)只有非常少量的样本。

在这里插入图片描述

类似这样的数据集会使得深度学习网络在头部类中表现良好,在尾部类中效率不高,整体的识别精度显著下降。

2. 解决办法

大多数研究者通过不平衡学习策略来解决长尾识别问题,主要分为两类:数据级方法和算法级方法。

数据级方法

数据水平的策略包括尾部类过采样,头部类欠采样,以及其他新的抽样方法。所以解决手段主要着力于如何对数据进行抽样。这种方法存在的问题是,过采样会导致过拟合,欠采样会导致头部类大量有效信息丢失。

算法级方法

  • 通过成本敏感算法来调整类别权重,一定程度缓解长尾分布不平衡问题,提高了尾类识别精度,但降低了头类精度。
  • 将头部数据中学习到的知识迁移到尾类,这种迁移学习的缺点是在头尾类特征相差特别大的时候,效果不好。如头类是动物,尾类是植物。
  • 层次学习方法,将长尾识别问题转为层次化超类学习问题。知识的迁移是受限的,只能从超类转移到它的直接子类。如尾类哈士奇的识别过程中,首先将其识别为头类的动物类,再归类为一只哈士奇狗。这个过程中,动物的知识不会转移到植物类。即,对头部类的知识迁移进行了限制,限制的方式是父子类层次关联。

Reference


  1. Q. Chen, Q. Liu和E. Lin, 《A knowledge-guide hierarchical learning method for long-tailed image classification》, Neurocomputing, 卷 459, 页 408–418, 10月 2021, doi: 10.1016/j.neucom.2021.07.008. ↩︎

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/204018.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 华为模拟器ensp怎么安装_华为模拟器怎么安装

    华为模拟器ensp怎么安装_华为模拟器怎么安装简单介绍一下eNSP:eNSP是一款由华为提供的免费的图形化网络仿真工具平台,它将完美呈现真实设备实景(包括华为最新的ARG3路由器和X7系列的交换机),支持大型网络模拟,让你有机会在没有真实设备

    2022年8月2日
    7
  • DEDECMS万能标签{dede:sql}使用教程详解

    DEDECMS万能标签{dede:sql}使用教程详解

    2021年9月24日
    47
  • adb安装与配置[通俗易懂]

    adb安装与配置[通俗易懂]一、前置条件安装JavaJDK,可以参考文章:https://blog.csdn.net/dou_being/article/details/105320962二、下载安装AndroidSDK或AndroidStudio,下载地址:http://tools.android-studio.org/三、配置环境变量1、Windows系统环境变量配置(1)在系统环境变量中新建变量名为adb,变量值为AndroidSDK的platform-tools文件夹和build-tools文件.

    2022年5月17日
    103
  • 动态库学习[通俗易懂]

    动态库学习[通俗易懂]总结一:动态库前言 我们知道程序编译链接经常使用动态,同时我们可能还知道,动态库时程序运行时加载的。但是动态库到底有什么作用,如何生成、如何加载等,我们却很少关注。接下来,我给大家做一个简单的介绍。1.1动态库和静态库的区别静态库特点(linux):命名上是以*.o结尾静态库在链接阶段直接就加入到可执行的文件中了,在执行过程中无需该静态库相对于动态库生成的文件,使用静态库生…

    2022年9月30日
    4
  • iOS: 学习笔记, 透过Boolean看Swift(译自: https://developer.apple.com/swift/blog/ Aug 5, 2014 Boolean)

    iOS: 学习笔记, 透过Boolean看Swift(译自: https://developer.apple.com/swift/blog/ Aug 5, 2014 Boolean)

    2021年12月4日
    45
  • 选择性忽略的心理_选择性忽略是什么意思

    选择性忽略的心理_选择性忽略是什么意思Python:PyCharm选择性忽略PEP8警告PyCharm是个很强大的pythonIDE,PEP8的告警提示也很好用,但是函数名不能包含大写字母等少数几个规范真心觉得不好,如何取消呢?见下述步骤:在Ignorederrors中添加要忽略的告警ID。注意,要区分是属于coding还是naming。错误代码code samplemessage N801 classnamesshoulduseCapWordsconvention N8

    2022年8月29日
    3

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号