数据分析中常见问题「建议收藏」

数据分析中常见问题「建议收藏」1. 如何检验数据是否服从正态分布?一、图示法(1)P-P图。以样本的累积频率作为横坐标,以安装正太分布计算的相应累计概率作为纵坐标,把样本值表现为直角坐标系中的散点,如果服从正太分布,则样本点围绕第一象限的对角线分布。(2)Q-Q图。以样本的分位数作为横坐标,以按照正态分布计算的相应分位点作为纵坐标,把样本表现为指教坐标系的散点。如果资料服从正态分布,则样本点应该呈一条围绕第一象限对…

大家好,又见面了,我是你们的朋友全栈君。

1. 如何检验数据是否服从正态分布?

一、图示法

(1)P-P图。以样本的累积频率作为横坐标,以安装正太分布计算的相应累计概率作为纵坐标,把样本值表现为直角坐标系中的散点,如果服从正太分布,则样本点围绕第一象限的对角线分布。

(2)Q-Q图。以样本的分位数作为横坐标,以按照正态分布计算的相应分位点作为纵坐标,把样本表现为指教坐标系的散点。如果资料服从正态分布,则样本点应该呈一条围绕第一象限对角线的直线。

(3)直方图。判断是否以钟形分布,同时可以选择输出正态性曲线

(4)箱式图。观测离群值和中位数

(5)茎叶图。类似于直方图,但实质不同。

二、计算法

(1)偏度系数和峰度系数

偏度计算公式:数据分析中常见问题「建议收藏」

峰度计算公式:数据分析中常见问题「建议收藏」

其中,g_{_{1}}表示偏度,g_{_{2}}表示峰度,通过计算g_{_{1}},g_{_{2}}及其标准误差\sigma_{g1}\sigma_{g2},再做U计算。当两种检验同时得出U<U_{0.05}=1.96,即p>0.05时,才可以认为该组服从正太分布。

2. 中心极限定理

中心极限定理,是指概率论中讨论随机变量序列部分和分布渐进于正太分布的一类定理。是指样本平均值约等于总体平均值。

随着n的增大,n个数的样本均值会趋近于正太分布,并且这个正太分布以u为均值,\sigma^{2}/n为方差。

相关结论:

结论1:用样本估计整体;

结论2:样本的平均值呈正态分布;

结论3:在无法知道总体的情况下,可以用样本估计整体。(除以n-1)

3. 过拟合问题

过拟合是指为了得到一致假设而使假设变得过度严格。

常见产生原因:

(1)建模样本选取有误,包括样本数量太少,选择方法错误,样本标签错误等,导致选取的样本的数据不足以代表预定的分类规则。

(2)样本噪音干扰过大,从而扰乱分类规则。

(3)假设的模型无法合理存在,或者说是假设成立的条件实际并不成立

(4)参数太多,使得模型复杂度过高。

(5)对于决策树模型,如果我们对于其生长没有合理的限制,其自由生长有可能使节点只包含单纯的事件数据(event)或非事件数据(no event),使其虽然可以完美匹配(拟合)训练数据,但是无法适应其他数据集。

(6)对于神经网络模型:a)对样本数据可能存在分类决策面不唯一,随着学习的进行,,BP算法使权值可能收敛过于复杂的决策面;b)权值学习迭代次数足够多(Overtraining),拟合了训练数据中的噪声和训练样例中没有代表性的特征。

常见解决办法:

(1)增加样本数据;

(2)选取合适的停止训练标准,使对机器的训练在合适的程度;

(3)保留验证数据集,对训练成果进行验证;

(4)获取额外数据进行交叉验证;

(5)正则化,即在进行目标函数或代价函数优化时,在目标函数或代价函数后面加上一个正则项,一般有L1正则与L2正则等。

(6)进行特征选择、特征降维

(7)控制模型的复杂度。如进行剪枝、控制树深度;增大分割平面间隔;

 

未完,,待继补充。。。

 

参考:https://wenku.baidu.com/view/29b3f4021fb91a37f111f18583d049649a660e31.html

https://blog.csdn.net/liubo187/article/details/77092729

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/136463.html原文链接:https://javaforall.net

(0)
上一篇 2022年6月3日 下午2:46
下一篇 2022年6月3日 下午3:00


相关推荐

  • USB计算机连接只能充电,手机连接不上电脑只显示充电怎么办[通俗易懂]

    USB计算机连接只能充电,手机连接不上电脑只显示充电怎么办[通俗易懂]有的时候,需要把电脑上的资料传到手机上或者把手机上的一些照片传到电脑上面,但是有时候想要传照片的时候会发现手机与电脑连接在一起的时候只显示出在充电,但是与电脑没有连接在一起,相信很多朋友们都会遇到这样的问题,首先要排除的是手机的数据线没有任何的问题,如果说手机的数据线没有问题的的话那就一定是驱动的问题而引发的,那么今天小编就教大家如果手机为什么连接不上电脑应该怎么办。第一步:如果已经确定了不是数据…

    2022年8月12日
    6
  • 讯飞星火4.0Turb0能力对比

    讯飞星火4.0Turb0能力对比

    2026年3月14日
    2
  • EHOME协议介绍

    EHOME协议介绍EHome 协议是海康威视基于移动监控场景下开发的设备主动注册协议 支持实时预览 录像回放 对讲 报警 定位等功能 有同学就会问了 安防摄像头的注册注册协议 GB28181 都已经实现 为什么还需要单独开发 EHome 协议呢 EHOME 起始开发 EHome 协议不仅实现了 GB28181 里所有的功能 并且在海康的不同类型设备上支持了其自定义的场合下的功能特性 包括智能报警 在低功耗场景下的设备控制及公网环境下的语音对讲指挥等场景都比 GB28181 协议更完善 LiveMedia 视频中间件是厚航科技专为安防视频监控行

    2026年3月20日
    2
  • Python/PyCharm/OpenCV安装以及PyCharm配置OpenCV环境变量

    Python/PyCharm/OpenCV安装以及PyCharm配置OpenCV环境变量一 安装 Windows Python 安装路径 PythonReleas Python orghttps www python org downloads windows PyCharm 安装路径 DownloadPyCh PythonIDEfor www jetbrains com pycharm download section windowsOpen

    2026年3月19日
    2
  • 小米6X 解BL锁教程 申请BootLoader解锁教程[通俗易懂]

    小米6X 解BL锁教程 申请BootLoader解锁教程[通俗易懂]小米6X线刷兼救砖_解账户锁_纯净刷机包_教程一、准备工作1、注册小米账号:点击注册(已有小米账号请忽视)2、在手机中登陆【小米账号】3、下载并解压【小米解锁工具】或点击这里下载安装二、开始解锁1打开【小米解锁官网】:http://www.miui.com/unlock/,点击【立即解锁】,输入【小米账号】,点击【立即登录】,填写好上诉信息后,点击【立即申请】,输入【短…

    2022年5月18日
    62
  • windows cmd定时关机命令

    windows cmd定时关机命令windowscmd定时关机命令#7200为倒计时关机时间,单位秒shutdown-S-T7200

    2022年5月14日
    45

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号