矩阵特征值分解(EDV)与奇异值分解(SVD)在机器学习中的应用

目录特征分解定义(来自百度百科词条:特征分解)特征分解(Eigendecomposition),又称谱分解(Spectraldecomposition)是将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法。需要注意只有对可对角化矩阵才可以施以特征分解。(来自百度百科词条:矩阵特征值)什么是特征值,特征向量?设A是n阶方阵,如果数λ和n维非零列向量x使关系式Ax=λx成立,那么这样的数λ称为矩阵A特征值,非零向量x称为A的对应于特征值λ的特征向量。式Ax=λx也可写成(A-λE)X=0。这是

大家好,又见面了,我是你们的朋友全栈君。

参考资料

百度百科词条:特征分解,矩阵特征值,奇异值分解,PCA技术


https://zhuanlan.zhihu.com/p/29846048


https://towardsdatascience.com/all-you-need-to-know-about-pca-technique-in-machine-learning-443b0c2be9a1

说明

在机器学习的各种算法与应用中,常能看到矩阵特征值分解(EDV)与奇异值分解(SVD)的身影,因此想反过来总结一下EDV与SVD在机器学习中的应用,主要是表格化数据建模以及nlp和cv领域。

特征分解定义

特征分解(Eigendecomposition),又称谱分解(Spectral decomposition)是将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法。需要注意只有对可对角化矩阵才可以施以特征分解。

什么是特征值,特征向量?
设A是n阶方阵,如果数λ和n维非零列向量x使关系式Ax=λx成立,那么这样的数λ称为矩阵A特征值,非零向量x称为A的对应于特征值λ的特征向量。式Ax=λx也可写成( A-λE)X=0。这是n个未知数n个方程的齐次线性方程组,它有非零解的充分必要条件是系数行列式| A-λE|=0。

奇异值分解

奇异值分解(Singular Value Decomposition)是线性代数中一种重要的矩阵分解,奇异值分解则是特征分解在任意矩阵上的推广。

SVD也是对矩阵进行分解,但是和特征分解不同,SVD并不要求要分解的矩阵为方阵。假设我们的矩阵A是一个m×n的矩阵,那么我们定义矩阵A的SVD为:
在这里插入图片描述
在这里插入图片描述

在机器学习中的应用

  1. 在表格化数据中的应用
    (1)PCA降维
    PCA(principal components analysis)即主成分分析技术,又称主分量分析。
    降维是一种数据集预处理技术,往往在数据应用在其他算法之前使用,它可以去除掉数据的一些冗余信息和噪声,使数据变得更加简单高效,提高其他机器学习任务的计算效率。
    原理介绍:
    http://blog.codinglabs.org/articles/pca-tutorial.html?utm_source=wechat_session&utm_medium=social&utm_oi=815517988173254656
    简单的示例:
    https://towardsdatascience.com/all-you-need-to-know-about-pca-technique-in-machine-learning-443b0c2be9a1

    (2)SVD应用于推荐系统
    https://www.cnblogs.com/flightless/p/10424035.html

  2. 在nlp中的应用
    基于SVD的隐语意分析(LSA)
    https://blog.csdn.net/weixin_42398658/article/details/85088130#commentBox

  3. 在cv中的应用
    SVD应用于图像压缩
    https://blog.csdn.net/qq_40527086/article/details/88925161

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/125457.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • python从linux下载文件_python gzip

    python从linux下载文件_python gzip解决python调用OpenCV保存视频时使用”avc1″格式出现#Couldnotfindencoderforcodecid27:Encodernotfound的错误(此错误不能保存视频文件),以及使用”mpeg”格式出现的#OpenCV:FFMPEG:tag0x6765706d/’mpeg’isnotsupportedwithcodecid2a…

    2022年9月25日
    3
  • socket粘包解决方案_socket 传输文件

    socket粘包解决方案_socket 传输文件一 .两个简单概念长连接与短连接:1.长连接   Client方与Server方先建立通讯连接,连接建立后不断开, 然后再进行报文发送和接收。2.短连接   Client方与Server每进行一次报文收发交易时才进行通讯连接,交易完毕后立即断开连接。此种方式常用于一点对多点通讯,比如多个Client连接一个Server.二 ….

    2022年8月18日
    7
  • Composer的简介说明与安装

    Composer的简介说明与安装

    2021年10月31日
    18
  • 2021年超全中高级Java工程师面试题+答案「建议收藏」

    2021年超全中高级Java工程师面试题+答案「建议收藏」java缓存技术面试题1、memcache的分布式原理  memcached虽然称为“分布式”缓存服务器,但服务器端并没有“分布式”功能。每个服务器都是完全独立和隔离的服务。memcached的分布式,则是完全由客户端程序库实现的。这种分布式是memcached的最大特点。  2、memcache的内存分配机制  如何存放数据到memcached缓存中?(memcache内存分配机制)  SlabAllocator内存分配机制:预先将内存分配成数个slab仓库,

    2022年5月5日
    48
  • 2002-2007年最新免费空间

    2002-2007年最新免费空间赛腾网2006/11/06免费自助建站,150M存储空间,需要下载一个将近167M的软件来使用,但功能确实很强大,无广告。此免费空间的『演示』【推广】Fizwig2007/09/215G免费空间,每月10G流量,3个MySql数据库,ftp、web方式上传管理文件,有流量统计功能,可绑定域名(此服务未经测试),支持php,有广告。此免费空间的『演示』

    2022年7月27日
    22
  • 常用Anaconda安装错误解决办法Traceback (most recent call last):[通俗易懂]

    常用Anaconda安装错误解决办法Traceback (most recent call last):[通俗易懂]Anaconda安装错误的解决办法异常提示解决办法适用异常提示Traceback(mostrecentcalllast):File"E:\anaconda\lib\site-packages\psutil_pswindows.py",line63…………File"E:\anaconda\lib\site-packages\psutil_pswindows.py",line…

    2022年4月27日
    447

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号