矩阵特征值分解(EDV)与奇异值分解(SVD)在机器学习中的应用

目录特征分解定义(来自百度百科词条:特征分解)特征分解(Eigendecomposition),又称谱分解(Spectraldecomposition)是将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法。需要注意只有对可对角化矩阵才可以施以特征分解。(来自百度百科词条:矩阵特征值)什么是特征值,特征向量?设A是n阶方阵,如果数λ和n维非零列向量x使关系式Ax=λx成立,那么这样的数λ称为矩阵A特征值,非零向量x称为A的对应于特征值λ的特征向量。式Ax=λx也可写成(A-λE)X=0。这是

大家好,又见面了,我是你们的朋友全栈君。

参考资料

百度百科词条:特征分解,矩阵特征值,奇异值分解,PCA技术


https://zhuanlan.zhihu.com/p/29846048


https://towardsdatascience.com/all-you-need-to-know-about-pca-technique-in-machine-learning-443b0c2be9a1

说明

在机器学习的各种算法与应用中,常能看到矩阵特征值分解(EDV)与奇异值分解(SVD)的身影,因此想反过来总结一下EDV与SVD在机器学习中的应用,主要是表格化数据建模以及nlp和cv领域。

特征分解定义

特征分解(Eigendecomposition),又称谱分解(Spectral decomposition)是将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法。需要注意只有对可对角化矩阵才可以施以特征分解。

什么是特征值,特征向量?
设A是n阶方阵,如果数λ和n维非零列向量x使关系式Ax=λx成立,那么这样的数λ称为矩阵A特征值,非零向量x称为A的对应于特征值λ的特征向量。式Ax=λx也可写成( A-λE)X=0。这是n个未知数n个方程的齐次线性方程组,它有非零解的充分必要条件是系数行列式| A-λE|=0。

奇异值分解

奇异值分解(Singular Value Decomposition)是线性代数中一种重要的矩阵分解,奇异值分解则是特征分解在任意矩阵上的推广。

SVD也是对矩阵进行分解,但是和特征分解不同,SVD并不要求要分解的矩阵为方阵。假设我们的矩阵A是一个m×n的矩阵,那么我们定义矩阵A的SVD为:
在这里插入图片描述
在这里插入图片描述

在机器学习中的应用

  1. 在表格化数据中的应用
    (1)PCA降维
    PCA(principal components analysis)即主成分分析技术,又称主分量分析。
    降维是一种数据集预处理技术,往往在数据应用在其他算法之前使用,它可以去除掉数据的一些冗余信息和噪声,使数据变得更加简单高效,提高其他机器学习任务的计算效率。
    原理介绍:
    http://blog.codinglabs.org/articles/pca-tutorial.html?utm_source=wechat_session&utm_medium=social&utm_oi=815517988173254656
    简单的示例:
    https://towardsdatascience.com/all-you-need-to-know-about-pca-technique-in-machine-learning-443b0c2be9a1

    (2)SVD应用于推荐系统
    https://www.cnblogs.com/flightless/p/10424035.html

  2. 在nlp中的应用
    基于SVD的隐语意分析(LSA)
    https://blog.csdn.net/weixin_42398658/article/details/85088130#commentBox

  3. 在cv中的应用
    SVD应用于图像压缩
    https://blog.csdn.net/qq_40527086/article/details/88925161

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/125457.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • Utils_utility是什么意思

    Utils_utility是什么意思packagecom.example.week;importjava.io.InputStream;importjava.net.HttpURLConnection;importjava.ne

    2022年8月3日
    3
  • eclipse import导入报错_project2016安装出错

    eclipse import导入报错_project2016安装出错【转载请注明出处:http://blog.csdn.net/zjbpku/article/details/7370347】本文只介绍方法不解释原因:0,如果R.layout.main有误,将importandroid.R删除一,删除gen文件,会自动生成一个新的gen(Project下的BuildAutomatically要选上)二、右键点击有误文件,选择BuildP

    2022年9月1日
    3
  • 深入浅出学python_深入浅出Python机器学习 (段小手) 完整pdf高清版[176MB]

    深入浅出学python_深入浅出Python机器学习 (段小手) 完整pdf高清版[176MB]机器学习正在迅速改变我们的世界。我们几乎每天都会读到机器学习如何改变日常的生活。如果你在淘宝或者京东这样的电子商务网站购买商品,或者在爱奇艺或是腾讯视频这样的视频网站观看节目,甚至只是进行一次百度搜索,就已经触碰到了机器学习的应用。使用这些服务的用户会产生数据,这些数据会被收集,在进行预处理之后用来训练模型,而模型会通过这些数据来提供更好的用户体验。此外,目前还有很多使用机器学习技术的产品或服务即…

    2022年10月18日
    0
  • pycharm安装后运行不了_pycharm暂停程序

    pycharm安装后运行不了_pycharm暂停程序原博客链接:http://blog.csdn.net/qingyuanluofeng/article/details/46501427问题:pycharm安装后不能执行python脚本。我的是执行后老是报错,但是之前在cpython中都是可以的。于是上网查询解决方法原因:pycharm没有设置解析器/解释器设置错误(我的就是因为这个之前设置错了,位置也是错的,结果导致程序不能正常运行出

    2022年8月28日
    1
  • awakeFromNib小总结「建议收藏」

    awakeFromNib小总结「建议收藏」awakeFromNib在使用IB的时候才会涉及到此方法的使用,当.nib文件被载入的时候,会发送一个awakeFromNib的消息到.nib文件里的每一个对象,每一个对象都能够定义自己的awakeF

    2022年7月1日
    31
  • 自动化运维架构(开发)

    自动化运维架构(开发)一、DevOps定义1.DevOps是“开发”和“运维”的缩写。2.DevOps是一组最佳实践强调(IT研发、运维、测试)在应用和服务生命周期中的协作和沟通3.强调整个组织的合作以及交付和基础设施变更自动化,从而实现持续集成、持续部署和持续交付二、DevOps持续交付环1.我们把开发交付划分为:计划–>编码–>构建–>测试–>…

    2022年7月17日
    17

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号