矩阵特征值分解(EDV)与奇异值分解(SVD)在机器学习中的应用

目录特征分解定义(来自百度百科词条:特征分解)特征分解(Eigendecomposition),又称谱分解(Spectraldecomposition)是将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法。需要注意只有对可对角化矩阵才可以施以特征分解。(来自百度百科词条:矩阵特征值)什么是特征值,特征向量?设A是n阶方阵,如果数λ和n维非零列向量x使关系式Ax=λx成立,那么这样的数λ称为矩阵A特征值,非零向量x称为A的对应于特征值λ的特征向量。式Ax=λx也可写成(A-λE)X=0。这是

大家好,又见面了,我是你们的朋友全栈君。

参考资料

百度百科词条:特征分解,矩阵特征值,奇异值分解,PCA技术


https://zhuanlan.zhihu.com/p/29846048


https://towardsdatascience.com/all-you-need-to-know-about-pca-technique-in-machine-learning-443b0c2be9a1

说明

在机器学习的各种算法与应用中,常能看到矩阵特征值分解(EDV)与奇异值分解(SVD)的身影,因此想反过来总结一下EDV与SVD在机器学习中的应用,主要是表格化数据建模以及nlp和cv领域。

特征分解定义

特征分解(Eigendecomposition),又称谱分解(Spectral decomposition)是将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法。需要注意只有对可对角化矩阵才可以施以特征分解。

什么是特征值,特征向量?
设A是n阶方阵,如果数λ和n维非零列向量x使关系式Ax=λx成立,那么这样的数λ称为矩阵A特征值,非零向量x称为A的对应于特征值λ的特征向量。式Ax=λx也可写成( A-λE)X=0。这是n个未知数n个方程的齐次线性方程组,它有非零解的充分必要条件是系数行列式| A-λE|=0。

奇异值分解

奇异值分解(Singular Value Decomposition)是线性代数中一种重要的矩阵分解,奇异值分解则是特征分解在任意矩阵上的推广。

SVD也是对矩阵进行分解,但是和特征分解不同,SVD并不要求要分解的矩阵为方阵。假设我们的矩阵A是一个m×n的矩阵,那么我们定义矩阵A的SVD为:
在这里插入图片描述
在这里插入图片描述

在机器学习中的应用

  1. 在表格化数据中的应用
    (1)PCA降维
    PCA(principal components analysis)即主成分分析技术,又称主分量分析。
    降维是一种数据集预处理技术,往往在数据应用在其他算法之前使用,它可以去除掉数据的一些冗余信息和噪声,使数据变得更加简单高效,提高其他机器学习任务的计算效率。
    原理介绍:
    http://blog.codinglabs.org/articles/pca-tutorial.html?utm_source=wechat_session&utm_medium=social&utm_oi=815517988173254656
    简单的示例:
    https://towardsdatascience.com/all-you-need-to-know-about-pca-technique-in-machine-learning-443b0c2be9a1

    (2)SVD应用于推荐系统
    https://www.cnblogs.com/flightless/p/10424035.html

  2. 在nlp中的应用
    基于SVD的隐语意分析(LSA)
    https://blog.csdn.net/weixin_42398658/article/details/85088130#commentBox

  3. 在cv中的应用
    SVD应用于图像压缩
    https://blog.csdn.net/qq_40527086/article/details/88925161

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/125457.html原文链接:https://javaforall.net

赞 (0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 07 技术扩展-软件工程Server服务器知识点[通俗易懂]

    07 技术扩展-软件工程Server服务器知识点[通俗易懂]Web项目中的服务器一、Server概述为客户端提供各种服务的功能强大的计算机二、访问服务器服务器的地址—-域名/IP地址对应服务端口服务所用协议—-http/httpshttps://www.baidu.com:80/协议://域名:端口号/三、访问本地服务安装node.jsDOS命令窗口cddesktop/indexDOS命令…

    2022年9月5日
  • 聊聊eureka的delta配置

    聊聊eureka的delta配置

    2021年6月5日
  • centos7安装vim命令(vim命令怎么退出)

    那么如何安裝vim呢?输入rpm-qa|grepvim命令,如果vim已经正确安裝,会返回下面的三行代码:root@server1[~]#rpm-qa|grepvimvim-enhanced-7.0.109-7.el5vim-minimal-7.0.109-7.el5vim-common-7.0.109-7.el5

    2022年4月12日
  • 数字证书理解(CA证书签名原理)[通俗易懂]

    数字证书理解(CA证书签名原理)[通俗易懂]目的为了防止中间人攻击和钓鱼基础概念(要求预先了解的知识概念)对称密钥体系(对称加密)和非对称密钥体系(非对称加密)都提供2份秘钥。公钥私钥是概念上的,发布出去的为公钥,留在手上的为私钥,实质上不存在公私钥区别。特殊的:在实际操作中,生成RSA(特别的:一种加密方式)密钥时会有两个秘钥,其中一份包含另一份的完整信息【此时默认命名为私钥】——->这就是为什么私钥可以推导出公…

    2022年6月1日
  • 逆变器运用到的c语言算法,详解六种逆变电源的控制算法[通俗易懂]

    逆变器运用到的c语言算法,详解六种逆变电源的控制算法[通俗易懂]在电路中将直流电转换为交流电的过程称之为逆变,这种转换通常通过逆变电源来实现。这就涉及到在逆变过程中的控制算法问题。本文引用地址:http://www.eepw.com.cn/article/201710/366918.htm只有掌握了逆变电源的控制算法,才能真正意义上的掌握逆变电源的原理和运行方式,从而方便设计。在本篇文章当中,小编将对逆变电源的控制算法进行总结,帮助大家进一步掌握逆变电源的相关…

    2022年5月17日
  • Matlab符合矩阵微分,matlab解矩阵微分方程.pdf[通俗易懂]

    matlab解矩阵微分方程MATLAB20180625–MATLAB1Definition1t′()Definition2∫()∫24MATLABode451:–11–MATLAB⩾(1)2.14MATLAB1%RUNGEKUTTA442%hyowinn…

    2022年4月9日

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号