1. 全栈程序员必看首页

FM和FFM原理

全栈程序员-站长 • • 未分类 • 阅读 51

FM和FFM原理模型用途FM和FFM，分解机，是近几年出的新模型，主要应用于广告点击率预估（CTR），在特征稀疏的情况下，尤其表现出优秀的性能和效果，也数次在kaggle上的数据挖掘比赛中拿到较好的名次。FM原理特征编码时常用的one-hot编码，会导致特征非常稀疏（很多0值）。常用的特征组合方法是多项式模型，模型表达式如下： y(x)=w0+∑i=1nwixi+∑i=1n∑j=i+1nwijxixjy(x)=w…

大家好，又见面了，我是你们的朋友全栈君。

模型用途

FM和FFM，分解机，是近几年出的新模型，主要应用于广告点击率预估（CTR），在特征稀疏的情况下，尤其表现出优秀的性能和效果，也数次在kaggle上的数据挖掘比赛中拿到较好的名次。

FM原理

特征编码时常用的one-hot编码，会导致特征非常稀疏（很多0值）。常用的特征组合方法是多项式模型，模型表达式如下： 

y(x)=w0+∑i=1nwixi+∑i=1n∑j=i+1nwijxixjy(x)=w0+∑i=1nwixi+∑i=1n∑j=i+1nwijxixj



其中
xixi
表示第i列特征，
nn
表示特征数，
w0,wi,wijw0,wi,wij
为模型参数。模型参数为
n2n2
个。在对模型进行训练时，采用SGD(随即梯度下降)，由于特征较稀疏，大部分
wijwij
的梯度值为0，那么参数
wijwij
的值就不准确，会影响模型的效果。 


FM模型，将参数
wijwij
对应的矩阵
WW
，利用矩阵分解表示为
W=VTVW=VTV
, 矩阵
VV
∈Rk×n∈Rk×n
, 可以通过调节k来调节模型的泛化能力。 


k影响



FM模型则表示为： 

y(x)=w0+∑i=1nwixi+∑i=1n∑j=i+1n<vi,vj>xixjy(x)=w0+∑i=1nwixi+∑i=1n∑j=i+1n<vi,vj>xixj



模型参数减少为kn个。训练方法还是采用SGD，在预测时，可以通过下式将计算复杂度从
O(kn2)O(kn2)
降低为
O(kn)O(kn)
： 

∑i=1n∑j=i+1n<vi,vj>xixj=12∑f=1k((∑i=1nvi,fxi)2−∑i=1n(vi,fxi)2)∑i=1n∑j=i+1n<vi,vj>xixj=12∑f=1k((∑i=1nvi,fxi)2−∑i=1n(vi,fxi)2)

FFM 原理

FFM模型是在FM特征组合的基础上给特征加上了field属性，于是模型表示为 

y(x)=w0+∑i=1nwixi+∑i=1n∑j=i+1n<vi,fj,vj,fi>xixjy(x)=w0+∑i=1nwixi+∑i=1n∑j=i+1n<vi,fj,vj,fi>xixj



其中
fifi
表示特征i所属的field，需要训练的
VV
为
n×k×fn×k×f
,
ff
为field的个数，具体案例见
ppt
 


由于FFM加入field，使得训练和预测过程参数计算不能简化，复杂度为
O(kn2)O(kn2)

参考文献

  1. http://tech.meituan.com/deep-understanding-of-ffm-principles-and-practices.html
  2. ffm源码git

转自：https://blog.csdn.net/Leo00000001/article/details/71330927?locationNum=13&fps=1

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/143838.html原文链接：https://javaforall.net

赞 (0)
全栈程序员-站长的头像全栈程序员-站长
0 0


相关推荐

  • 13个大数据应用案例,告诉你最真实的大数据故事[通俗易懂]

    13个大数据应用案例,告诉你最真实的大数据故事[通俗易懂]

    13个大数据应用案例,告诉你最真实的大数据故事[通俗易懂]   大数据真的太神奇了，真的可以让改变一个企业的运营吗?答案是肯定的。大数据目前是当下最火热的词了，你要是不知道大数据这个概念，都不好意思在众人面前开口了。然而实际上很多人都对大数据的应用模糊不清。现在就让我们从下面十三个大数据应用案例来了解下最真实的大数据故事把，并鲜明得了解大数据在生活当中实际应用的情况。大数据应用案例之电视媒体　　对于体育爱好者，追踪电视播放的最新运动赛事几乎是一件不…

    全栈程序员-站长的头像 全栈程序员-站长
    2022年6月4日
    79
  • mysql和sqlyog安装_MySQL与sqlyog安装教程图文详解[通俗易懂]

    mysql和sqlyog安装_MySQL与sqlyog安装教程图文详解[通俗易懂]

    mysql和sqlyog安装_MySQL与sqlyog安装教程图文详解[通俗易懂]1.MySQL1.1MySQL安装mysql-5.5.27-winx64下载(1)欢迎安装(2)协议接受(3)安装模式选择Typical：表示一般常用的组件都会被安装，默认情况下安装到C:ProgramFilesMySQLMySQLServer5.5下。Complete：表示会安装所有的组件。此套件会占用比较大的磁盘空间。Custom：表示用户可以选择要安装的组件，可以更改默认按照的路径…

    全栈程序员-站长的头像 全栈程序员-站长
    2022年5月8日
    85
  • python之Beautiful Soup库

    python之Beautiful Soup库

    1、简介简单来说，BeautifulSoup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下：BeautifulSoup提供一些简单的、python式的函数用来处理导航、搜索

    全栈程序员-站长的头像 全栈程序员-站长
    2021年12月29日
    44
  • linux配置ip端口号

    linux配置ip端口号

    linux配置ip端口号1./etc/httpd/conf.d/test.conf8000> ServerNametest.com//也可以是ip地址 DocumentRoot/var/www/test DirectoryIndexindex.htmlindex.php AddDefaultCharsetutf-8 DefaultLanguageutf-8 LanguagePriority

    全栈程序员-站长的头像 全栈程序员-站长
    2022年5月22日
    165
  • jq 获取有焦点的input_jquery获得焦点和失去焦点

    jq 获取有焦点的input_jquery获得焦点和失去焦点

    jq 获取有焦点的input_jquery获得焦点和失去焦点前端网站中如果存在一些让用户填写内容的表单元素的话，我们可以使用JQ中获得焦点事件和失去焦点事件，来给用户作出一些提示的内容。今天我们就说一说JQuery下获得焦点和失去焦点的事件的使用方法。jqueryfocus()获得焦点事件focus()方法：当通过鼠标点击选中元素或通过tab键定位到元素时，该元素就会获得焦点。语法：例：input输入框获得焦点时改变其边框的颜色示例代码：当鼠标移入…

    全栈程序员-站长的头像 全栈程序员-站长
    2022年6月24日
    80
  • 学习入侵躲避技术—理解AET

    学习入侵躲避技术—理解AET

    学习入侵躲避技术—理解AET

    全栈程序员-站长的头像 全栈程序员-站长
    2022年3月11日
    40

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号