1. 全栈程序员必看首页

FM和FFM原理

全栈程序员-站长 • • 未分类 • 阅读 48

FM和FFM原理模型用途FM和FFM，分解机，是近几年出的新模型，主要应用于广告点击率预估（CTR），在特征稀疏的情况下，尤其表现出优秀的性能和效果，也数次在kaggle上的数据挖掘比赛中拿到较好的名次。FM原理特征编码时常用的one-hot编码，会导致特征非常稀疏（很多0值）。常用的特征组合方法是多项式模型，模型表达式如下： y(x)=w0+∑i=1nwixi+∑i=1n∑j=i+1nwijxixjy(x)=w…

大家好，又见面了，我是你们的朋友全栈君。

模型用途

FM和FFM，分解机，是近几年出的新模型，主要应用于广告点击率预估（CTR），在特征稀疏的情况下，尤其表现出优秀的性能和效果，也数次在kaggle上的数据挖掘比赛中拿到较好的名次。

FM原理

特征编码时常用的one-hot编码，会导致特征非常稀疏（很多0值）。常用的特征组合方法是多项式模型，模型表达式如下： 

y(x)=w0+∑i=1nwixi+∑i=1n∑j=i+1nwijxixjy(x)=w0+∑i=1nwixi+∑i=1n∑j=i+1nwijxixj



其中
xixi
表示第i列特征，
nn
表示特征数，
w0,wi,wijw0,wi,wij
为模型参数。模型参数为
n2n2
个。在对模型进行训练时，采用SGD(随即梯度下降)，由于特征较稀疏，大部分
wijwij
的梯度值为0，那么参数
wijwij
的值就不准确，会影响模型的效果。 


FM模型，将参数
wijwij
对应的矩阵
WW
，利用矩阵分解表示为
W=VTVW=VTV
, 矩阵
VV
∈Rk×n∈Rk×n
, 可以通过调节k来调节模型的泛化能力。 


k影响



FM模型则表示为： 

y(x)=w0+∑i=1nwixi+∑i=1n∑j=i+1n<vi,vj>xixjy(x)=w0+∑i=1nwixi+∑i=1n∑j=i+1n<vi,vj>xixj



模型参数减少为kn个。训练方法还是采用SGD，在预测时，可以通过下式将计算复杂度从
O(kn2)O(kn2)
降低为
O(kn)O(kn)
： 

∑i=1n∑j=i+1n<vi,vj>xixj=12∑f=1k((∑i=1nvi,fxi)2−∑i=1n(vi,fxi)2)∑i=1n∑j=i+1n<vi,vj>xixj=12∑f=1k((∑i=1nvi,fxi)2−∑i=1n(vi,fxi)2)

FFM 原理

FFM模型是在FM特征组合的基础上给特征加上了field属性，于是模型表示为 

y(x)=w0+∑i=1nwixi+∑i=1n∑j=i+1n<vi,fj,vj,fi>xixjy(x)=w0+∑i=1nwixi+∑i=1n∑j=i+1n<vi,fj,vj,fi>xixj



其中
fifi
表示特征i所属的field，需要训练的
VV
为
n×k×fn×k×f
,
ff
为field的个数，具体案例见
ppt
 


由于FFM加入field，使得训练和预测过程参数计算不能简化，复杂度为
O(kn2)O(kn2)

参考文献

  1. http://tech.meituan.com/deep-understanding-of-ffm-principles-and-practices.html
  2. ffm源码git

转自：https://blog.csdn.net/Leo00000001/article/details/71330927?locationNum=13&fps=1

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/143838.html原文链接：https://javaforall.net

赞 (0)
全栈程序员-站长的头像全栈程序员-站长
0 0


相关推荐

  • 前端面试题：闭包_前端设计模式面试题

    前端面试题：闭包_前端设计模式面试题

    前端面试题：闭包_前端设计模式面试题前段时间一直在投一些中小型公司吧，感觉好久都收不到反馈，也不知道是被淘汰了还是没出结果呢，最近开始投一些大一点的公司准备尝试一下，就在昨天接到面试电话的时候，接受到了滴滴的毒打。跟一些面试不一样的是不只是一些基础的基本概念吧，比如说什么是原型和原型链，说一下继承，讲一下this指向之类的。更多的是为什么要这样用，手写算法，预测输出结果之类的面试题。印象最深刻的应该就是那道关于闭包的题目了吧，是预测一个程序的输出结果，当时看的我是晕头转向，大厂的面试也是招架不住，真的是把我给面到自闭，感觉自己啥也不是，估

    全栈程序员-站长的头像 全栈程序员-站长
    2022年8月29日
  • 卓见杯”第五届CCPC河南省赛参赛感悟

    卓见杯”第五届CCPC河南省赛参赛感悟

    卓见杯”第五届CCPC河南省赛参赛感悟

    全栈程序员-站长的头像 全栈程序员-站长
    2021年9月27日
  • html背景图片拉伸解决办法

    html背景图片拉伸解决办法

    html背景图片拉伸解决办法html背景图片拉伸解决办法body{background-size:100%100%;//关键代码，直接拉伸背景图background-image:url(“img/99.jpg”);//背景图导入background-repeat:no-repeat;//不重复拉伸background-attachment:fixed;//此代码用于页面内容超出屏幕，

    全栈程序员-站长的头像 全栈程序员-站长
    2022年9月28日
  • pycharm设置代理_mac pycharm怎么设置环境

    pycharm设置代理_mac pycharm怎么设置环境

    pycharm设置代理_mac pycharm怎么设置环境一、Shadowsocket用默认端口即可不需要改二、mac网络三、Pycharm配置代理检测成功四、然而执行代码还是没走代理最后方式直接request加代理#!/usr/bin/evnpython#-*-coding:utf-8-*-importrequestsproxy={“http”…

    全栈程序员-站长的头像 全栈程序员-站长
    2022年8月26日
  • 网络常用端口号大全图片_windows关闭不必要的端口

    网络常用端口号大全图片_windows关闭不必要的端口

    网络常用端口号大全图片_windows关闭不必要的端口端口号—具有网络功能的应用软件的标识号。注意，端口号是不固定的，即可以由用户手工可以分配（当然，一般在软件编写时就已经定义）。当然，有很多应用软件有公认的默认的端口，比如FTP：20和21，HTTP：80，TELNET：23等等，这里就不一一列举了。一个软件可以拥有多个端口号，这证明这个软件拥有不止一个网络功能。0-1023是公认端口号，即已经公认定义或为将要公认定义的软件保留的，而102…

    全栈程序员-站长的头像 全栈程序员-站长
    2022年9月13日
  • 网关,路由器,局域网,广域网络_局域网和广域网是什么意思

    网关,路由器,局域网,广域网络_局域网和广域网是什么意思

    网关,路由器,局域网,广域网络_局域网和广域网是什么意思网关、路由器、局域网、广域网网关：连接一个网络到另一个网络的关口，不同的网络有不同的网络地址，以及不同的网络中的主机分配有不同的段的ip地址。网关可以实现广域网的互连，也可以实现局域网的互连现在通常说的网关就是路由器的IP只要两台电脑能够相互ping的通，就说明两台电脑属于在同一个局域网中。路由器局域网就是内网，而内网就是局域网，一个学校，一个单位就是一个局域网，在同一个局域网中，所有的ip都是不一样的，但是在两个不同的局域网中，ip地址可以一样，使用ipconfig

    全栈程序员-站长的头像 全栈程序员-站长
    2022年10月9日

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号