阿里游戏大数据sesson2_RF&GBRT(上)

阿里游戏大数据sesson2_RF&GBRT(上)

大家好,又见面了,我是全栈君,今天给大家准备了Idea注册码。

———-一个小的游戏体验,对于不太熟悉Xlab RF和GBRT同学们都叫参考,不喜勿喷,大神绕道,米姆达。

。。

。———-

6月初的时候LR 做到4.9后一直上不去,看群里火热的讨论RF。转而使用RF,几经折腾上手后。在当时的那批对LR来说非常好的特征处理下,结果F1仅仅有3.5左右。心灰意冷。。

。然后又看到火热讨论GBRT,再转gbrt,刚上手。效果和RF差点儿相同。看到别的同学直接从LR转到RF和GBRT都效果好非常多,那个急啊。然后又是考试周。就一直拖拉到6月下旬,最终下定决心又一次做一遍。由于gbrt训练时间比較长。且RF和GBRT对特征的效果相当,RF预測时间相对较短一些,便又一次做RF。慢慢的有效果了,停止了F1最终開始往上涨:4.9->5.16->5.66…近期開始再加入特征。相信还会有提升,以下把我们的RF和GBRT的训练和预測方法大概讲一下(主要以截图为主)

1、Xlab GBRT上手


1.1、训练特征表准备

训练的特征表gbrt_offline_section_one_24格式为:user_id,brand_id,feature1,feature2…Label      

见下图:

阿里游戏大数据sesson2_RF&GBRT(上)


1.2 、建立特征稀疏表。为训练做准备

特征稀疏表可直接在Xlab由原始特征表转换得到,截图例如以下

阿里游戏大数据sesson2_RF&GBRT(上)

进入普通表转稀疏矩阵界面后。在选择列里填上: user_id相应的列号(表默认从0列開始)。brand_id相应的列号,以及想要使用的众多特征相应的列号(不须要填写标签相应的列号!。!

);然后在输出表里填上转换成的稀疏矩阵gbrt_offline_section_one_24_1;例如以下图

阿里游戏大数据sesson2_RF&GBRT(上)

1.3 、GBRT训练

       利用训练的特征表gbrt_offline_section_one_24,进行GBRT训练,例如以下图所以

阿里游戏大数据sesson2_RF&GBRT(上)

进入配置界面。勾选训练的标签,稀疏矩阵名处输入刚才转好的稀疏矩阵gbrt_offline_section_one_24_1。模型输出表处填写模型输出表名。參数配置处依据效果进行配置(最開始默认就能够的)。例如以下图所看到的:

阿里游戏大数据sesson2_RF&GBRT(上)

阿里游戏大数据sesson2_RF&GBRT(上)

配置好仅仅好就能够进行训练了,等待训练好之后等到GBRT预測模型:gbrt_offline_section_one_25;


1.4、GBRT预測特征表准备

训练的特征表gbrt_offline_section_two_11格式与训练特征表格式一样,为:user_id, brand_id, feature1, feature2…Label      见下图:

阿里游戏大数据sesson2_RF&GBRT(上)

1.5、建立预測稀疏矩阵表

特征稀疏表可直接在Xlab由原始特征表转换得到,方法和原来一样。直接截图例如以下

阿里游戏大数据sesson2_RF&GBRT(上)

须要注意的是,选择列必须和训练时候一样。。。

阿里游戏大数据sesson2_RF&GBRT(上)

1.6、GBRT预測

利用转好的预測稀疏矩阵表gbrt_offline_section_two_11_1进行预測,例如以下图所看到的

阿里游戏大数据sesson2_RF&GBRT(上)

进入界面例如以下:model 处填写刚才训练好的GBRT模型表:gbrt_offline_section_one_25;输出表名处填写预測结果输出表 gbrt_offline_section_two_13,然后进行预測。例如以下图所看到的:

阿里游戏大数据sesson2_RF&GBRT(上)

1.7、GBRT碎碎念

GBRT预測好之后。得到的结果为与原始预測表gbrt_offline_section_two_11一一相应的单列值y_var(搞不懂为什么不提供类似RF那样预測结果追加user_id,brand_id 列),例如以下图:

阿里游戏大数据sesson2_RF&GBRT(上)

所以。还得进行追加ID列,进行zxs_gbrt_offline_section_two_13_1和zxs_gbrt_offline_section_two_11_1两张表的合并,得到类似user_id,brand_id,y_val的表,取阈值进行推荐就能够了。下图为xlab里提供的脚本,追加ID列代码。

阿里游戏大数据sesson2_RF&GBRT(上)


另外:附上脚本实现的代码,方便測试:

阿里游戏大数据sesson2_RF&GBRT(上)

———–__———–PS———__———-

版权声明:本文博客原创文章。博客,未经同意,不得转载。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/117688.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • dom.querySelector和document.getElementById区别

    dom.querySelector和document.getElementById区别、document.getElementById可以查询纯数字的iddom.querySelectordocument.querySelectorAll(’[id=“111”]’)在某个dom下寻找相应选择器的元素背景产品反馈项目系统模板复制之后,元素无法拖拽。经排查发现元素继承自move组件。而每个元素绑定的id竟然纯数字;复制模板之后由于项目的复杂性无法统一的对复制出…

    2022年7月15日
    15
  • Selenium安装Chrome驱动「建议收藏」

    Selenium安装Chrome驱动「建议收藏」1.确认版本chromedriver.exe下载淘宝的镜像下载地址:添加链接描述查看本机Chrome版本,打开谷歌浏览器,点击右上角的菜单,帮助–>关于GoogleChrome(G)2.下载驱动打开网页,找到对应版本,后面的小版本号虽然和自己浏览器有些差异,可以忽略。只要保证大版本是一样即可。选择win32下载文件,并解压3.拖入…

    2022年6月26日
    55
  • ffmpeg h264解码器提取

    ffmpeg h264解码器提取ffmpeg包含了很多的音视频解码器,本文试图通过对ffmpeg的简单分析提取h264解码器.使用ffmpeg解码可以参考ffmpeg源码下的doc/examples/decoding_encoding.c 1.首先设置解码器参数(avcodec_find_decoder(CODEC_ID_H264)将decode函数指针为h264_decoder,即

    2022年6月16日
    36
  • 文献精读(第二十七篇)——基于残差密集网络的图像超分辨率(RDN)「建议收藏」

    文献精读(第二十七篇)——基于残差密集网络的图像超分辨率(RDN)「建议收藏」一、文献梳理1、研究背景传统网络特点:增加了网络深度,使用残差,梯度裁剪等方法降低训练难度;使用memoryblock记忆块建立MeMNet,希望能够保存底层,浅层的特征。传统网络问题:不能充分使用每层的图片信息,大部分方法没有使用层次特征2、实验1)数据集设置训练数据集:DIV2K 训练数据增强:随机水平或垂直翻转90度 测试数据集:Set5、Set14、BSD100自然场景图像、Urban100城市场景图像2)训练集预处理BI方式:双线性插值、缩小比率2,8,16

    2022年6月20日
    25
  • Debian 6 字体显示效果调整

    Debian 6 字体显示效果调整在给cairo打了补丁之后,我发现debian的字体显示效果还是跟ubuntu有差别,于是我把ubuntu下/etc/fonts的所有文件都打包放在了debian的/etc/fonts下,这里面ubuntu对字体的渲染做了优化,我直接拿过来用了,:)。可是效果还是不一样,最后发现了问题所在。打开“Appearance”设置对话框,选中“Fonts”标签,点击”Details”,Hintin

    2022年10月9日
    2
  • nodejs多房间web聊天室[通俗易懂]

    nodejs多房间web聊天室[通俗易懂]一年之前的做的小项目,过了许久,翻出当时的PPT文档总结一下。源码下载:https://github.com/CreekLou/chatRoomNodejs背景简介1,JavaScript最早是运行在浏览器中,然而浏览器只是提供了一个上下文2,node.js事实上就是另外一种上下文,它允许在后端(脱离浏览器环境)运行JavaScript代码3,Node.js事实上既是一个

    2022年6月22日
    35

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号