[论文简读] Deep Neural Networks for Web Page Information Extraction

[论文简读] Deep Neural Networks for Web Page Information Extraction

[论文简读] Deep Neural Networks for Web Page Information Extraction 基于深层神经网络进行网页信息提取

简单介绍

本文主要介绍了一种基于神经网络并结合视觉信息、文本信息的多网站通用包装器(wrapper)

本文的几个贡献
o 提出了一种将数据从web渲染引擎编码到深层神经网络的方法,即文本的空间编码方法
o 测试了该方法,并验证了其在非通用网站上提取信息的可行性
o 公开了数据集(暂未公开,从代码上看也是自己去找适合的网页爬下来的)、源码和最终模型

基本流程

1. 利用web引擎进行渲染,保存截图(视觉信息)以及DOM树(编码信息)

2. 使用卷积神经网络预测候选元素是否是目标元素

clipboard.png

神经网络

神经网络框架采用了Caffe作为模型训练框架

预处理

从DOM树中提取所有的节点以及其位置,以矩形框表示,使用其文本作为文本输入, 叶节点作为候选输入,然后使用卷积神经网络来处理视觉信息和文本信息,得到一个预测概率P

空间文本编码

clipboard.png

网络架构

clipboard.png
o Screenshot 屏幕截图 由三个卷积层处理(前两层用来自BVLC AlexNet的预先训练的权重初始化)
o TextMap 的张量尺寸为128x160x160
o Candidates 候选列表

过程:视觉特征提取,然后与文本特征(中间)结合。 将候选框的坐标投影到最终的特征张量,并使用ROI MaxPool-ing提取结果向量。 最后,使用softmax的线性模型将向量分类为预定义的类。

实例

clipboard.png

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/101572.html原文链接:https://javaforall.net

(0)
上一篇 2021年6月8日 上午8:00
下一篇 2021年6月8日 上午9:00


相关推荐

  • poweroff 命令_powercfg -h off 函数出了问题

    poweroff 命令_powercfg -h off 函数出了问题2019-02-17基础命令学习目录首页原文链接:https://www.cnblogs.com/Baron-Lu/p/6951297.html基础命令学习目录首页原文链接:https://w

    2022年8月1日
    8
  • 郁闷中…………

    郁闷中…………

    2021年8月5日
    50
  • Flash基础知识

    http://www.cnblogs.com/sankye/articles/1638852.html向作者Sankye致敬【编写驱动之前要了解的知识】1.       硬件特性:【Flash的硬件实现机制】Flash全名叫做FlashMemory,属于非易失性存储设备(Non-volatileMemoryDevice)

    2022年4月5日
    37
  • pandownload激活码_pandownload账号

    pandownload激活码_pandownload账号yunfile网盘是国内的一个免费网盘,很多网站博客都会使用yunfile网盘的外链。但是该网盘广告多,等待时间长,免费用户只能一次下载一个文件,而且不能用迅雷等下载软件来下载,只能用IE,Chrome,Firefox等浏览器下载,下载速度又极其缓慢。但是有时候我们又不得不在该网盘下载文件,这个时候有一个yunfile网盘会员账号就可以解决上面所说的问题了。有求yunfile会员账号的朋友…

    2025年9月25日
    10
  • 什么软件可以更换手机ip地址「建议收藏」

    什么软件可以更换手机ip地址「建议收藏」这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好!这是你第一次使用Markdown编辑器所展示的欢迎页。如果你想学习如何使用Mar

    2022年6月17日
    31
  • excel自动生成创建表sql语句

    excel自动生成创建表sql语句Sub 选项按钮 4 Click DimsqlStr sqlTemp pkStr columnName columnType columnLength isPk notExistTabl isNull commentAsStr columnListIn

    2026年3月18日
    2

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号