[论文简读] Deep Neural Networks for Web Page Information Extraction

[论文简读] Deep Neural Networks for Web Page Information Extraction

[论文简读] Deep Neural Networks for Web Page Information Extraction 基于深层神经网络进行网页信息提取

简单介绍

本文主要介绍了一种基于神经网络并结合视觉信息、文本信息的多网站通用包装器(wrapper)

本文的几个贡献
o 提出了一种将数据从web渲染引擎编码到深层神经网络的方法,即文本的空间编码方法
o 测试了该方法,并验证了其在非通用网站上提取信息的可行性
o 公开了数据集(暂未公开,从代码上看也是自己去找适合的网页爬下来的)、源码和最终模型

基本流程

1. 利用web引擎进行渲染,保存截图(视觉信息)以及DOM树(编码信息)

2. 使用卷积神经网络预测候选元素是否是目标元素

clipboard.png

神经网络

神经网络框架采用了Caffe作为模型训练框架

预处理

从DOM树中提取所有的节点以及其位置,以矩形框表示,使用其文本作为文本输入, 叶节点作为候选输入,然后使用卷积神经网络来处理视觉信息和文本信息,得到一个预测概率P

空间文本编码

clipboard.png

网络架构

clipboard.png
o Screenshot 屏幕截图 由三个卷积层处理(前两层用来自BVLC AlexNet的预先训练的权重初始化)
o TextMap 的张量尺寸为128x160x160
o Candidates 候选列表

过程:视觉特征提取,然后与文本特征(中间)结合。 将候选框的坐标投影到最终的特征张量,并使用ROI MaxPool-ing提取结果向量。 最后,使用softmax的线性模型将向量分类为预定义的类。

实例

clipboard.png

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/101572.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 一文完全理解模型ks指标含义并画出ks曲线(包含代码和详细解释)「建议收藏」

    KS(Kolmogorov-Smirnov):KS用于模型风险区分能力进行评估,指标衡量的是好坏样本累计分部之间的差值。好坏样本累计差异越大,KS指标越大,那么模型的风险区分能力越强。——神秘的KS值和GINI系数上面是ks的简单介绍,相信大家看了这几句话,肯定还是不懂ks到底是个什么。我也是研究了比较久,终于搞清楚了ks的具体计算方式。搞清楚了计算方式后,ks的含义自然就清楚了。下面…

    2022年4月5日
    576
  • Android入门教程1【学前准备】

    Android入门教程1【学前准备】Android入门教程学习Android的学前准备    我呢,不像别人,有自己的学习风格,我觉得在0基础的情况下去学一门语言,最重要的是什么,是计划,无目的这看看那看看的只会让你迷茫。废话不多说,直接跟我来学习Android吧。  一:学前准备要准备什么呢?我给大家一一列举一下:1.书籍  为什么要准备书籍呢?网上免费教程不多的是么?是的,网上是有,但有可能你今天看了一集教程就没有然后…

    2022年6月3日
    38
  • android经常使用的电话操作[通俗易懂]

    android经常使用的电话操作

    2022年1月27日
    42
  • android之存储篇_SharedPreferences存储方式

    SharedPreferences是一种轻型的数据存储方式,它的本质是基于XML文件存储key-value键值对数据,通常用来存储一些简单的配置信息。其存储位置在/data/data//shared_prefs目录下。SharedPreferences对象本身只能获取数据而不支持存储和修改,存储修改是通过Editor对象实现。实现SharedPreferences存储的步骤如下:  一、根据C

    2022年3月10日
    605
  • linux gstack_linux最常用命令

    linux gstack_linux最常用命令pstack:pstack命令可显示每个进程的栈跟踪。pstack命令必须由相应进程的属主或root运行。可以使用pstack来确定进程挂起的位置。此命令允许使用的唯一选项是要检查的进程的PID。pstack看活动的进程内的堆栈用法:root#pstackPIDgstack:

    2025年11月16日
    3
  • Linux驱动之串口(UART)

    Linux驱动之串口(UART)

    2022年3月13日
    40

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号