[论文简读] Deep Neural Networks for Web Page Information Extraction

[论文简读] Deep Neural Networks for Web Page Information Extraction

[论文简读] Deep Neural Networks for Web Page Information Extraction 基于深层神经网络进行网页信息提取

简单介绍

本文主要介绍了一种基于神经网络并结合视觉信息、文本信息的多网站通用包装器(wrapper)

本文的几个贡献
o 提出了一种将数据从web渲染引擎编码到深层神经网络的方法,即文本的空间编码方法
o 测试了该方法,并验证了其在非通用网站上提取信息的可行性
o 公开了数据集(暂未公开,从代码上看也是自己去找适合的网页爬下来的)、源码和最终模型

基本流程

1. 利用web引擎进行渲染,保存截图(视觉信息)以及DOM树(编码信息)

2. 使用卷积神经网络预测候选元素是否是目标元素

clipboard.png

神经网络

神经网络框架采用了Caffe作为模型训练框架

预处理

从DOM树中提取所有的节点以及其位置,以矩形框表示,使用其文本作为文本输入, 叶节点作为候选输入,然后使用卷积神经网络来处理视觉信息和文本信息,得到一个预测概率P

空间文本编码

clipboard.png

网络架构

clipboard.png
o Screenshot 屏幕截图 由三个卷积层处理(前两层用来自BVLC AlexNet的预先训练的权重初始化)
o TextMap 的张量尺寸为128x160x160
o Candidates 候选列表

过程:视觉特征提取,然后与文本特征(中间)结合。 将候选框的坐标投影到最终的特征张量,并使用ROI MaxPool-ing提取结果向量。 最后,使用softmax的线性模型将向量分类为预定义的类。

实例

clipboard.png

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/101572.html原文链接:https://javaforall.net

赞 (0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • icem合并面网格_icem 混合网格 流沙

    icem合并面网格_icem 混合网格 流沙ICEMCFD中处理interface面_计算机软件及应用_IT/计算机_专业资料。Interface在CFD中应用得非常多,比如常见的应用MRF,SRF,MP以及滑移网格。其实在有限元计算……oaoaoaMMM使用ICEMCFD建立二维翼型流场网格rewrewrewAndrewMoandndndICEMCFD是一款专业的CFD前处…

    2022年5月26日
  • sstream用法

    sstream用法#include<sstream>stringstream对象用于输入一行字符串,以空格为分隔符把该行分隔开来stringstr=”helloworldIamveryhappy!”;stringstreamsstream(str);…

    2022年5月4日
  • kafka详细教程_kafka使用教程

    kafka详细教程_kafka使用教程MessageQueue消息传送系统提供传送服务。消息传送依赖于大量支持组件,这些组件负责处理连接服务、消息的路由和传送、持久性、安全性以及日志记录。消息服务器可以使用一个或多个代理实例。JMS(JavaMessagingService)是Java平台上有关面向消息中间件(MOM)的技术规范,它便于消息系统中的Java应用程序进行消息交换,并且通过提供标准的产生、发送、接收消息的接口简化企业应用的开发,翻译为Java消息服务。

    2022年10月17日
  • mysql innodb 索引使用指南「建议收藏」

    mysql innodb 索引使用指南「建议收藏」mysql innodb 索引使用指南

    2022年4月21日
  • 补码运算溢出判断方法是_一个8位二进制整数采用补码表示

    补码运算溢出判断方法是_一个8位二进制整数采用补码表示溢出判断方法一  用Xf和Yf表示被加数和加数补码的符号位,Zf为补码和的符号位。当出现Xf=Yf=0两数同为正,而Zf为负,即Zf=1时,有上溢。当出现Xf=Yf=1两数同为负,而Zf为正,即Zf=0时,有下溢。溢出判断方法二  当数值最高位有进位位C1=1,符号位没有进位C0=0时,或当数值最高位没有进位位C1=0,符号位有进位C0=1时,结果有溢出。溢出判断方法

    2022年9月22日
  • git安装教程图文详解(ps破解版安装教程)

    文章作者:Wendell原文地址:https://www.jianshu.com/p/a152f82c5e4a转载请注明出处!一、安装前准备  1.廖雪峰老师Git教程:推荐Git入门教程。  2.按照自己的系统版本下载Git软件,我的操作系统:Windows764位,安装版本为Git-2.18.0-64-bit.exe(截至201…

    2022年4月9日

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号