[论文简读] Deep Neural Networks for Web Page Information Extraction

[论文简读] Deep Neural Networks for Web Page Information Extraction

[论文简读] Deep Neural Networks for Web Page Information Extraction 基于深层神经网络进行网页信息提取

简单介绍

本文主要介绍了一种基于神经网络并结合视觉信息、文本信息的多网站通用包装器(wrapper)

本文的几个贡献
o 提出了一种将数据从web渲染引擎编码到深层神经网络的方法,即文本的空间编码方法
o 测试了该方法,并验证了其在非通用网站上提取信息的可行性
o 公开了数据集(暂未公开,从代码上看也是自己去找适合的网页爬下来的)、源码和最终模型

基本流程

1. 利用web引擎进行渲染,保存截图(视觉信息)以及DOM树(编码信息)

2. 使用卷积神经网络预测候选元素是否是目标元素

clipboard.png

神经网络

神经网络框架采用了Caffe作为模型训练框架

预处理

从DOM树中提取所有的节点以及其位置,以矩形框表示,使用其文本作为文本输入, 叶节点作为候选输入,然后使用卷积神经网络来处理视觉信息和文本信息,得到一个预测概率P

空间文本编码

clipboard.png

网络架构

clipboard.png
o Screenshot 屏幕截图 由三个卷积层处理(前两层用来自BVLC AlexNet的预先训练的权重初始化)
o TextMap 的张量尺寸为128x160x160
o Candidates 候选列表

过程:视觉特征提取,然后与文本特征(中间)结合。 将候选框的坐标投影到最终的特征张量,并使用ROI MaxPool-ing提取结果向量。 最后,使用softmax的线性模型将向量分类为预定义的类。

实例

clipboard.png

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/101572.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • jquery事件delegate()方法用法详解[通俗易懂]

    jquery事件delegate()方法用法详解[通俗易懂]我们先看官方是怎么说delegate()方法,delegate()方法为指定的元素(属于被选元素的子元素)添加一个或多个事件处理程序,并规定当这些事件发生时运行的函数,使用delegate()方

    2022年7月2日
    24
  • 简述你是如何理解Java语言中的变量和常量的?_java什么是变量和常量

    简述你是如何理解Java语言中的变量和常量的?_java什么是变量和常量Java基础语法之Java常量与变量

    2022年4月21日
    34
  • 使用ultraiso制作u盘启动盘_如何进入u盘启动界面

    使用ultraiso制作u盘启动盘_如何进入u盘启动界面下面给你提供是的一个万能的制作系统U盘的方法,用这个U盘你可以加载任何你想要的系统,即使是Linux系统都是可以,你需要做的就是下载安装软件,下载一个系统安装光盘的镜像文件,然后用软件导入到U盘就可以

    2022年8月4日
    11
  • c++ 的map、iterator用法[通俗易懂]

    c++ 的map、iterator用法[通俗易懂] https://blog.csdn.net/bangdingshouji/article/details/73028424参考:资料一:http://www.cplusplus.com/reference/iterator/(第一参考,简单精要) 资料二:http://jjhou.boolan.com/programmer-3-traits.pdf(侯捷随笔,非常全面,有时间深刻可…

    2025年7月7日
    2
  • 飞猪双11挑战_天猫双十一晚会极限挑战

    飞猪双11挑战_天猫双十一晚会极限挑战摘要: EagleEye作为阿里集团老牌的链路跟踪系统,其自身业务虽不在交易链路上,但却监控着全集团的链路状态,特别是在中间件的远程调用上,覆盖了集团绝大部分的场景,在问题排查和定位上发挥着巨大的作用,保障了各个系统的稳定性,为整个技术团队打赢这场战役保驾护航。作者:王华锋(水彧)背景双十一一直是阿里巴巴集团每年要打的一场大战役。要打赢这场战役,技术上,不仅仅是几个应用

    2022年8月16日
    5
  • 什么能去颜色_视频去掉不要的部分

    什么能去颜色_视频去掉不要的部分有时候黑白色的视频或者图片会更让人有感觉,那么怎么用AVSVideoEditor给视频去色呢?1.打开AVSVideoEditor软件,点击“导入”,导入一段视频素材到媒体库中。将视频拖到主视频轨道上。打开视频效果,找到“灰度”,鼠标右击然后选择“添加或替换视频效果”,此时视频就会变成黑白色。4.鼠标左键选择视频效果轨,然后点击编辑效果。…

    2022年10月6日
    4

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号