MAC 上抓取网页数据的工具有哪些?「建议收藏」

MAC 上抓取网页数据的工具有哪些?

大家好,又见面了,我是全栈君。

我希望能够从网页上, 比如气象局数据, 财经数据等等, 我看到官方提供的数据都比较混乱, 有的是一个php文件, 有的是一个文本, 有的干脆不提供数据, 我想问, Mac上, 用什么工具去抓数据, 以及处理这些数据大神们一般用很么方法?

链接:https://www.zhihu.com/question/27736988/answer/174849599
https://www.zhihu.com/question/27736988

1、

import.io

用法非常简单,注册后输入网址链接,就可以在可视化界面对数据进行筛选。操作也是超级简单,如下图,唯一缺点就是全英文,不过咱们自己也有,来看看第二个吧。



v2-acebbaa727dc018d746b3b5c9e40b926_hd.jpg
MAC 上抓取网页数据的工具有哪些?「建议收藏」

v2-b5234d9b93201e548e9ad13fa1a27ba3_hd.jpg
MAC 上抓取网页数据的工具有哪些?「建议收藏」

2、parsehub

parsehub

与以上两种网页抓取不同的是,parsehub需要用户下载客户端之后再使用,打开就像一个浏览器,输入网址后在网页提取出需要的信息。



v2-5ffa6d577260eedf0db1835b76f5d2e5_hd.jpg
MAC 上抓取网页数据的工具有哪些?「建议收藏」

v2-3265a1a2ad79d5eb56cba8571a35a530_hd.jpg
MAC 上抓取网页数据的工具有哪些?「建议收藏」

(二维码自动识别)


3、80legs

80legs

80legs在由5万台计算机构成的Plura网格 上每天抓取200万网页。 但是在使用上可能并没有前几个那么好用。



v2-f55f186e58e653d9df909ca367240120_hd.jpg
MAC 上抓取网页数据的工具有哪些?「建议收藏」

v2-0c4fe0b77d29c482467334dd5262e9d2_hd.jpg
MAC 上抓取网页数据的工具有哪些?「建议收藏」

4、Web Scraper

Web Scraper

Web Scraper是需要在谷歌应用商店安装的一个插件,基本步骤就是点点点

详细的教程可以看这里



v2-4e4c98168d73b81c10c41923430215b0_hd.jpg
MAC 上抓取网页数据的工具有哪些?「建议收藏」

(二维码自动识别)


5、FMiner

FMiner

FMiner同样也需要下载客户端进行使用,但它是一款付费产品,有15天的免费使用期。



v2-702526eff11cb3190f5ccabe0c948ebc_hd.jpg
MAC 上抓取网页数据的工具有哪些?「建议收藏」

v2-fcd3a0855b2d8016d99c2fb7eab87185_hd.jpg
MAC 上抓取网页数据的工具有哪些?「建议收藏」

v2-81863352646781fc58833db684cd1455_hd.jpg
MAC 上抓取网页数据的工具有哪些?「建议收藏」

总结

以上介绍的都是国外的工具,如果更喜欢中文界面,可以来试试我们的产品造数造数 -深受广大爬虫爱好者喜欢的云爬虫

造数比更适合国人使用。直接在原网页基础上操作,还可以分布式爬取、深度爬取等,对数据有需求的可以尝试下。



v2-e36ca192fb5da05c2dbd20ebfe8944f9_hd.jpg
MAC 上抓取网页数据的工具有哪些?「建议收藏」

其实网页爬取工具很多,大可不必全部掌握,把它当作工具来方便自己的工作才是本文的目标。

 

 

作者:徐小磊

链接:https://www.zhihu.com/question/27736988/answer/497899625

来源:知乎

著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

我在mac上用的是下图这个,日常基本数据的爬取足够了。

1)日常临时性的,或者快速的数据爬取,就用这个

2)其他的还是会写写python爬取,毕竟开发需要时间和成本,要考虑投入产出比

 

v2-7d629f6caa4efc9ee9e1e573e24512e6_hd.jpg
MAC 上抓取网页数据的工具有哪些?「建议收藏」应用信息
v2-ebae6429c58c3a9ede77cb2f9594bac3_hd.jpg
MAC 上抓取网页数据的工具有哪些?「建议收藏」主界面,和八抓鱼差不多
v2-43b83234524e9c3fcc17ace5517478c8_hd.jpg
MAC 上抓取网页数据的工具有哪些?「建议收藏」爬取规则页面,也和八抓鱼差不多,不过更好看和方便

 
 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/112161.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 浅谈手机杀毒软件及手机病毒管理_防手机病毒杀毒软件

    浅谈手机杀毒软件及手机病毒管理_防手机病毒杀毒软件十一国庆长假刚过,又传出爆发手机病毒.到底有没有手机病毒??是手机杀毒软件公司的忽悠,还是真有手机病毒?很多资深IT人士都曾暴料,手机病毒是吹出来的根本不存在,因为智能手机操作系统都不相同,智能手机塞班、苹果OS、WM等平台的内部程序都是不对外公开的.纵使国内的山寨iphone外壳模仿得再像,但其内部的操作界面是无论如何做不出类似OS那样华丽的效果的;再有,各大手机系统都互不兼容,想要做到病毒

    2022年9月24日
    2
  • 由中序遍历和后序遍历还原二叉树_二叉树的中序列

    由中序遍历和后序遍历还原二叉树_二叉树的中序列二叉树的前序遍历、中序遍历和后序遍历之间还原二叉树1、概念(1)前序遍历   a、访问根节点;b、前序遍历左子树;c、前序遍历右子树。(2)中序遍历   a、中序遍历左子树;b、访问根节点;c、中序遍历右子树。(3)后序遍历   a、后序遍历左子树;b、后续遍历右子树;c、访问根节点。2、前序遍历和中序遍历还原二叉树思想如下:  a、根据前序遍历结果,第一个元素为二叉树的根结…

    2022年9月14日
    2
  • Python numpy函数:dtype数组元素类型

    Python numpy函数:dtype数组元素类型数组元素的类型通过dtype属性获得。而且,每一种数据类型都有几种字符串表达形式,我们可以使用typeDict字典来查询某种字符串所代表的数据类型,比如“d”和“double”都是float64数据类型:

    2022年6月8日
    35
  • C语言中switch语句_switch在c语言中

    C语言中switch语句_switch在c语言中本篇文章帮大家学习c语言switch语句,包含了C语言switch语句使用方法、操作技巧、实例演示和注意事项,有一定的学习价值,大家可以用来参考。C语言中的switch语句用于从多个条件执行代码。就像ifelse-if语句一样。C语言中switch语句的语法如下:switch(expression){casevalue1://codetobeexecuted;break;//opt…

    2022年8月30日
    2
  • java去重复元素并打印_Java打印数组中重复元素

    java去重复元素并打印_Java打印数组中重复元素Java打印数组中重复元素1说明在此程序中,我们需要打印数组中存在的重复元素。这可以通过两个循环来完成。第一个循环将选择一个元素,第二个循环将通过将所选元素与其他元素进行比较来遍历整个数组。如果找到匹配项,则打印重复的元素。在上面的数组中,第一个重复项将在索引4处找到,它是索引1处存在的元素(2)的重复项。因此,上面的数组中的重复元素是2、3和8。2算法思路步骤1:开始步骤2:初始化arr[…

    2022年4月30日
    68
  • log4j学习笔记–ConversionPattern参数详解– RollingFileAppender选项

    log4j学习笔记–ConversionPattern参数详解– RollingFileAppender选项1、rootLogger与rootCategory的区别rootLogger是新的使用名称,对应Logger类rootCategory是旧的使用名称,对应原来的Category类Logger类是Category类的子类,所以,rootCategory是旧的用法,不推荐使用2、格式参数a)例句:log4j.appender.stdout.layout.Conver

    2022年8月22日
    11

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号