《我用爬虫一天时间“偷了”知乎一百万用户，只为证明PHP是世界上最好的语言 》所使用的程序框架
编写PHP网络爬虫, 需要具备以下技能:
-
爬虫采用PHP编写
-
从网页中抽取数据需要用XPath
-
当然我们还可以使用CSS选择器
-
很多情况下都会用到正则表达式
-
Chrome的开发者工具是神器, 很多AJAX请求需要用它来分析
注意：本框架只能在命令行下运行，命令行、命令行、命令行，重要的事情说三遍 ^_^
第一个demo
爬虫采用PHP编写, 下面以糗事百科为例, 来看一下我们的爬虫长什么样子:
$configs = array( 'name' => '糗事百科', 'domains' => array( 'qiushibaike.com', 'www.qiushibaike.com' ), 'scan_urls' => array( 'http://www.qiushibaike.com/' ), 'content_url_regexes' => array( "http://www.qiushibaike.com/article/\d+" ), 'list_url_regexes' => array( "http://www.qiushibaike.com/8hr/page/\d+\?s=\d+" ), 'fields' => array( array( // 抽取内容页的文章内容 'name' => "article_content", 'selector' => "//*[@id='single-next-link']", 'required' => true ), array( // 抽取内容页的文章作者 'name' => "article_author", 'selector' => "//div[contains(@class,'author')]//h2", 'required' => true ), ), ); $spider = new phpspider($configs); $spider->start();
爬虫的整体框架就是这样, 首先定义了一个$configs数组, 里面设置了待爬网站的一些信息, 然后通过调用$spider = new phpspider($configs);和$spider->start();来配置并启动爬虫.
运行界面如下:
$configs对象如何定义, 后面会作详细介绍.^_^
官方下载地址：https://github.com/owner888/phpspider
官方开发手册：https://doc.phpspider.org/
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/112625.html原文链接：https://javaforall.net
