php采集程序的方法有哪些_php采集插件

全栈程序员-站长 • 2022年11月3日上午7:16 • 未分类 • 阅读 0

php采集程序的方法在我们程序开发的过程中是经常要遇到的，那我们常用的采集方法有哪些呢，下面我们一起来看具体的方法，还附带有具体实例，让大家一看就明白，会用。

方法一：file_get_contents($url);
<?php
$url = “http://www.seostudying.com”;
$con = file_get_contents($url); //采集到的内容将存储到$con里面
echo $con;
?>

方法二、使用 curl 来进行采集
使用 curl 来采集数据比 file_get_contents 更加灵活，现在很多网页做了防采集的措施，如果直接使用 file_get_contents 来进行采集的话，将无法成功
但是使用 curl 将没有这种问题，curl 可以模拟浏览器信息进行采集。
以下是使用 curl 进行采集的实例，其中 curl_setopt 是常用到的几项设置，请根据需要选择。
<?php
$url = “http://www.seostudying.com”;
$useragent = “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)”;
$header = array(‘Accept-Language: zh-cn’,’Connection: Keep-Alive’,’Cache-Control: no-cache’);
$ch = curl_init(); //初始化 curl
curl_setopt($ch, CURLOPT_REFERER, $url);
curl_setopt($ch,CURLOPT_HTTPHEADER,$header); //模拟浏览器的头信息
curl_setopt($ch, CURLOPT_USERAGENT, $useragent); //模拟浏览器的信息
curl_setopt($ch, CURLOPT_RETURNTRANSFER,true); //是否保存采集内容
curl_setopt($ch, CURLOPT_TIMEOUT, 60); //curl允许执行的最大时间，单位是秒
curl_setopt($ch, CURLOPT_URL, $url); //要采集的网址
curl_setopt($ch, CURLOPT_HEADER, 1); //是否要保存头信息
$con = curl_exec($ch); //采集到的内容将存储到$con里面
echo $con;
?>

方法三、使用网上非常流行的snoopy来进行采集

这是一个非常强大的采集插件，并且它的使用非常方便，你也可以在里面设置agent来模拟浏览器信息。
<?php
require(‘Snoopy.class.php’); //引入snoopy的类文件
$snoopy = new Snoopy;       //初始化snoopy类
$url = “http://www.seostudying.com”;
$snoopy->fetch($url);       //开始采集内容
$con = $snoopy->results;   //保存采集内容到$con
echo $con;
?>
上面的3种方法就是我们使用PHP来进行采集常常用到的几种方法，其中snoopy是最简单的，当然在实际使用的时候可能需要根据实际情况组合使用，这几个例子都只是最基本的采集代码，在运用的时候你需要根据个人需求添加相应的正则来提取所需的内容。
我在做采集程序的时候碰到的几个问题主要有以下几种：
1.PHP程序的30秒的超时问题，解决的办法是在采集代码之前加 set_time_limit(0); 0代表不限制
2.采集的时候返回结果为403，此时你需要检查自己的代码是否模拟了浏览器信息。
3.对方网站加密，采集回来的是一堆乱码，这个一般情况比较少。
采集程序实际上原理通过程序模拟人工访问网站的步骤，把打开的网页保存到本地，然后通过正则来提取自己想要的内容。