大家好，又见面了，我是你们的朋友全栈君。
我这里使用的是python中的requests.get(url,headers,cookies).
其中headers和cookies都是字典形式。headers作用是模拟浏览器，告诉服务器我不是爬虫。cookies作用是模拟用户，告诉服务器我不是机器人，我是某某用户。
以知乎为例，headers可以用模板：
headers = {
‘Host’: ‘www.zhihu.com’,
‘User-Agent’: ‘Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0’,
‘Accept’: ‘text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8’,
‘Accept-Language’: ‘zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3’,
‘Accept-Encoding’: ‘gzip, deflate’,
‘Referer’: ‘http://www.baidu.com’,
‘Connection’: ‘keep-alive’,
‘Cache-Control’: ‘max-age=0’,
}
然后就是cookies，cookies我是先在浏览器中登录，然后去找cookie，并把内容复制到txt中，到时候爬虫直接去读取txt，并转换成字典。具体过程如下（以google浏览器为例）：
1、登录知乎：http://www.zhihu.com
2、打开浏览器设置—>高级—>隐私设置和安全性–>内容设置–>cookie–>查看所有cookie和网站数据
3、搜索zhihu，得到下图
打开zhihu.com那个，如下图
这四个就是cookie的键，打开向下的箭头里面有值，根据这个建立字典即可。（注意：有的值包含着双引号，不能搞丢了）
访问时，html=requests.get(“https://www.zhihu,com”,headers=headers,cookies=cookies)
content=html.text
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/128957.html原文链接：https://javaforall.net
