Python常用爬虫方法

Python常用爬虫方法1

import requests """ 下载图片 """ r = requests.get('https://github.com/favicon.ico') print(r.status_code) with open('favicon.ico', 'wb') as f: f.write(r.content) """ 上传文件 """ files = {'file': open('favicon.ico', 'rb')} r = requests.post('http://httpbin.org/post', files=files) print(r.text) """ Session维持 """ s = requests.Session() s.get('http://httpbin.org/cookies/set/number/') r = s.get('http://httpbin.org/cookies') print(r.text) """ SSL 证书验证 """ response = requests.get('https://static2.scrape.cuiqingcai.com', verify=False) print(response.status_code) """ 请求时间超时设置 """ r = requests.get('https://github.com/favicon.ico', timeout=2) print(r.content) """ 身份认证 场景:打开网址 直接弹出账号密码对话框,要登录进去才可以进去 """ r = requests.get('https://static3.scrape.cuiqingcai.com/', auth=('admin', 'admin')) print(r.status_code) """ IP代理设置 """ proxies = { 'http': 'http://10.10.10.10:1080', 'https': 'http://10.10.10.10:1080', } requests.get('https://httpbin.org/get', proxies=proxies) 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/232771.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号