Python常用爬虫方法

Python常用爬虫方法1

import requests """ 下载图片 """ r = requests.get('https://github.com/favicon.ico') print(r.status_code) with open('favicon.ico', 'wb') as f: f.write(r.content) """ 上传文件 """ files = {'file': open('favicon.ico', 'rb')} r = requests.post('http://httpbin.org/post', files=files) print(r.text) """ Session维持 """ s = requests.Session() s.get('http://httpbin.org/cookies/set/number/') r = s.get('http://httpbin.org/cookies') print(r.text) """ SSL 证书验证 """ response = requests.get('https://static2.scrape.cuiqingcai.com', verify=False) print(response.status_code) """ 请求时间超时设置 """ r = requests.get('https://github.com/favicon.ico', timeout=2) print(r.content) """ 身份认证 场景:打开网址 直接弹出账号密码对话框,要登录进去才可以进去 """ r = requests.get('https://static3.scrape.cuiqingcai.com/', auth=('admin', 'admin')) print(r.status_code) """ IP代理设置 """ proxies = { 'http': 'http://10.10.10.10:1080', 'https': 'http://10.10.10.10:1080', } requests.get('https://httpbin.org/get', proxies=proxies) 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/232771.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • navicate premium mac激活码[最新免费获取]

    (navicate premium mac激活码)2021最新分享一个能用的的激活码出来,希望能帮到需要激活的朋友。目前这个是能用的,但是用的人多了之后也会失效,会不定时更新的,大家持续关注此网站~IntelliJ2021最新激活注册码,破解教程可免费永久激活,亲测有效,下面是详细链接哦~https://javaforall.net/100143.html…

    2022年3月30日
    471
  • struts定时任务实现(quartz任务调度)

    最近有需求要写一个定时任务目的是更新一些员工/人员与部门之间的关系项目用的是struts2当我加了spring的jar包之后写了一个定时任务项目经理不让用spring就修改一下这次贴个全的下面是任务类packagecom.timetask.action;importjava.io.BufferedWriter;importjava.io.File;importjava….

    2022年4月15日
    45
  • android签名命令行,Android系统签名位置及命令

    android签名命令行,Android系统签名位置及命令app需要使用系统的权限在AndroidManifest.xml中声明了系统全下申明了系统权限android:sharedUserId=”android.uid.system”1.找到平台签名文件“platform.pk8”和“platform.x509.pem”文件位置android/build/target/product/security/2.签名工具“signapk.jar”位置…

    2022年6月21日
    25
  • 随机森林(原理/样例实现/参数调优)

    决策树决策树与随机森林都属于机器学习中监督学习的范畴,主要用于分类问题。决策树算法有这几种:ID3、C4.5、CART,基于决策树的算法有bagging、随机森林、GBDT等。决策树是一种利用树形结构进行决策的算法,对于样本数据根据已知条件或叫特征进行分叉,最终建立一棵树,树的叶子结节标识最终决策。新来的数据便可以根据这棵树进行判断。随机森林是一种通过多棵决策树进行优化决策的算法。案例:

    2022年4月9日
    140
  • 9款最好用的MySQL数据库客户端图形界面管理工具,第三款我用了10年

    9款最好用的MySQL数据库客户端图形界面管理工具,第三款我用了10年MySQL的管理维护工具非常多,除了系统自带的命令行管理工具之外,还有许多其他的图形化管理工具,这里我介绍几个经常使用的MySQL图形化管理工具,供大家参考。MySQL是一个非常流行的小型关系型数据

    2022年7月1日
    24
  • xxxxxxxxxxxxxxxxxxxxxxxxxxxx

    xxxxxxxxxxxxxxxxxxxxxxxxxxxxGetAuthorizationcode:Request:https://accounts.google.com/o/oauth2/v2/auth?redirect_uri=https%3A%2

    2022年7月2日
    50

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号