Python常用爬虫方法

Python常用爬虫方法1

import requests """ 下载图片 """ r = requests.get('https://github.com/favicon.ico') print(r.status_code) with open('favicon.ico', 'wb') as f: f.write(r.content) """ 上传文件 """ files = {'file': open('favicon.ico', 'rb')} r = requests.post('http://httpbin.org/post', files=files) print(r.text) """ Session维持 """ s = requests.Session() s.get('http://httpbin.org/cookies/set/number/') r = s.get('http://httpbin.org/cookies') print(r.text) """ SSL 证书验证 """ response = requests.get('https://static2.scrape.cuiqingcai.com', verify=False) print(response.status_code) """ 请求时间超时设置 """ r = requests.get('https://github.com/favicon.ico', timeout=2) print(r.content) """ 身份认证 场景:打开网址 直接弹出账号密码对话框,要登录进去才可以进去 """ r = requests.get('https://static3.scrape.cuiqingcai.com/', auth=('admin', 'admin')) print(r.status_code) """ IP代理设置 """ proxies = { 'http': 'http://10.10.10.10:1080', 'https': 'http://10.10.10.10:1080', } requests.get('https://httpbin.org/get', proxies=proxies) 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/232771.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 固态硬盘不能恢复吗_固态硬盘资料能恢复吗

    固态硬盘不能恢复吗_固态硬盘资料能恢复吗固态硬盘(SSD)凭借超高速的读写速度在高端玩家中颇受欢迎,但是SSD硬盘也暴露出一些不成熟的表现,之前已有过固件门、性能下降等例子。Techgage网站最新的测试显示SSD硬盘在数据恢复方面遇到了新的挑战,这一问题在支持TRIM指令的固态硬盘上尤为严重。有鉴于此,编辑将这篇文章编译过来希望能引起玩家的重视。目前这一问题还没有别的评测加以佐证,笔者手头也没有固态硬盘可重复验证,希望正在使用固态硬盘

    2026年1月29日
    3
  • PeakVue 振动分析技术「建议收藏」

    PeakVue 振动分析技术「建议收藏」首先声明,对于振动分析,本人是菜鸟。所以本文中可能有错误,或者不够专业和严谨。最简单的振动检测指标是所谓通频值(Overallvibrationvalue)。它是采集信号的均方根:实例:产生一个正弦波,并计算rms。该值越大,反映振动越大。importnumpyasnpfromscipyimportsignalimportmatplotlib.pyplot…

    2022年10月16日
    3
  • Python全栈工程师(字符串/序列)[通俗易懂]

    Python全栈工程师(字符串/序列)[通俗易懂]ParisGabrielPython入门基础字符串:str用来记录文本信息字符串的表示方式:在非注释中凡是用引号括起来的部分都是字符串‘’ 单引号“” 双引号'''&#

    2022年7月6日
    25
  • UE4插件共享汇总大全[通俗易懂]

    UE4插件共享汇总大全[通俗易懂]UE4插件共享汇总大全:这是我发现的一个UE4插件分享网站http://ni93.com/unity/forum.php?mod=forumdisplay&fid=2列表如下,可在分享网站搜索特定名字,获取相关资源呦~~后续会持续更新这个网站的资源呦~…

    2022年5月21日
    106
  • dropdownlist赋值_paypal可以绑定什么卡

    dropdownlist赋值_paypal可以绑定什么卡很多的时候需要把枚举作为数据源绑定DropDownList,一直简单的做法是: 1    /**////  2    /// 排序方向下拉列表,从DropDownList继承 3    ///  4    public class SortOrderDropDownList : DropDownList 5    { 6        public SortOrderDropDownList(

    2022年10月8日
    6
  • 数组访问越界_数组越界会导致什么问题

    数组访问越界_数组越界会导致什么问题什么是数组访问越界?所谓的数组越界,简单地讲就是指数组下标变量的取值超过了初始定义时的大小,导致对数组元素的访问出现在数组的范围之外,这类错误也是C语言程序中最常见的错误之一。在C语言中,数组必须是静态的。换而言之,数组的大小必须在程序运行前就确定下来。由于C语言并不具有类似Java等语言中现有的静态分析工具的功能,可以对程序中数组下标取值范围进行严格检查,一旦发现数组上溢或下溢,都会因抛出异常而终止程序。也就是说,C语言并不检验数组边界,数组的两端都有可能越界,从而使其他变量的数据甚

    2022年10月2日
    2

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号