Urllib库的基本用法

Urllib库的基本用法

1、什么是url?

统一资源定位符是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示,是互联网上标准资源的地址。

基本URL包含模式(或称协议)、服务器名称(或IP地址)、路径和文件名,如“协议://授权/路径?查询”。完整的、带有授权部分的普通统一资源标志符语法看上去如下:协议://用户名:密码@子域名.域名.顶级域名:端口号/目录/文件名.文件后缀?参数=值#标志

2、什么是Urllib库?

Urllib是python内置的处理URL的库,
包括以下模块
urllib.request 打开、读URLs
urllib.error 包含了request出现的异常
urllib.parse url解析模块
urllib.robotparser robots.txt解析模块(spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件。您可以在您的网站中创建一个纯文本文件robots.txt,在文件中声明该网站中不想被robot访问的部分或者指定搜索引擎只收录特定的部分)

 

3、实例

(1)读一个网页

import urllib.request
with urllib.request.urlopen('http://www.baidu.com') as f:
    print(f.read(20).decode('utf8'))

  其中,urlopen返回的是一个字节类型的对象,这是由于urlopen不知道从服务器上读的数据该如何解码,需要我们自己对字符串解码。

如上,可以打开百度的界面,

<span>Urllib库的基本用法</span>

可以看到,此页面用utf-8编码。

 

当然,你也可以把代码改为:

import urllib.request
req = urllib.request.Request(url = 'http://www.baidu.com')
with urllib.request.urlopen(req) as f:
    print(f.read(20).decode('utf8'))

  访问请求放置在Request类中,该类包含一些属性,可以传递数据等,此处不过于深究。

(2)登陆动作(使用基础的HTTP身份验证)

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/119475.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 创建选区快捷键是什么_PS如何移动和取消选区?快捷键是什么? – PS自学网

    创建选区快捷键是什么_PS如何移动和取消选区?快捷键是什么? – PS自学网在PS中,我们可以通过移动选区来进行下一步的编辑操作,也可以通过取消选区操作来快速放弃当前选区重新选择,下面我们就一起来看看PS如何移动选区和取消选区?快捷键是什么吧!1、移动选区我们知道,创建选区有4中方法,但是移动选区时,只有使用选框工具、套索选区工具、魔棒工具和快速选择工具时,选区才能被移动。如果当前选择的是钢笔工具,选区是不能被移动的。2、移动选区操作(1)在工具箱中选择除钢笔工具之外的选…

    2022年6月16日
    46
  • Qt面试题整理

    Qt面试题整理1、Qt信号槽机制的优势(1)类型安全。需要关联的信号和槽的签名必须是等同的,即信号的参数类型和参数个数同接收该信号的槽的参数类型和参数个数相同。不过,一个槽的参数个数是可以少于信号的参数个数的,但缺少的参数必须是信号参数的最后一个或几个参数。如果信号和槽的签名不符,编译器就会报错。(2)松散耦合。信号和槽机制减弱了Qt对象的耦合度。激发信号的Qt对象无需知道是哪个对象的哪个槽需要接收它发出的…

    2022年6月25日
    93
  • docker打开2375「建议收藏」

    docker打开2375「建议收藏」在进行dockerswarm进行管理集群节点时,需要打开端口。1、$pwd/etc/docker创建daemon.json$catdaemon.json{“hosts”:[“tcp://0.0.0.0:2375″,”unix:///var/run/docker.sock”]}2、cat/usr/lib/systemd/system/docker.servic…

    2022年4月29日
    165
  • 西班牙语dele等级_DELE——西班牙语水平考试

    西班牙语dele等级_DELE——西班牙语水平考试西班牙语的等级考试在我国发展比较晚,自2004年起我国教育部才开始组织。而且国内的西班牙语等级考试的对象仅为在校西班牙语专业的本科生,每年5月左右考试。水平测试相当于英语四级。另外职称外语考试中有西班牙语的考试,外国学生进入公立大学须通过西班牙语国家等级考试和大学入学考试。DELE简介:作为一门外语的西班牙语水平测试:DELE(DiplomasdeEspa?olComoLenguaEx…

    2022年5月30日
    36
  • PHP审计之BEESCMS审计案例

    PHP审计之BEESCMS审计案例审计流程任意文件包含文件存在即包含该文件,而包含的这个文件名可控,则需要找这个文件创建的地方functioncreat_inc($fl,$str){if(

    2021年12月13日
    37
  • 一简单的Ajax例子[通俗易懂]

    一简单的Ajax例子[通俗易懂]—ajax.html http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd”>http://www.w3.org/1999/xhtml”lang=”en”dir=”ltr”>DevelopingWebApplicationwithAjax-Example//此函数将在电击”ViewXMLdata”链接

    2022年7月26日
    4

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号