大家好，又见面了，我是你们的朋友全栈君。
在爬虫时经常需要使用代理，于是我爬取了一个可以免费提供代理的网址，从中获取免费代理，从而打造属于一个自己的代理池。
如图所示，这是网址的界面展示，我们需要做的就是需要其中的ip、port列中的数据，获取数据后需要我们拼接成一个完整的IP然后保存即可，代码如下:
import requests
from lxml import etree
import os
url = 'https://www.kuaidaili.com/free/inha/3/'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36'
}
content = requests.get(url,headers = headers).text
resonse = etree.HTML(content)
tr_list = resonse.xpath('//div[@id="list"]/table/tbody/tr')
#print(tr_list)
ip_list = []
for tr in tr_list:
ip = tr.xpath('./td[1]/text()')
port = tr.xpath('./td[2]/text()')
proxy_ip = ip[0] +':' + port[0]
#print(proxy_ip)
ip_list.append(proxy_ip)
print(ip_list)代码运行后获取到完整的ip数据，接下来我们就可以使用这些代理了，这里需要使用random来随机选择一个ip。
proxy=random.choice(ip_list) #本地代理
proxies={
'http':'http://'+proxy,
'https':'https://'+proxy
}
try:
response=requests.get('网址',proxies=proxies)
print(response.text)
except requests.exceptions.ConnectionError as e:
print('错误:',e.args)版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/138540.html原文链接：https://javaforall.net
