大家好，又见面了，我是全栈君，今天给大家准备了Idea注册码。
1. 检查robots.txt
大多数网站都会定义一robots.txt文件，这样可以了解爬取该网站时存在哪些限制，在爬取之前检查robots.txt文件这一宝贵资源可以最小化爬虫被封禁的可能，而且还能发现和网站结构相关的线索。
输入http://example.webscraping.com/robots.txt 我们会看到以下内容：
section1：禁止用户代理为BadCrawler的爬虫爬取网站
section2：规定无论使用任何的代理，都应该在两次下载请求之间给出5秒的抓取延时，我们应该遵从该建议避免服务器过载，Disllow:/trap表示禁止爬取/trap链接，如果访问的画，服务器将会封你的ip
section3: 告诉了我们一个网址，该网址内容可以帮助我们定位网站的最新内容
2. 检查网站地图
从robots.txt内容可以看到，网站为我们提供了Sitemap网址，该网址可以帮助我们定位网站最新的内容，而无须爬取每一个网页，关于网站地图标准协议可以查看https://www.sitemaps.org/protocol.html，打开sitemap看看
发现该网站地图提供了所有网页链接，虽然网站地图文件提供了一种爬取网站的有效方式，但是我们仍需对其谨慎处理，因为该文件经常存在缺失、过期或不完整的问题
3. 估算网站大小
目标网站的大小会影响我们如何进行爬取，如果网页的数量级特别大，使用串行下载可能需要持续数月才能完成，这时就需要使用分布式下载解决了
4. 识别网站技术
import builtwith print(builtwith.parse("http://example.webscraping.com"))
5. 网站所有者
pip install python-whois
以博客园为例:
import whois print (whois.whois("https://i.cnblogs.com"))
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/120197.html原文链接：https://javaforall.net
