大家好，又见面了，我是你们的朋友全栈君。
转载自 https://blog.csdn.net/you_are_my_dream/article/details/60479699
在scrapy中创建项目以后，在settings文件中有这样的一条默认开启的语句：
# Obey robots.txt rules
ROBOTSTXT_OBEY = True 观察代码可以发现，
默认为True
，就是要遵守robots.txt 的规则，那么 robots.txt 是个什么东西呢？
通俗来说， robots.txt 是遵循 Robot协议 的一个文件，它保存在网站的服务器中，它的作用是，告诉搜索引擎爬虫，本网站哪些目录下的网页 不希望 你进行爬取收录。在Scrapy启动后，会在第一时间访问网站的 robots.txt 文件，然后决定该网站的爬取范围。
当然，我们并不是在做搜索引擎，而且在某些情况下我们想要获取的内容恰恰是被 robots.txt 所禁止访问的。所以，某些时候，我们就要将此配置项设置为 False ，拒绝遵守 Robot协议 ！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/130366.html原文链接：https://javaforall.net
