解决python爬虫时遇到AttributeError: ‘NoneType‘ object has no attribute ‘find_all‘

最近在练习学到的爬虫实例遇到AttributeError: ‘NoneType’ object has no attribute ‘find_all’的错误。

爬虫要求如下：

任务描述：https://movie.douban.com/cinema/later/beijing/ 这个页面描述了北京最近上映的电影，你能否通过 Python 得到这些电影的名称、上映时间和海报呢？这个页面的海报是缩小版的，我希望你能从具体的电影描述页面中抓取到海报。

在运行老师给的代码如下：

import requests from bs4 import BeautifulSoup def main(): url = "https://movie.douban.com/cinema/later/beijing/" init_page = requests.get(url).content init_soup = BeautifulSoup(init_page, 'lxml') all_movies = init_soup.find('div', id="showing-soon") for each_movie in all_movies.find_all('div', class_="item"): all_a_tag = each_movie.find_all('a') all_li_tag = each_movie.find_all('li') movie_name = all_a_tag[1].text url_to_fetch = all_a_tag[1]['href'] movie_date = all_li_tag[0].text response_item = requests.get(url_to_fetch).content soup_item = BeautifulSoup(response_item, 'lxml') img_tag = soup_item.find('img') print('{} {} {}'.format(movie_name, movie_date, img_tag['src'])) main() 

发现都没有错，然后打印出现NoneType的地方：

结果显示：

<class 'NoneType'> 

经过查阅资料发现：出现这种问题就是，获取不到数据。原因就是该网站被爬太多次，我们被该网页服务器的反爬虫程序发现了，并禁止我们爬取。因此我们需要模拟浏览器，重新给服务器发送请求，并且添加头等信息headers，headers是解决requests请求反爬的方法之一，相当于我们进去这个网页的服务器本身，假装自己本身在爬取数据。对反爬虫网页，可以设置一些headers信息，模拟成浏览器取访问网站 。

下面大致看一下设置header的原因和用法。

为什么要设置header？

在请求网页爬取的时候，输出的text信息中会出现抱歉，无法访问等字眼，这就是禁止爬取，需要通过反爬机制去解决这个问题。

headers是解决requests请求反爬的方法之一，相当于我们进去这个网页的服务器本身，假装自己本身在爬取数据。

对反爬虫网页，可以设置一些headers信息，模拟成浏览器取访问网站 。

headers在哪里找？

谷歌或者火狐浏览器，在网页面上点击：右键–>检查–>剩余按照图中显示操作，需要按Fn+F5刷新出网页来

有的浏览器是点击：右键->查看元素，刷新

注意：headers中有很多内容，主要常用的就是user-agent 和 host，他们是以键对的形式展现出来，如果user-agent 以字典键对形式作为headers的内容，就可以反爬成功，就不需要其他键对；否则，需要加入headers下的更多键对形式。

你可以找你的浏览器的header，我这里直接给出一个header运行

header = { 
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36"} init_page = requests.get(url, headers=header).content 

把header参数加入到获取信息requests里面。

解决问题后，最后爬取结果如下：

通往春天的列车 09月17日 https://img9.doubanio.com/view/photo/s_ratio_poster/public/p.jpg 麦路人 09月17日 https://img2.doubanio.com/view/photo/s_ratio_poster/public/p.jpg 死无对证 09月18日 https://img1.doubanio.com/view/photo/s_ratio_poster/public/p.jpg 邻里美好的一天 09月18日 https://img3.doubanio.com/view/photo/s_ratio_poster/public/p.jpg 萌宠流浪记 09月18日 https://img3.doubanio.com/view/photo/s_ratio_poster/public/p.jpg 蓝色防线 09月18日 https://img1.doubanio.com/view/photo/s_ratio_poster/public/p.jpg 红巴山 09月18日 https://img3.doubanio.com/view/photo/s_ratio_poster/public/p.jpg 世纪之缘 09月22日 https://img3.doubanio.com/view/photo/s_ratio_poster/public/p.jpg 菊次郎的夏天 09月25日 https://img9.doubanio.com/view/photo/s_ratio_poster/public/p.jpg 夺冠 09月25日 https://img2.doubanio.com/view/photo/s_ratio_poster/public/p.jpg 急先锋 09月30日 https://img9.doubanio.com/view/photo/s_ratio_poster/public/p.jpg 姜子牙 10月01日 https://img1.doubanio.com/view/photo/s_ratio_poster/public/p.jpg 我和我的家乡 10月01日 https://img3.doubanio.com/view/photo/s_ratio_poster/public/p.jpg 一点就到家 10月01日 https://img9.doubanio.com/view/photo/s_ratio_poster/public/p.jpg 奇妙王国之魔法奇缘 10月01日 https://img3.doubanio.com/view/photo/s_ratio_poster/public/p.jpg 木兰：横空出世 10月03日 https://img9.doubanio.com/view/photo/s_ratio_poster/public/p.jpg 月半爱丽丝 10月30日 https://img9.doubanio.com/view/photo/s_ratio_poster/public/p.jpg 日不落酒店 12月12日 https://img1.doubanio.com/view/photo/s_ratio_poster/public/p.jpg 小美人鱼的奇幻冒险 12月12日 https://img2.doubanio.com/view/photo/s_ratio_poster/public/p.jpg 拆弹专家2 12月24日 https://img9.doubanio.com/view/photo/s_ratio_poster/public/p.jpg Process finished with exit code 0