Python爬虫 之数据解析之bs4

一、bs4进行数据解析

1、数据解析的原理
① 标签定位。
② 提取标签、标签属性中存储的数据值。

2、bs4数据解析的原理
① 实例化一个BeautifulSoup对象，并且将网页源码数据加载到该对象中。
② 通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取。

注：bs4是Python独有的，其它语言没有。

二、bs4库和lxml库的安装

因为BeautifulSoup对象是存在bs4库中的。而lxml是一个解析器，在bs4进行数据解析的时候需要lxml，当我们用bs4和xpath进行数据解析时都需要这个解析器。

1、bs4：

② 安装环境：

pip install bs4 

2、lxml：

② 安装环境：

pip install lxml 

三、BeautifulSoup对象

1、导入包：

from bs4 import BeautifulSoup 

2、对象的实例化：

① 将本地的html文档中的数据加载到该对象中

基本写法：

 fp = open('一个本地的html文件','r',endcoding='utf-8') soup = BeautifulSoup(fp,'lxml') 

详细的表述：

from bs4 import BeautifulSoup if __name__ == '__main__': # 将本地的html文档中的数据加载到该对象中 # ./wenjian.heml：是该目录下的一个html文件，也可以是其它本地的html文件，改个路径就行 fp = open('./wenjian.html','r',endcoding='utf-8') soup = BeautifulSoup(fp,'lxml') print(soup) 

② 将互联网上获取的页面源码加载到该对象中

基本写法：

page_text = requests.text soup = BeautifulSoup(page_text,'lxml') 

详细的表述：

from bs4 import BeautifulSoup import requests if __name__ == '__main__': # 将互联网上获取的页面源码加载到该对象中 url = '一个网址' header = { 
       'User-Agent':'一个User-Agent' } page_text = requests.get(url=url,headers=header).text soup = BeautifulSoup(page_text,'lxml') print(soup) 

我们通常使用第二种方法实例化化BeautifulSoup对象，第一种需要将网页上的信息存储到本地文件中，再进行实例化。而第二种可以之间实例化，方便许多。

3、BeautifulSoup的方法和属性

获取标签之间的文本数据：

soup.tagName.text / string / get_text() text / get_text() : 可以获取某一个标签中的所有文本内容 string : 只可以获取该标签下面直系的文本内容 

获取标签中属性值：

soup.tagName['属性名'] 如：soup.a.['href'] 

注：tagName 为标签名

四、项目实例

需求：
爬取《三国演义》小说所有的章节标题和章节内容，并将标题和内容存储到 txt 文件中。
网址：https://www.shicimingju.com/book/sanguoyanyi.html

思路：
首先我们打开管理员选项，选中某一刻标题查看右侧框。然后读取每个标题的数据。在首页中解析出章节标题和详情页url。然后实例化BeautifulSoup对象，需要将页面源码数据加载到该对象中。

soup = BeautifulSoup(page_text,'lxml') li_list = soup.select('.book-mulu > ul > li') 

可以用BeautifulSoup的select方法解析对象，这样就读取到了标题信息，同时页得到了详情页的网址信息。

打开某一个标题，再次点开管理员选项查看右侧框，发现可以用BeautifulSoup的find方法，解析出详情页章节内容。根据从首页读取到的详情页的网址信息，来读取详情页的信息。然后再实例化BeautifulSoup对象，然后用find方法解析对象，然后将文章内容保存下来。

detail_url = 'https://www.shicimingju.com' + li.a['href'] # 每一章节的链接（详情页链接） # 对详情页发出请求，解析内容 detail_page_taxt = requests.get(url=detail_url,headers=header).text # 详情页 # 解析出详情页章节内容 detail_soup = BeautifulSoup(detail_page_taxt,'lxml') # 详情页soup detail_content = detail_soup.find('div',class_='chapter_content') # 文章内容 content = detail_content.text 

代码实现：

from bs4 import BeautifulSoup import requests if __name__ == '__main__': url = 'https://www.shicimingju.com/book/sanguoyanyi.html' header = { 
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4209.2 Safari/537.36' } page_text = requests.get(url=url,headers=header).text # 首页响应数据 # 在首页中解析出章节标题和详情页url # 实例化BeautifulSoup对象，需要将页面源码数据加载到该对象中 soup = BeautifulSoup(page_text,'lxml') li_list = soup.select('.book-mulu > ul > li') # 定义文件 fp = open('./sanguoyanyi.txt','w',endcoding='utf-8') for li in li_list: title = li.a.string # 章节的标题 # 打印标题 # print(title) detail_url = 'https://www.shicimingju.com' + li.a['href'] # 每一章节的链接（详情页链接） # 对详情页发出请求，解析内容 detail_page_taxt = requests.get(url=detail_url,headers=header).text # 详情页响应数据 # 解析出详情页章节内容 detail_soup = BeautifulSoup(detail_page_taxt,'lxml') # 详情页soup detail_content = detail_soup.find('div',class_='chapter_content') # 文章内容 content = detail_content.text # 打印文章 # print(content) fp.write(title + '\n' + content + '\n') print(title + '爬取成功！！！')