都说python爬网页数据方便，我们今天就来试试，python爬取数据到底有多方便
简介
爬取数据，基本都是通过网页的URL得到这个网页的源代码，根据源代码筛选出需要的信息
准备
言简意赅有没有 ^_^
搭建环境
依赖库导入
我们不是说要使用requests吗，来吧
由于我们使用的是pycharm，所以我们导入这两个库就会显的格外简单，如图：
在Test.py中输入：
import requests这个时候，requests会报红线，这时候，我们将光标对准requests，按快捷键：alt + enter，pycharm会给出解决之道，这时候，选择install package requests，pycharm就会自动为我们安装了，我们只需要稍等片刻，这个库就安装好了。lxml的安装方式同理.
获取网页源代码
# 获取源码
html = requests.get("https://blog.csdn.net/it_xf?viewmode=contents") # 打印源码
print html.text代码就是这么简单，这个html.text便是这个URL的源码
获取指定数据
现在我们已经得到网页源码了，这时就需要用到lxml来来筛选出我们所需要的信息
这里我就以得到我博客列表为例
//*[@id="mainBox"]/main/div[2]/div[1]/h4/a这里给你解释解释：
// 定位根节点 / 往下层寻找 提取文本内容：/text() 提取属性内容：/@xxxx//*[@id="mainBox"]/main/div[2]/div[1]/h4/a/text()import requests from lxml import etree
html = requests.get("https://blog.csdn.net/it_xf?viewmode=contents") # print html.text
etree_html = etree.HTML(html.text)
content = etree_html.xpath('//*[@id="mainBox"]/main/div[2]/div[1]/h4/a/text()') for each in content: print(each) 如何撸一个ArrayList 打印结果却是这个结果，我们把换行和空格去掉
import requests from lxml import etree
html = requests.get("https://blog.csdn.net/it_xf?viewmode=contents") # print html.text
etree_html = etree.HTML(html.text)
content = etree_html.xpath('//*[@id="mainBox"]/main/div[2]/div[1]/h4/a/text()') for each in content: replace = each.replace('\n', '').replace(' ', '') if replace == '\n' or replace == '': continue else: print(replace) 打印结果：
如何撸一个ArrayList //*[@id="mainBox"]/main/div[2]/div/h4/a/text()再来一次：
import requests from lxml import etree
html = requests.get("https://blog.csdn.net/it_xf?viewmode=contents") # print html.text
etree_html = etree.HTML(html.text)
content = etree_html.xpath('//*[@id="mainBox"]/main/div[2]/div/h4/a/text()') for each in content: replace = each.replace('\n', '').replace(' ', '') if replace == '\n' or replace == '': continue else: print(replace) 打印结果：
如何撸一个ArrayList Android相机屏幕适配 Tinker关于clean后准基包消失的解决方案 Tinker使用指南 git分支的使用 如何将Androidstudio中的项目导入到第三方的git托管库中 遍历矩阵 从矩阵中取出子矩阵 AndroidStudio配置OpenCV 一步一步了解handler机制 Android常用框架 Android绘制波浪线 RxJava系列教程之线程篇（五） RxJava系列教程之过滤篇（四） RxJava系列教程之变换篇（三） RxJava系列教程之创建篇（二） RxJava系列教程之介绍篇（一） 一个例子让你彻底理解java接口回调 SharedPreferences的用法及指南 异步加载网络图片带进度 VideoView加载闪黑屏 android视频播放vitamio的简单运用 仿网易新闻分类刷新 ListView加CheckBox简单实现批量删除 Android如何高效加载大图 Android聊天界面实现方式 抽屉侧滑菜单Drawerlayout-基本使用方法 android-引导页的实现方式 Java设计模式--工厂模式的自述 javaweb学习路线 getWindow().setFlags()使用说明书 歪解Activity生命周期-----初学者彻底理解指南相当nice，我们得到了所有的文章列表。
总结
我们用到了requests获取网页列表，用lxml筛选数据，可以看出python用来在网页上爬取数据确实方便不少，chrome也支持直接在源码中得到表达式xpath，这两个库的内容肯定不止这一点点，还有很多功能等着你们去挖掘。对了，其中在写这篇博客的同时，我发现了一个很重要的问题：我的文章写的太少啦！【逃】
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/202909.html原文链接：https://javaforall.net
