python常见的5种框架

全栈程序员-站长 • 2022年6月6日下午3:36 • 未分类 • 阅读 1097

大家好，又见面了，我是你们的朋友全栈君。

1.scrapy框架

scrapy框架是一套比较成熟的python爬虫框架，是使用python开发的快速、高层次的信息爬取框架，可以高效率地爬取web页面并提取出我们关注的结构化数据。

scrapy框架的应用领域有许多，比如网络爬虫，数据挖掘、数据监测、自动化测试等。

scrapy框架是一套开源的框架，开源也就意味着我们能够看到并且免费试用scrapy的所有代码。

2.crawley框架

crawley也是使用python开发出来的一款爬虫框架，该框架致力于改变人们从互联网中提取数据的方式，让大家可以更高效地从互联网中爬取对应内容。

crawley框架的主要特点有：

1>高速爬取对应网站内容

2> 可以将爬取到内容轻松地存储到数据库中，比如：postgres，mysql，oracle，sqlite等数据库

3>可以将爬取到的数据导出为json，xml等格式

4>支持非关系型数据库，比如：mongodb，couchdb等

5>支持使用命令行工具

6>可以使用你喜欢的工具提取数据，比如使用xpath或者pyquery等工具

7>支持使用cookie登陆并访问哪些只有登陆才能够访问的网页

8>简单易学

3.portia框架

portia框架是一款允许没有任何编程基础的用户可视化地爬取网页的爬虫框架，给出你要爬取的网页中感兴趣的数据内容，通过portia框架，可以将你所需要的信息从相似的网页中自动提取出来，如果需要，可以子啊github上的主页进行获取。如果需要，上百度自己查吧，，具体的我就不写了。

4.newspaper框架

newspaper框架是一种用来提取新闻、文章以及内容分析的python爬虫框架。更准确地说，newspaper是一个python的库，只不过这个库是由第三方开发的，可以归为一种框架。

newspaper框架在的主要特点：

1>比较简单

2>速度比较快

3>支持多线程

4>支持十多种语言

由此我们可以知道newspaper框架是轻量级框架，并且就爬取文章信息这一功能来说，使用起来很方便

5.Python-goose框架

coose本来是一款用java写的文章提取工具，Xavier Grangier用python重写了goose，并将重写后goose命名为python-goose。

所以，python-coose框架实现的功能同样是进行文章提取。

以上是python常用的5种框架，这是我知道，，如果各位大神，还有其他的，也可以留言，相互沟通，学习。另外后面3种框架可以再github上找到。

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/134623.html原文链接：https://javaforall.net