走近代码之Python–爬虫框架Scrapy
1框架特性
基于 scrapy 内核
可视化爬取内容，不需要任何开发专业知识
动态匹配相同模板的内容
2安装
Windows 推荐使用 Docker 安装
安装 Docker ToolBox
启动 docker run -v /F/pywp/portia:/app/data/projects:rw -p 9001:9001 scrapinghub/portia:portia-2.0.7
/F/pywp/portia 是 protia 项目的路径，如果没有项目，可以随便输入一个绝对路径，docker 会自动创建
在浏览器中输入地址 http://192.168.99.100:9001
192.168.99.100 是 C:\Users\[UserName]\.docker\machine\machines\default\config.json 文件中配置的Driver.IPAddress
3可能遇到的问题
Docker 下载安装镜像的过程可能会很慢，可以使用代理，或者使用国内的 DaoCloud 镜像市场。
根据文档描述，在绑定了 9001 端口以后，可以使用地址 localhost:9001 访问，但是在windows 系统下却显示链接无法访问。
原因是：Docker 是运行在 Linux 上的，在 Windows 中运行 docker，实际上还是在 Windows 下先安装了一个 Linux 环境，然后在这个系统中运行的 docker。也就是说，服务中使用的 localhost 指的是这个 Linux 环境的地址，而不是我们的宿主环境 Windows，所以必须使用 Windows 分配给虚拟的 Linux 环境的 ip:port 192.168.99.100:9001 访问。
Demo
官方 portia管理平台： https://portia.scrapinghub.com/
爬取数据的工作流程主要分为两步，完全没有编程知识的人都可以操作：
1 Follow Links
2 Extracts data:
3 可以在右侧看到当前页面所有提取的数据:
运行爬虫
1：Portia 提供导出为 Scrapy 的功能，导出以后，可以使用 Scrapy 来运行爬虫
2： 可以使用 Portia 的命令 portiacrawl project_path spider_name -o output.json 来运行
3： 在 ScrapingHub 点击运行，可以在 web 页面上可视化的查看结果，导出数据
架构
slyd：为创建爬虫工程提供可视化的编辑器
slybot：真正可视化和爬取的核心Scrapy：基于 Scrapy 爬虫框架实现，其中使用了 scrapy-splash 第三方中间件来提供JS渲染服务。
Splash：是一个 Javascript 渲染服务。它是一个实现了 HTTP API 的轻量级浏览器，Splash 是用 Python 实现的，同时使用 Twisted 和 QT。Twisted（QT）用来让服务具有异步处理能力，以发挥webkit的并发能力。
Scrapely ：是从HTML页面提取结构化数据的库。
源码分析
Portia 的爬虫核心就是使用了 scrapy，源码分析可以参考
走近代码之Python–爬虫框架Scrapy
4部署Portia 只能可视化的创建一个 scrapy 爬虫，并不能在网页可视化的部署运行。如果需要 web 端可视化管理爬虫有两种方法
需要 Scrapinghub 的 Scrapy Cloud，深度使用需要收费。
或者使用 scrapyd 和 scrapyd-client 来部署和管理 scrapy 爬虫.
查看 jobs：
5框架总结
Portia 只是一个可视化编辑爬取规则编辑器，最终创建出来的是一个 scrapy 爬虫项目。如果想要对爬虫进行部署，管理，还是需要学习 scrapy 相关知识。
只能爬取扁平化、结构单一的网站，对于爬取层次较深的网站比较难编写爬取规则。
因为可以匹配相同结构的模板，所以擅长爬取列表页的数据
Docker 在 Windows 上部署比较麻烦，推荐在 Linux 环境下部署 Portia。
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/211792.html原文链接：https://javaforall.net
![Keil（MDK-ARM）介绍、下载、安装与注册[通俗易懂]](https://javaforall.net/wp-content/uploads/2020/11/2020110817443450-480x300.jpg)
