大家好，又见面了，我是你们的朋友全栈君。
系列文章列表：
scrapy爬虫学习系列一：scrapy爬虫环境的准备： http://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_python_007_scrapy01.html
scrapy爬虫学习系列二：scrapy简单爬虫样例学习： http://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_python_007_scrapy02.html
scrapy爬虫学习系列三：scrapy部署到scrapyhub上： http://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_python_004_scrapyhub.html
scrapy爬虫学习系列四：portia的学习入门： http://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_python_010_scrapy04.html
scrapy爬虫学习系列五：图片的抓取和下载： http://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_python_011_scrapy05.html
scrapy爬虫学习系列六：官方文档的学习： https://github.com/zhaojiedi1992/My_Study_Scrapy
1.scrapy简介
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
官方简介地址：https://docs.scrapy.org/en/latest/topics/architecture.html
中文的简介地址：http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/architecture.html 这个版本才旧了，不建议看了（英文的是1.4的， 这个是0.24）
1.1 scrapy基础架构
1.2 各个组件简介
Scrapy Engine
引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。
调度器(Scheduler)
调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。
下载器(Downloader)
下载器负责获取页面数据并提供给引擎，而后提供给spider。
Spiders
Spider是Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的URL的类。 每个spider负责处理一个特定(或一些)网站。 更多内容请看 Spiders 。
Item Pipeline
Item Pipeline负责处理被spider提取出来的item。典型的处理有清理、 验证及持久化(例如存取到数据库中)。 更多内容查看 Item Pipeline 。
下载器中间件(Downloader middlewares)
下载器中间件是在引擎及下载器之间的特定钩子(specific hook)，处理Downloader传递给引擎的response。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。更多内容请看 下载器中间件(Downloader Middleware) 。
1.3数据流(Data flow)
Scrapy中的数据流由执行引擎控制，其过程如下:
- 引擎打开一个网站(open a domain)，找到处理该网站的Spider并向该spider请求第一个要爬取的URL(s)。
- 引擎从Spider中获取到第一个要爬取的URL并在调度器(Scheduler)以Request调度。
- 引擎向调度器请求下一个要爬取的URL。
- 调度器返回下一个要爬取的URL给引擎，引擎将URL通过下载中间件(请求(request)方向)转发给下载器(Downloader)。
- 一旦页面下载完毕，下载器生成一个该页面的Response，并将其通过下载中间件(返回(response)方向)发送给引擎。
- 引擎从下载器中接收到Response并通过Spider中间件(输入方向)发送给Spider处理。
- Spider处理Response并返回爬取到的Item及(跟进的)新的Request给引擎。
- 引擎将(Spider返回的)爬取到的Item给Item Pipeline，将(Spider返回的)Request给调度器。
- (从第二步)重复直到调度器中没有更多地request，引擎关闭该网站。
2.环境准备（主要是在window下）
安装指南：https://docs.scrapy.org/en/latest/intro/install.html
中文的安装指南：http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/install.html
2.1 安装python版本
可以从https://www.anaconda.com/download/下载一个python，省了后期各种麻烦。
2.2 安装scrapy
使用conda安装
conda install -c conda-forge scrapy
或者使用pip安装
pip install Scrapy
如果网络不好， 可以参考下这个地址： https://www.cnblogs.com/microman/p/6107879.html
2.3 下载为win32
从http://sourceforge.net/projects/pywin32/ 选择和python版本和操作系统对应的版本下载安装。
官方描述了为何需要win32 :You need to install pywin32 because of this Twisted bug.
详细信息可以看看官方网页：https://docs.scrapy.org/en/latest/faq.html#scrapy-crashes-with-importerror-no-module-named-win32api
2.4提示c++ build（可选）
请安装cmd终端的提示，去指定的网址提示去下载build exe安装程序，安装后重新启动下，我们使用的python是cpython,所以依赖c的环境，如果你的电脑安装有vs2015,vs2017
这些c的环境都是有的。这里就可以不用安装了。
如果提示有这个信息。 error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build Tools”: http://landinghub.visualstudio.com/visual-cpp-build-tools
如果twisted无法安装，建议去这个地方https://pypi.python.org/pypi/Twisted/ 下载，自行安装。然后去安装scrapy。
2.5 配置环境变量
将你的python.exe 所在的目录和子目录Scripts目录都添加到PATH环境变量中去。
比如C:\Python2.7\;C:\Python2.7\Scripts\;
2.6 测试python 和scrapy
C:\Users\Administrator>python Python 3.6.1 |Anaconda custom (64-bit)| (default, May 11 2017, 13:25:24) [MSC v.1900 64 bit (AMD64)] on win32 Type "help", "copyright", "credits" or "license" for more information. >>> import scrapy >>>
2.7 ipython 或者bpython的安装
ipython和bpython都是python的解析器，在cmd终端下提供
ipython的安装相对简单，使用如下命令即可安装
C:\Users\Administrator>conda install ipython
或者
C:\Users\Administrator>pip install ipython
如果你是在linux下编译安装ipython可以参考下我的另一篇博客：http://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_python_001.html
bpython的安装有点问题：
可以参看我的另一篇博客：http://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_python_006_bpython.html
环境准备好了。 那我们就可以开始scrapy的入门学习了。
2.8开发环境
我这里使用pycharm 软件去开发python， 当然小伙伴们也是可以使用其他的开发环境， 我这里推荐下打开也可以试试vs code 去搭建python开发环境。
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/155352.html原文链接：https://javaforall.net
