搭建scrapy框架[通俗易懂]

搭建scrapy框架[通俗易懂]搭建scrapy

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

1.安装scrapy

修改镜像,全局设置,只需要设置一次
pip config set global.index-url https://pypi.doubanio.com/simple

安装
pip install scrapy

搭建scrapy框架[通俗易懂]

补充:

更新安装
pip install -U scrapy

如果windows报错说没有磁盘访问权限可用这个命令
pip install –user scrapy

2.检验scrapy是否安装成功

scrapy

搭建scrapy框架[通俗易懂]

3.创建scrapy项目

scrapy startproject spider0609

搭建scrapy框架[通俗易懂]

4.创建蜘蛛程序

scrapy genspider douban movie.douban.com

搭建scrapy框架[通俗易懂]

5.pycharm打开项目并运行

pycharm->open->spider0609->file->setting->project->python interpreter 配置虚拟环境->add

搭建scrapy框架[通俗易懂]

 搭建scrapy框架[通俗易懂]

搭建scrapy框架[通俗易懂]

第一步:以管理员身份运行powershell
第二步:执行:get-ExecutionPolicy 回复Restricted,表示状态是禁止的。
第三步:执行:set-ExecutionPolicy RemoteSigned
第四步:选择Y,回车

搭建scrapy框架[通俗易懂]

 再次打开terminal即可解决

 搭建scrapy框架[通俗易懂]

 虚拟环境安装scrapy(之前装是装在全局环境的,现在是给虚拟环境装)

搭建scrapy框架[通俗易懂]

scrapy crawl douban -o douban.csv
 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/189585.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • $(document).click() 在苹果手机上不能正常运行解决方案

    $(document).click() 在苹果手机上不能正常运行解决方案

    2021年11月5日
    58
  • spring boot 过滤器_拦截器和过滤器的区别面试

    spring boot 过滤器_拦截器和过滤器的区别面试原文地址:https://www.tsanyang.top/share-detail/739784336139616256.html最近实现一个权限控制功能,想通过拦截器进行实现,当业务一切按预期一样完成,有一个特别控制需要再拦截器对参数进行解析使用,但是发现当我们再拦截器读取了输入流,再控制器是无法获取到参数的,这个是由于输入流只能被读取一次,然后通过问题搜索了一把,看见网上通过重写HttpServletRequestWrapper实现输入流读取后,再写入回去,这样解决控制器无法获取参数问题,故在此做记

    2022年8月23日
    9
  • JavaScript Scripting.FileSystemObject FSO属性大全

    JavaScript Scripting.FileSystemObject FSO属性大全
    什么是FSO?
    FSO即FileSystemObject文件系统对象,是一种列表Windows磁盘目录和文件,对目录和文件进行删除、新建、复制、剪切、移动等操作的技术。使用FSO网站的好处:直接读取目录下的文件和子目录,方便维护,如需要添加任何内容,将文件放在相应的目录下即可;FSO网站类似Windows操作界面,易于使用,会使用Windows就会使用FSO网站。
    试想一下,很方便的就可以将您硬盘中的文件和文件夹制作成网站,并且日后只要把内

    2022年7月14日
    17
  • python lambda表达式详解

    python lambda表达式详解@pythonlambda表达式详解1、lambda简介先来看一段代码示例:第一行是lambda声明,x,y相当于传入的参数,整个函数会返回x+y的值。lambda作为一个表达式,定义了一个匿名函数,上例的代码x,y为入口参数,x+y为函数体。在这里lambda简化了函数定义的书写形式。python允许用lambda关键字创造匿名函数。匿名是不需要以标准的方式来声明,比如说使用def…

    2022年10月18日
    3
  • 一天入门51单片机教程

    一天入门51单片机教程本套教程共3节课程,熟悉这3节课程的话,你已经入门51单片机了。下面是内容正文单片机学习的第一步,什么是单片机最小系统?我来打个比喻吧.我们都知道,人的大脑是可以控制眼耳口鼻,手脚,全身等等,这就说明,大脑是我们人体的控制中心,人体能控制的地方,都是由大脑管理的..而单片机就像我们的大脑,作为一个控制中心,去控制我们想要控制的东西...为什么要控制呢?好像一成不变枯燥的工作,如果是人处理的话,做的时间长一点,他会说累,说无聊,而单片机则不会,只要你给它编写好程序,它会默默无闻地重复

    2022年5月16日
    42
  • 纵向、横向导航菜单及二级弹出菜单

    纵向、横向导航菜单及二级弹出菜单一、纵向导航菜单及二级弹出菜单首先在body中添加一个div标签,其中包含ulliul的标签结构存放网站菜单,效果如下:<%@pagelanguage="java"import="java.util.*"pageEncoding="UTF-8"%><%Stringpath=request.getContextPath();StringbasePath=…

    2022年7月26日
    14

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号