搭建scrapy框架[通俗易懂]

搭建scrapy框架[通俗易懂]搭建scrapy

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

1.安装scrapy

修改镜像,全局设置,只需要设置一次
pip config set global.index-url https://pypi.doubanio.com/simple

安装
pip install scrapy

搭建scrapy框架[通俗易懂]

补充:

更新安装
pip install -U scrapy

如果windows报错说没有磁盘访问权限可用这个命令
pip install –user scrapy

2.检验scrapy是否安装成功

scrapy

搭建scrapy框架[通俗易懂]

3.创建scrapy项目

scrapy startproject spider0609

搭建scrapy框架[通俗易懂]

4.创建蜘蛛程序

scrapy genspider douban movie.douban.com

搭建scrapy框架[通俗易懂]

5.pycharm打开项目并运行

pycharm->open->spider0609->file->setting->project->python interpreter 配置虚拟环境->add

搭建scrapy框架[通俗易懂]

 搭建scrapy框架[通俗易懂]

搭建scrapy框架[通俗易懂]

第一步:以管理员身份运行powershell
第二步:执行:get-ExecutionPolicy 回复Restricted,表示状态是禁止的。
第三步:执行:set-ExecutionPolicy RemoteSigned
第四步:选择Y,回车

搭建scrapy框架[通俗易懂]

 再次打开terminal即可解决

 搭建scrapy框架[通俗易懂]

 虚拟环境安装scrapy(之前装是装在全局环境的,现在是给虚拟环境装)

搭建scrapy框架[通俗易懂]

scrapy crawl douban -o douban.csv
 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/189585.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • PL/SQL中declare、begin关键字解释

    PL/SQL中declare、begin关键字解释使用declare或begin关键字开头的bai叫匿名块,每次使用均需要进行编译,不能存储在数据库中且不能被其他PL/SQL调用。而存储过程,存储函数,触发器等叫命名块,一经编译后面就可直接调用,且可以存储在数据库中,被其他PL/SQL调用;declareagenumber(4);–声明一个参数baia类型du为number类型长度为4beginselectteaAgeintoagefromteacherwhereteaid=122;–查询teaid为12

    2022年8月22日
    5
  • 解决smplayer中文字幕乱码

    解决smplayer中文字幕乱码首先,打开选项->首选项:选择字幕选项卡。找到“默认字符编码”选项,在下拉框中选择“简体中文(cp936)”再打开“字体和颜色”页卡(上边),选择“系统字体”在下拉选框中选择一种简体中文字体转载于:https://www.cnblogs.com/hbxtght/archive/2011/05/18/2049938.html…

    2022年7月11日
    18
  • 固态硬盘不能恢复吗_固态硬盘资料能恢复吗

    固态硬盘不能恢复吗_固态硬盘资料能恢复吗固态硬盘(SSD)凭借超高速的读写速度在高端玩家中颇受欢迎,但是SSD硬盘也暴露出一些不成熟的表现,之前已有过固件门、性能下降等例子。Techgage网站最新的测试显示SSD硬盘在数据恢复方面遇到了新的挑战,这一问题在支持TRIM指令的固态硬盘上尤为严重。有鉴于此,编辑将这篇文章编译过来希望能引起玩家的重视。目前这一问题还没有别的评测加以佐证,笔者手头也没有固态硬盘可重复验证,希望正在使用固态硬盘

    2022年9月19日
    2
  • 关于COM类工厂80070005和8000401a错误分析及解决办法

    关于COM类工厂80070005和8000401a错误分析及解决办法关于COM类工厂80070005和8000401a错误分析及解决办法看到很多相关的文章,第一次配置配置时没有啥作用,让别人来解决的,可惜不晓得他怎么解决的,当我再次遇到时,不得不硬着头皮去解决。总结:1、服务器登录账户是否有配置到安全里面的权限中2、iis的应用程序是否有配置到权限里面3、试一下“启用用户”选项以下文章来源于:http://blog.163….

    2022年8月20日
    5
  • git 删除时报 the branch is not fully merged 这是什么意思

    git 删除时报 the branch is not fully merged 这是什么意思

    2021年10月23日
    109
  • linux vim查找关键字[通俗易懂]

    linux vim查找关键字[通俗易懂]/关键字输入n,回车,搜索下一个关键字

    2022年6月21日
    33

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号