搭建scrapy框架[通俗易懂]

搭建scrapy框架[通俗易懂]搭建scrapy

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

1.安装scrapy

修改镜像,全局设置,只需要设置一次
pip config set global.index-url https://pypi.doubanio.com/simple

安装
pip install scrapy

搭建scrapy框架[通俗易懂]

补充:

更新安装
pip install -U scrapy

如果windows报错说没有磁盘访问权限可用这个命令
pip install –user scrapy

2.检验scrapy是否安装成功

scrapy

搭建scrapy框架[通俗易懂]

3.创建scrapy项目

scrapy startproject spider0609

搭建scrapy框架[通俗易懂]

4.创建蜘蛛程序

scrapy genspider douban movie.douban.com

搭建scrapy框架[通俗易懂]

5.pycharm打开项目并运行

pycharm->open->spider0609->file->setting->project->python interpreter 配置虚拟环境->add

搭建scrapy框架[通俗易懂]

 搭建scrapy框架[通俗易懂]

搭建scrapy框架[通俗易懂]

第一步:以管理员身份运行powershell
第二步:执行:get-ExecutionPolicy 回复Restricted,表示状态是禁止的。
第三步:执行:set-ExecutionPolicy RemoteSigned
第四步:选择Y,回车

搭建scrapy框架[通俗易懂]

 再次打开terminal即可解决

 搭建scrapy框架[通俗易懂]

 虚拟环境安装scrapy(之前装是装在全局环境的,现在是给虚拟环境装)

搭建scrapy框架[通俗易懂]

scrapy crawl douban -o douban.csv
 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/189585.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 最新手机号段归属地数据库(2018年4月)[通俗易懂]

    最新手机号段归属地数据库(2018年4月)[通俗易懂]2018年4月1日版  382140条记录最新 手机号段数据库号码归属地数据库  全面 准确 规范字段包括省份城市运营商邮编区号等信息,对于数据分析、号码归属地查询等非常有帮助更新历史: 2018-02-01381409条记录2018-01-01380157条记录2017-12-01377357条记录2017-11-01373606条记录 2017-10-013690…

    2022年7月22日
    8
  • Eclipse快捷键 l另起一行|快速转换编辑器|重命名|下一个错误及快速修改|为本地变量赋值

    Eclipse快捷键 l另起一行|快速转换编辑器|重命名|下一个错误及快速修改|为本地变量赋值

    2021年7月18日
    44
  • 常用的DNS服务器_国内目前最快的DNS

    常用的DNS服务器_国内目前最快的DNS北京联通      202.106.0.20   202.106.196.115阿里              223.5.5.5 223.6.6.6114              114.114.114.114南方电信      180.153.225.136百度              180.76.76.76360                 101.226….

    2022年9月3日
    9
  • customErrors和httpErrors的区别

    customErrors和httpErrors的区别一、概念及对比customErrors 用于捕捉ASP.NET触发的错误,静态html页面或目录不存在等错误,不会被捕捉到。httpErrors 用于捕捉IIS触发的错误,IIS7+版本才支持。二、配置文件1.IIS7及以上:                 ExecuteURL”>

    2022年7月16日
    12
  • netty bytebuf转byte数组_netty udp

    netty bytebuf转byte数组_netty udp网络传输的载体是byte,这是任何框架谁也逃脱不了的一种规定,JAVA的NIO提供了ByteBuffer,用来完成这项任务,当然ByteBuffer也很好的完成了这个任务,Netty也提供了一个名字很相似的载体叫做ByteBuf,相比于ByteBuf而言,它有着更加更多友善的API,也更加易于维护,并且它可以扩容一般来说,ByteBuf都是维护一个byte数组的,它的内部格式是

    2022年9月19日
    0
  • 风云私服架设教程_风云端游

    风云私服架设教程_风云端游需要软件:SQLsever2005pro本站提供下载将服务器端解压缩到D:盘D:\Sagasevr下有6个文件夹1:databaseSQL数据库文件夹2:LoginServer帐号登陆管理器3:WorldServer服务器数据管理器4:GameServer1游戏数据管理器4:GameServer2游戏数据管理器5:GameServer3游戏数据管理器6:GameS…

    2022年10月6日
    1

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号