搭建scrapy框架[通俗易懂]

搭建scrapy框架[通俗易懂]搭建scrapy

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

1.安装scrapy

修改镜像,全局设置,只需要设置一次
pip config set global.index-url https://pypi.doubanio.com/simple

安装
pip install scrapy

搭建scrapy框架[通俗易懂]

补充:

更新安装
pip install -U scrapy

如果windows报错说没有磁盘访问权限可用这个命令
pip install –user scrapy

2.检验scrapy是否安装成功

scrapy

搭建scrapy框架[通俗易懂]

3.创建scrapy项目

scrapy startproject spider0609

搭建scrapy框架[通俗易懂]

4.创建蜘蛛程序

scrapy genspider douban movie.douban.com

搭建scrapy框架[通俗易懂]

5.pycharm打开项目并运行

pycharm->open->spider0609->file->setting->project->python interpreter 配置虚拟环境->add

搭建scrapy框架[通俗易懂]

 搭建scrapy框架[通俗易懂]

搭建scrapy框架[通俗易懂]

第一步:以管理员身份运行powershell
第二步:执行:get-ExecutionPolicy 回复Restricted,表示状态是禁止的。
第三步:执行:set-ExecutionPolicy RemoteSigned
第四步:选择Y,回车

搭建scrapy框架[通俗易懂]

 再次打开terminal即可解决

 搭建scrapy框架[通俗易懂]

 虚拟环境安装scrapy(之前装是装在全局环境的,现在是给虚拟环境装)

搭建scrapy框架[通俗易懂]

scrapy crawl douban -o douban.csv
 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/189585.html原文链接:https://javaforall.net

(0)
上一篇 2026年4月13日 下午1:45
下一篇 2026年4月13日 下午1:45


相关推荐

  • vscode 自动保存代码

    vscode 自动保存代码vscode 文件 首选项 设置 setting json 加 files autoSave afterDelay

    2026年3月17日
    2
  • 矩阵内积运算

    矩阵内积运算设有矩阵 A a1 a2 a3 a4 和矩阵 B b1 b2 b3 b4 那么矩阵 A 与 B 的内积为 内积 a1xb1 a2xb2 a3xb3 a4xb4

    2026年3月19日
    2
  • C语言多线程运行时间计算

    C语言多线程运行时间计算C语言多线程运行时间计算单线程下的运行时间可以使用clock()进行计算clock()计算的是theCPUtimeusedsofar,即占用的CPU时间而多线程和单线程不同的是,多线程会占用更多的CPU时间(多个线程同时运行),因此,多线程下使用clock()会造成结果过大使用clock_gettime来获取多线程下每个线程的运行时间intclock_gettime(clockid_tclk_id,structtimespec*tp);第一个参数要输入一个宏,一般使用的有:

    2022年10月19日
    5
  • C++ Void 指针 教程

    C++ Void 指针 教程本文我们一起看看 Void 指针 了解它的用法及优缺点 Void 指针 Void 指针也称为通用指针 可以指向任何类型对象的特殊类型指针 Void 指针声明与正常指针一样 使用 void 关键字 void ptr ptr 是 Void 指针 void 指针可以指向任何类型对象 请看示例 intnValue floatfValue structSometh intn floatf SomethingsVa void ptr pt

    2026年3月19日
    3
  • linux pycharm2021年激活码刚出【中文破解版】

    (linux pycharm2021年激活码刚出)JetBrains旗下有多款编译器工具(如:IntelliJ、WebStorm、PyCharm等)在各编程领域几乎都占据了垄断地位。建立在开源IntelliJ平台之上,过去15年以来,JetBrains一直在不断发展和完善这个平台。这个平台可以针对您的开发工作流进行微调并且能够提供…

    2022年3月30日
    284
  • 按位取反怎么运算_按位取反运算

    按位取反怎么运算_按位取反运算读本文前请首先搞懂“反码”,“取反”,“按位取反(~)”,这3个概念是不一样的。取反:0变1,1变0反码:正数的反码是其本身,对于负数其符号位不变其它各位取反(0变1,1变0)按位取反(~):这将是下面要讨论的。“~”运算符在c、c++、java、c#中都有,之前一直没有遇到这个运算符。要弄懂这个运算符的计算方法,首先必须明白二进制数在内存中的存放形式,二

    2022年4月19日
    117

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号