scrapy start_urls_renpy中文文档

scrapy start_urls_renpy中文文档#-*-coding:utf-8-*-importscrapyclassRenrenSpider(scrapy.Spider):name=’renren’allowed_domains=[‘renren.com’]#修改起始的请求start_urls=[‘http://www.renren.com/PLo…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

# -*- coding: utf-8 -*-
import scrapy


class RenrenSpider(scrapy.Spider):
    name = 'renren'
    allowed_domains = ['renren.com']
    # 修改起始的请求
    start_urls = ['http://www.renren.com/PLogin.do']

    def start_requests(self):
        # 构建url
        url = self.start_urls[0]
        # 构建请求数据
        post_data = {
            'email': '17173805860',
            'password': '1qaz@WSX3edc'
        }

        # 发送请求
        yield scrapy.FormRequest(url,formdata=post_data)


    def parse(self, response):
        with open('renren.html','wb')as f:
            f.write(response.body)

scrapy  如何发送post请求。代码如上。

 

方法二:针对从首页重定向到登录页面的post登录

# -*- coding: utf-8 -*-
import scrapy


class RenrenFormSpider(scrapy.Spider):
    name = 'renren_form'
    allowed_domains = ['renren.com']
    start_urls = ['http://renren.com/']

    def parse(self, response):
        # 构建post数据
        post_data = {
            'email': '17173805860',
            'password': '1qaz@WSX3edc'
        }
        yield scrapy.FormRequest.from_response(response,formdata=post_data,callback=self.after_login)


    def after_login(self, response):
        with open('renrne2.html','w')as f:
            f.write(response.text)

  

转载于:https://www.cnblogs.com/andy9468/p/8299636.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/164741.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • python 下载百度文库_百度文库随便下载,解除限制「建议收藏」

    阅读须知:文章介绍的软件下载地址载文末,需要复制链接到浏览器打开今天有小伙伴在群里问有没有百度文库的下载工具,其实之前推荐过,但目前有新的工具出现了,而且更加好用,所以给大家更新一下百度文档0.95吾爱大神力作,软件是用python写的,跟其他下载器相比,优点就是能下载源文档,以前的冰点也很好用,但缺点是下载的是pdf文件,还需要转换,而这款软件相对来说方便多了纯文字文档下载之后是doc文件,图文…

    2022年4月13日
    62
  • 基于matlab的图像处理案例教程_matlab gui图像处理

    基于matlab的图像处理案例教程_matlab gui图像处理一、imfinfo函数——查看图像文件信息,注意参数是文件路径和文件名,不是图像对应的矩阵。imfinfo(‘C:\Users\zhulf\Desktop\1.jpg’)ans=Filename:’C:\Users\zhulf\Desktop\1.jpg’FileModDate:’19-Apr-201508:40:54′

    2022年10月4日
    2
  • cegui基础

    cegui基础cegui基础2010年11月12日  cegui渲染入门:  至少需要3步,才可以使cegui运行起来  1创建CEGUI::Renderer对象  2创建CEGUI::System对象  3调用渲染函数  ofcourse,实现真正的游戏GUI,你还需要装载相关的数据文件,进行一些最基础的初始话,你也需要处理用户输入。  1创建CEGUI:Re…

    2022年7月24日
    8
  • seekg()/seekp()与tellg()/tellp()的用法详解

    seekg()/seekp()与tellg()/tellp()的用法详解对输入流操作:seekg()与tellg()对输出流操作:seekp()与tellp()下面以输入流函数为例介绍用法:seekg()是对输入文件定位,它有两个参数:第一个参数是偏移量,第二个参数是基地址。对于第一个参数,可以是正负数值,正的表示向后偏移,负的表示向前偏移。而第二个参数可以是:ios::beg:表示输入流的开始位置ios::cur:表示输入流的当前位置io

    2022年6月9日
    79
  • C# Json序列化工具–Newtonsoft.Json简介和使用

    C# Json序列化工具–Newtonsoft.Json简介和使用Newtonsoft.Json,是.Net中开源的Json序列化和反序列化工具,官方地址:http://www.newtonsoft.com/json。功能比较多,效率比较高,官方给出对比数据50%fasterthanDataContractJsonSerializer,and250%fasterthanJavaScriptSerializer.比较常用的功能除了序

    2025年7月26日
    3
  • pycharm2022 linux版激活码_最新在线免费激活

    (pycharm2022 linux版激活码)好多小伙伴总是说激活码老是失效,太麻烦,关注/收藏全栈君太难教程,2021永久激活的方法等着你。IntelliJ2021最新激活注册码,破解教程可免费永久激活,亲测有效,下面是详细链接哦~https://javaforall.net/100143.html1M2OME2TZY-eyJsaWNlbnNlSW…

    2022年3月13日
    255

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号