scrapy start_urls_renpy中文文档

scrapy start_urls_renpy中文文档#-*-coding:utf-8-*-importscrapyclassRenrenSpider(scrapy.Spider):name=’renren’allowed_domains=[‘renren.com’]#修改起始的请求start_urls=[‘http://www.renren.com/PLo…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

# -*- coding: utf-8 -*-
import scrapy


class RenrenSpider(scrapy.Spider):
    name = 'renren'
    allowed_domains = ['renren.com']
    # 修改起始的请求
    start_urls = ['http://www.renren.com/PLogin.do']

    def start_requests(self):
        # 构建url
        url = self.start_urls[0]
        # 构建请求数据
        post_data = {
            'email': '17173805860',
            'password': '1qaz@WSX3edc'
        }

        # 发送请求
        yield scrapy.FormRequest(url,formdata=post_data)


    def parse(self, response):
        with open('renren.html','wb')as f:
            f.write(response.body)

scrapy  如何发送post请求。代码如上。

 

方法二:针对从首页重定向到登录页面的post登录

# -*- coding: utf-8 -*-
import scrapy


class RenrenFormSpider(scrapy.Spider):
    name = 'renren_form'
    allowed_domains = ['renren.com']
    start_urls = ['http://renren.com/']

    def parse(self, response):
        # 构建post数据
        post_data = {
            'email': '17173805860',
            'password': '1qaz@WSX3edc'
        }
        yield scrapy.FormRequest.from_response(response,formdata=post_data,callback=self.after_login)


    def after_login(self, response):
        with open('renrne2.html','w')as f:
            f.write(response.text)

  

转载于:https://www.cnblogs.com/andy9468/p/8299636.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/164741.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • Cuda和cuDNN安装教程(超级详细)

    Cuda和cuDNN安装教程(超级详细)接下来我为大家带来超级详细的Windows10环境下cuda和cuDNN下载和安装方法:

    2022年6月14日
    152
  • [51Nod1676 无向图同构]无向图哈希[通俗易懂]

    [51Nod1676无向图同构]无向图哈希分类:DataStructureHash1.题目链接[51Nod1676无向图同构]2.题意描述3.解题思路对某一个东西进行哈希,一般就选取一些特征点,然后尽可能离散化这些特征点。对于无向图中的每一个联通块来说,他的特征点就是顶点的度。显然这样还不够,那么可以加入深度这个特征,只需要对联通块的每一个顶点bfs求一边单源点最短路。利用这两个特

    2022年4月10日
    53
  • 5V输入升压双节锂电管理芯片_锂电池升压电路

    5V输入升压双节锂电管理芯片_锂电池升压电路新推出的一款高效率、直流升压稳压电路GS3662D。输入电压范围可由最低3.7伏特到最高42伏特,输出电压3.7–42V可调整且内部MOS输出开关电流可高达2A,非常适合于数码便携产品电池供电,3G网络产品,数码相机,LCD液晶屏背光电路,太阳能照明路灯,网络通讯等产品的电压转换。GS3662D采用标准的SOP-8无铅封装,应用电路非常简单,外围器件极少。主营产品:锂电充电管理IC双节锂电8.4V单节锂电充电镊镉电池充电超低功耗鼠标升压ICDC-DC稳压IC车充IC车充方案…

    2022年10月7日
    0
  • matlab 矩阵除法

    matlab 矩阵除法Matlab提供了两种除法运算:左除(/)和右除(/)。一般情况下,x=a/b是方程a*x=b的解,而x=b/a是方程x*a=b的解。例:a=[1  2  3;4  2  6;7  4  9]b=[4;1;2];x=a/b则显示:x=      -1.5000        2.0000        0.5000如果a为非奇异矩阵,则a/b和b/a可通过a的逆矩阵与

    2022年6月29日
    82
  • HttpCanary_django request对象

    HttpCanary_django request对象HttpResponse对象Django服务器接收到客户端发送过来的请求后,会将提交上来的这些数据封装成一个HttpRequest对象传给视图函数。那么视图函数在处理完相关的逻辑后,也需要返回一个响

    2022年7月29日
    4
  • 网站推荐:11个相似图片搜索网站(以图找图)

    网站推荐:11个相似图片搜索网站(以图找图)你想凭着一张现有图片找出它的原始图片,或者是凭着一张小的缩略图找出原始大图吗?下面的十款搜索引擎可以帮你实现,以图找图,以图搜图,以图片搜索相似的图片。一:http://tineye.com/Tineye是典型的以图找图搜索引擎,输入本地硬盘上的图片或者输入图片网址,即可自动帮你搜索相似图片,搜索准确度相对来说还比较令人满意。TinEye是加拿大Idée公司研发…

    2022年7月17日
    22

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号