scrapy start_urls_renpy中文文档

scrapy start_urls_renpy中文文档#-*-coding:utf-8-*-importscrapyclassRenrenSpider(scrapy.Spider):name=’renren’allowed_domains=[‘renren.com’]#修改起始的请求start_urls=[‘http://www.renren.com/PLo…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

# -*- coding: utf-8 -*-
import scrapy


class RenrenSpider(scrapy.Spider):
    name = 'renren'
    allowed_domains = ['renren.com']
    # 修改起始的请求
    start_urls = ['http://www.renren.com/PLogin.do']

    def start_requests(self):
        # 构建url
        url = self.start_urls[0]
        # 构建请求数据
        post_data = {
            'email': '17173805860',
            'password': '1qaz@WSX3edc'
        }

        # 发送请求
        yield scrapy.FormRequest(url,formdata=post_data)


    def parse(self, response):
        with open('renren.html','wb')as f:
            f.write(response.body)

scrapy  如何发送post请求。代码如上。

 

方法二:针对从首页重定向到登录页面的post登录

# -*- coding: utf-8 -*-
import scrapy


class RenrenFormSpider(scrapy.Spider):
    name = 'renren_form'
    allowed_domains = ['renren.com']
    start_urls = ['http://renren.com/']

    def parse(self, response):
        # 构建post数据
        post_data = {
            'email': '17173805860',
            'password': '1qaz@WSX3edc'
        }
        yield scrapy.FormRequest.from_response(response,formdata=post_data,callback=self.after_login)


    def after_login(self, response):
        with open('renrne2.html','w')as f:
            f.write(response.text)

  

转载于:https://www.cnblogs.com/andy9468/p/8299636.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/164741.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • pytest指定用例_ppt怎么设置自定义放映顺序

    pytest指定用例_ppt怎么设置自定义放映顺序前言测试用例在设计的时候,我们一般要求不要有先后顺序,用例是可以打乱了执行的,这样才能达到测试的效果.有些同学在写用例的时候,用例写了先后顺序,有先后顺序后,后面还会有新的问题(如:上个用例返回

    2022年7月31日
    4
  • php 正则获取邮箱,PHP 邮箱正则表达式[通俗易懂]

    php 正则获取邮箱,PHP 邮箱正则表达式[通俗易懂]PHP邮箱正则表达式作者:PHPYuan时间:2018-07-0900:01:10PHP邮箱正则表达式代码如下:/^[_a-z0-9-]+(.[_a-z0-9-]+)*@[a-z0-9-]+(.[a-z0-9-]+)*(.[a-z]{2,})$/实例$mail=’runoob@runoob.com’;//邮箱地址$pattern=”/^[_a-z0-9-]+(.[_a-z0-9-…

    2022年6月17日
    29
  • RabbitMQ入门 — 阿里云服务器安装RabbitMQ

    RabbitMQ入门 — 阿里云服务器安装RabbitMQRabbitMQ 是什么 浅谈 RabbitMQ

    2025年7月5日
    4
  • 新浪 ip 地址库

    新浪 ip 地址库

    2021年11月5日
    79
  • Hadoop 生态系统的构成(Hadoop 生态系统组件释义)

    Hadoop 生态系统的构成(Hadoop 生态系统组件释义)现在先让我们了解一下Hadoop生态系统的构成,主要认识Hadoop生态系统都包括那些子项目,每个项目都有什么特点,每个项目都能解决哪一类问题,能回答这三个问题就可以了(本段属于热身…重在理解Hadoop生态系统组成,现状,发展,将来)。HDFS:HDFS(HadoopDistributedFileSystem,Hadoop分布式文件系统)是Hadoop体系中数据存储管理的基础。它是一个高度容错的系统,能检测和应对硬件故障,用于在低成本的通用硬件上运行。HDFS简化了文件的一致性模

    2022年5月12日
    39
  • pythondecode函数的用法_如何使用python中的decode函数?[通俗易懂]

    pythondecode函数的用法_如何使用python中的decode函数?[通俗易懂]我们在使用Python的过程中,是通过编码实现的。编码格式是可以设定的,如果我们想要输入时编码格式时字符串编码,这时可以使用python中的decode函数。decode函数可以以encoding指定的编码格式解码字符串,并默认编码为字符串编码。1、decode函数以encoding指定的编码格式解码字符串,默认编码为字符串编码。2、decode()方法的语法str.decode(enco…

    2022年7月17日
    19

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号