1. 全栈程序员必看首页

Python动态爬虫爬取京东商品评论[通俗易懂]

全栈程序员-站长 • • 未分类 • 阅读 9

Python动态爬虫爬取京东商品评论[通俗易懂]Python动态爬虫爬取京东商品评论1.概述京东商城是Python爬虫初学者试手的经典平台，反爬虫程度较低，但评论采取了动态加载的方式，爬取京东商品评论是学习动态爬虫的一个极佳方法。动态爬虫，即针对动态加载JSON文件网页的爬虫，其原理与静态爬虫没有本质区别，只是不爬取所见的静态目标网页，而是寻找该网页所加载的JSON文件，爬取JSON文件中的内容。2.目标观察观察京东具体商品评论页面：点击商品评价页：发现商品评价翻页的url不改变，可推测出其采用动态加载的方式，同时，会发现直接获取该

大家好，又见面了，我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

Python 动态爬虫爬取京东商品评论

1. 概述

京东商城是Python爬虫初学者试手的经典平台，反爬虫程度较低，但评论采取了动态加载的方式，爬取京东商品评论是学习动态爬虫的一个极佳方法。

动态爬虫，即针对动态加载JSON文件网页的爬虫，其原理与静态爬虫没有本质区别，只是不爬取所见的静态目标网页，而是寻找该网页所加载的JSON文件，爬取JSON文件中的内容。

2.目标观察

观察京东具体商品评论页面：

在这里插入图片描述

发现可能是评论内容文件，点击查看，发现确实如此，复制下该文件的url：

从上文中我们获取到了商品评论的动态加载文件的url，接下来我们至需要对该文件进行get爬取即可。

同静态爬虫类似，构造header，输入网址，并使用get进行请求，下载其文本内容。

header = { 
   "user-agent":'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'}
url = "https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100021400874&score=0&sortType=5&page=2&pageSize=10&isShadowSku=0&rid=0&fold=1"
time.sleep(random.random())
content = requests.get(url = url,headers = headers).text

然后我们观察get到的content内容，发现并不是静态网页的HTML，而是一种类似于字典的文本内容，这即是JSON文本格式，但京东获取到的JSON文本有干扰，不是一个完全的类似字典类型文本，因此我们需要去除掉花括号前后的无意义字符串：

if content != None:
                content = content.strip('fetchJSON_comment98vv385();')

然后我们使用json模块对其进行解析，并从中提取我们需要的信息：

jbs = json.loads(content)
comments = jbs["comments"]
for comment in comments:
    print(comment["id"],":",comment["content"])

从而我们就得到了京东商品评论。

4. 全部代码：

header = { 
   "user-agent":'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'}
url = "https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100021400874&score=0&sortType=5&page=2&pageSize=10&isShadowSku=0&rid=0&fold=1"
time.sleep(random.random())
content = requests.get(url = url,headers = headers).text
if content != None:
                content = content.strip('fetchJSON_comment98vv385();')、
        jbs = json.loads(content)
comments = jbs["comments"]
for comment in comments:
    print(comment["id"],":",comment["content"])
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/159486.html原文链接：https://javaforall.net

赞 (0)
全栈程序员-站长的头像全栈程序员-站长
0 0


相关推荐

  • k means聚类算法实例数据_Kmeans聚类算法详解

    k means聚类算法实例数据_Kmeans聚类算法详解

    k means聚类算法实例数据_Kmeans聚类算法详解k-means算法又称k均值，顾名思义就是通过多次求均值而实现的聚类算法。是一种无监督的机器学习方法，即无需知道所要搜寻的目标，而是直接通过算法来得到数据的共同特征。其具体算法思想如下图所示：1、首先在图中随机选取3个点2、然后把距离这三个点最近的其他点归为一类3、取当前类的所有点的均值，作为中心点4、更新距离中心点最近的点5、再次计算被分类点的均值作…

    全栈程序员-站长的头像 全栈程序员-站长
    2025年7月25日
    2
  • 傅里叶级数与傅里叶变换公式推导「建议收藏」

    傅里叶级数与傅里叶变换公式推导「建议收藏」

    傅里叶级数与傅里叶变换公式推导「建议收藏」首先，傅里叶分析是指把一个周期或非周期函数展开成一个个三角函数的叠加，如果是对其还没有基本概念的，可以看看傅里叶分析之掐死教程，这篇文章不依赖数学公式却又十分透彻地讲述了傅里叶分析的基本概念，十分值得一读。但如果先深入探讨其中的数学由来，接下来会讲述详细的数学推导。傅里叶级数三角函数系的正交性三角函数系：{1,sinx,cosx,sin2x,cos2x,…,sinnx,cosnx,…}，它由无数个sinnx和cosnx组成，其中n=0,1,2,…。正交性：∫−ππsin⁡nxcos⁡mxdx=0，

    全栈程序员-站长的头像 全栈程序员-站长
    2022年7月17日
    21
  • 爬虫福利一 之 27报网MM

    爬虫福利一 之 27报网MM

    爬虫福利一 之 27报网MM《爬虫福利二》点击：https://blog.csdn.net/PY0312刚学爬虫花了4个小时写的，每一步备注的都很清楚，喜欢的朋友自己可以研究研究……目标网站：https://www.27bao.com环境：Python3.x相关第三方模块：requests、lxmlRe：各位在测试时只需要打开终端，使用pythonxxx.py运行即可。源码如下…

    全栈程序员-站长的头像 全栈程序员-站长
    2022年6月22日
    80
  • Verilog 流水线设计[通俗易懂]

    Verilog 流水线设计[通俗易懂]

    Verilog 流水线设计[通俗易懂]一、什么是流水线流水线设计就是将组合逻辑系统地分割，并在各个部分（分级）之间插入寄存器，并暂存中间数据的方法。目的是将一个大操作分解成若干的小操作，每一步小操作的时间较小，所以能提高频率，各小操作能并行执行，所以能提高数据吞吐率（提高处理速度）。二、什么时候用流水线设计使用流水线一般是时序比较紧张，对电路工作频率较高的时候。典型情况如下：1）功能模块之间的流水线，用乒乓buffer来交互数据。代价是增加了memory的数量，但是和获得的巨大性能提升相比，可以忽略不计。2）I/O瓶

    全栈程序员-站长的头像 全栈程序员-站长
    2022年8月14日
    4
  • IntelliJ IDEA安装教程（超详细）「建议收藏」 idea

    IntelliJ IDEA安装教程（超详细）「建议收藏」

    IntelliJ IDEA安装教程（超详细）「建议收藏」IDEA安装教程目录一、JDK的彻底卸载（选做）二、JDK的安装三、IDEA的安装四、IDEA的“扩展”教程五、代码测试六、Error:Cannotdeterminepathto’tools.jar’libraryfor17(D:\jdk-17.0.1)报错的解决方案七、说明写在前面：JDK版本要与IDEA版本相匹配，不然会报错嗷（即：第六节所示）！因为我之前有JDK，所以为了更好的演示，我先把JDK17卸载了。如果你有JDK请查看你的JDK版本后进行第二步（…

    全栈程序员-站长的头像 全栈程序员-站长
    2022年6月26日
    69
  • scl语言用plc脉冲做定时器_scl语言用plc脉冲做定时器_西门子PLC SCL语言开发学习笔记（二）…

    scl语言用plc脉冲做定时器_scl语言用plc脉冲做定时器_西门子PLC SCL语言开发学习笔记（二）…

    scl语言用plc脉冲做定时器_scl语言用plc脉冲做定时器_西门子PLC SCL语言开发学习笔记（二）…今天来讲下scl两个关键的点一、按键事件比如地址I0.0是某个按钮的状态，他只有True和False两个状态，所以我们要获得按下事件需要我们自己模拟。#KeyPress:=”Btn1″ANDNOT#LastKey;#LastKey:=”Btn1″;这样通过对#KeyPress判断是否为True即可获得一次点击事件，相当于|P|把上一次的存起来，然后判断按下，如果你想把按键放在松开时…

    全栈程序员-站长的头像 全栈程序员-站长
    2022年10月6日
    6

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号