Java 实现ip代理池请求-爬虫防封、文章阅读刷量

Java 实现ip代理池请求-爬虫防封、文章阅读刷量实现过程主要分两步:第一步,需要到ip代理平台,注册开通获取代理ip的api接口第二步,请求api接口,获得代理ip列表,实现ip代理请求指定网址。pom需要依赖<!–hutool–> <dependency> <groupId>cn.hutool</groupId> <artifactId>hutool-all</artifactId> <version>5.3.6&lt..

大家好,又见面了,我是你们的朋友全栈君。

实现过程主要分两步:

 第一步,需要到ip代理平台,注册开通获取代理ip的api接口

 第二步,请求api接口,获得代理ip列表,实现ip代理请求指定网址。

pom需要依赖

 <!-- hutool-->
		<dependency>
			<groupId>cn.hutool</groupId>
			<artifactId>hutool-all</artifactId>
			<version>5.3.6</version>
		</dependency>

代码示例 


import cn.hutool.http.HttpUtil;
import lombok.Data;
import org.apache.commons.compress.utils.Lists;

import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.net.Authenticator;
import java.net.InetSocketAddress;
import java.net.PasswordAuthentication;
import java.net.Proxy;
import java.net.URL;
import java.net.URLConnection;
import java.nio.charset.StandardCharsets;
import java.util.List;

/**
 * ip代理请求
 * @author tarzan Liu
 *
 */
public class ClientProxyBasicHttp {

	//获取ip代理的api
	public static String IpProxyAPI="http:
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/140026.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 1 各种Linux系统下载镜像站(系统)

    1 各种Linux系统下载镜像站(系统)1.CentOS官网CentOS适合于需要稳定上线、不打算使用红帽原厂服务的服务器:CentOS与红帽官方企业版RHEL的关系如下:源代码一样服务不一样。RHEL能得到原厂收费服务,CentOS只能靠自己维护,红帽公司不作支持。CentOS免费自由获取,RHEL原则上不能自由获取,必须要在红帽官网下载。CentOS常用的3种版本:DVD版:如果你的服务器不打算连接外网,仅仅是内网专用,或者仅仅用于学习与实验,推荐此版本,推荐体积为4G,里面常用的软件都有了。Everything版:顾

    2022年6月28日
    33
  • httprunner(10)日志信息「建议收藏」

    httprunner(10)日志信息「建议收藏」日志信息每个用例都会生成一个对应的log日志,位置:<ProjectRootDir>/logs/TestCaseID.run.log.如果你想看到request和response、提取

    2022年7月28日
    6
  • Java和Python哪个更适合初学者的问题

    Java和Python哪个更适合初学者的问题我个人不是很喜欢讨论这个问题,为什么呢,每个人都学习能力不一样,你要是不行,哪个对于你也不简单。客观分析,这两种语言都在程序员的工具箱中都占有一席之地。学习哪个并不重要,个人觉得对于入门级同学来说,你要学的是“编程思想的基础知识“,而不是”特定的编程语言“。那这两门语言有区别吗?当然有,对于有一定编程经验的人来说…

    2022年7月7日
    19
  • 负载能力——影响负载能力思维导图整理

    我们在系统的开发和运维的时候,一定要了解自己现在系统的负载能力如何,这样在一些业务场景下,可以做到游刃有余,不会出现大的问题。下面就总结一些系统的负载能力,这个总结是我看到一篇好的博文内容整理出来的,我觉得很多知识可以用思维导图整理比较好一点,这样自己的思路清晰,而且对于记忆来说也比直接做笔记会深刻一点。

    2022年2月25日
    48
  • Microsoft Enterprise Library: Logging 模块「建议收藏」

    Microsoft Enterprise Library: Logging 模块「建议收藏」MicrosoftEnterpriseLibrary中的Logging模块主要用来记录日志,它可以将日志存储在不同的介质中:文本文件,WindowsEvent,邮件,MSMQ,DataBase,Xml等等。当然它还提供了扩展功能,通过扩展Logging模块的Listener类,我们就能将日志记录在我们需要的地方了。   虽然MicrosoftEnterpriseLibrary很庞大,但

    2022年10月20日
    2
  • IBM P750 AIX机器根目录空间满问题解决办法

    IBM P750 AIX机器根目录空间满问题解决办法今天有系统应用人员跟我讲数据库双机服务器空间快要满了,我登录到服务器上去查看发现根目录3G的空间只剩下不到一百多兆了,附图如下列出根目录下最占用空间的文件$du-amx/|sort-rn|head-n10关键字”/dev/null2>&1″,这是AIX6.1TL7中的cas_agent两个bug,关于这两个bug的英文介绍请移步http:/…

    2022年6月23日
    49

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号