使用多线程实现文件的下载_多线程写同一个文件

使用多线程实现文件的下载_多线程写同一个文件首先,我们要下载一个文件,可以通过多线程的方式快速下载!!!多线程下载文件的步骤:1、首先要知道请求下载的服务器支持断点下载,即支持request头信息中的Range的设置2、然后通过对请求头设置httpRequest.setRequestProperty(“Range”,”bytes=”+startIndex+”-“+endIndex);3、然后获取整个文件的大小4、在……

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

首先,我们要下载一个文件,可以通过多线程的方式快速下载!!!

多线程下载文件的步骤:

1、首先要知道请求下载的服务器支持断点下载,即支持request头信息中的Range的设置

2、然后通过对请求头设置

httpConnection.setRequestProperty("Range","bytes="+startIndex+"-"+endIndex);

3、然后获取整个文件的大小

4、在本地创建一个一样大的文件,然后根据线程数进行分配startIndex和endIndex

5、线程下载的同时,使用RandomAccessFile对所下载的内容随机对应写入文件

这里要注意,你所访问的文件在服务器端必须吧能够返回Content-Length这个参数才行!!!

完整的示例代码:

package cn.ljxwtl.plugin.common.util;

import com.alibaba.fastjson.JSON;
import cn.ljxwtl.plugin.engine.EngineAssistant;
import org.apache.commons.io.IOUtils;

import java.io.*;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;
import java.net.URLConnection;
import java.util.ArrayList;
import java.util.List;
import java.util.Objects;
import java.util.RandomAccess;
import java.util.concurrent.BrokenBarrierException;
import java.util.concurrent.CountDownLatch;
import java.util.concurrent.CyclicBarrier;
import java.util.concurrent.ThreadPoolExecutor;

/**
 * @author: wtl
 * @License: (C) Copyright 2022, wtl Corporation Limited.
 * @Contact: 1050100468@qq.com
 * @Date: 2022/4/1 10:50
 * @Version: 1.0
 * @Description:
 */
public class DownloadFileUtil {

    public static void downloadFileWithMultiThread(String url,String filePath,Runnable runnable) throws Exception {
        List<long[]> perThreadDownloadFileOffset = getPerThreadDownloadFileOffset(url, 1024* 1024);
        ThreadPoolExecutor threadPoolExecutor = EngineAssistant.THREAD_POOL_EXECUTOR;

        int size = Objects.requireNonNull(perThreadDownloadFileOffset).size();

        CyclicBarrier cyclicBarrier = new CyclicBarrier(size, ()->{
            if (null != runnable){
                runnable.run();
            }
        });

        URL openUrl = new URL(url);

        for (int i = 0; i< size; i++){
            int finalI = i;
            new Thread(()->{
                try {
                    HttpURLConnection urlConnection = (HttpURLConnection) openUrl.openConnection();
                    urlConnection.setRequestProperty("Range","bytes="+perThreadDownloadFileOffset.get(finalI)[0]+"-"+perThreadDownloadFileOffset.get(finalI)[1]);
                    urlConnection.setDoInput(true);
                    BufferedInputStream bufferedInputStream = new BufferedInputStream(urlConnection.getInputStream());
                    int length = -1;
                    byte [] buffer = new byte[102400];
                    RandomAccessFile randomAccessFile = new RandomAccessFile(filePath,"rw");
                    System.out.println(perThreadDownloadFileOffset.get(finalI)[1] - perThreadDownloadFileOffset.get(finalI)[0]);
                    randomAccessFile.seek(perThreadDownloadFileOffset.get(finalI)[0]);
                    int perSize = 0;
                    while ((length = bufferedInputStream.read(buffer))!=-1){
                        randomAccessFile.write(buffer,0,length);
                        perSize +=length;
                    }
                    randomAccessFile.close();
                    System.out.println(perThreadDownloadFileOffset.get(finalI)[0] + "------------------" +(perThreadDownloadFileOffset.get(finalI)[0] +  perSize));
                } catch (Exception e) {
                    e.printStackTrace();
                }
                finally {
                    try {
                        cyclicBarrier.await();
                    } catch (Exception e) {
                        e.printStackTrace();
                    }
                }
            }).start();
        }

    }


    /**
     * 获取每个线程所需要的File的offset
     * @param url url地址
     * @param perThreadDealFileSize 每个线程处理的文件下载大小
     * @return List<int []>
     */
    private static List<long []> getPerThreadDownloadFileOffset(String url,long perThreadDealFileSize){
        URLConnection urlConnection = null;
        try {
            urlConnection = new URL(url).openConnection();
            long contentLengthLong = urlConnection.getContentLengthLong();
            List<long[]> threadOffsetDatas = new ArrayList<>();
            long size = (long) Math.ceil(contentLengthLong * 1.0 / perThreadDealFileSize);
            for (int i = 0; i < size; i++) {
                long start = i * perThreadDealFileSize;
                long end = (i + 1) * perThreadDealFileSize - 1;

                if (i == size - 1) {
                    start = i * perThreadDealFileSize;
                    end = contentLengthLong;
                }

                threadOffsetDatas.add(new long[]{start,end});
            }

            System.out.println(JSON.toJSONString(threadOffsetDatas));
            return threadOffsetDatas;
        }
        catch (Exception e){
            e.printStackTrace();
        }
        return null;
    }
}
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/195242.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • (亲测解决)每次打开excel文件都会出现两个窗口,一个是空白的sheet1,另一个是自己的文档

    (亲测解决)每次打开excel文件都会出现两个窗口,一个是空白的sheet1,另一个是自己的文档目录一、问题描述二、问题原因三、解决步骤3.1Office解决步骤3.2WPS解决步骤一、问题描述每次打开Excel(WPS、Office都会出现,当前版本是Office2016)文件都会出现两个窗口,一个是空白的sheet1,,另一个是自己的文档,让小编是在很烦,因为每次打开一个文件就相当于打开两个,还会让Excel打开速度变慢,在网上找了很多解决办法,卸载重装过…

    2022年10月10日
    0
  • UOS命令_uos手动安装教程

    UOS命令_uos手动安装教程其他Linux发行版中用习惯了ll命令,在UOS中居然木有提供,其实ll命令就是ls-alF命令的一个别名,加到.bashrc里面就行了$vim~/.bashrc#在文件末尾追加下面内容aliasll=’ls-alF’$source~/.bashrc$ll

    2022年9月2日
    2
  • YUV格式到底是什么?

    YUV格式到底是什么?简介YUV是视频、图片、相机等应用中使用的一类图像格式,实际上是所有“YUV”像素格式共有的颜色空间的名称。与RGB格式(红-绿-蓝)不同,YUV是用一个称为Y(相当于灰度)的“亮度”分量和两个“色度”分量表示,分别称为U(蓝色投影)和V(红色投影),由此得名。YUV也可以称为YCbCr,虽然这些术语意味着略有不同,但它们往往会混淆并可互换使用。Y表示亮度分量:如果只显示Y的话,…

    2022年7月16日
    22
  • jQuery手机菜单

    效果展示 http://hovertree.com/texiao/nav/4/手机扫描二维码查看效果:源码下载 http://hovertree.com/h/bjaf/kroft6

    2021年12月27日
    38
  • 分布式锁的应用场景和三种实现方式的区别_负载均衡策略

    分布式锁的应用场景和三种实现方式的区别_负载均衡策略多线程对同一资源的竞争,需要用到锁,例如Java自带的Synchronized、ReentrantLock。但只能用于单机系统中,如果涉及到分布式环境(多机器)的资源竞争,则需要分布式锁。分布式锁的主要作用:保证数据的正确性:比如:秒杀的时候防止商品超卖,表单重复提交,接口幂等性。避免重复处理数据:比如:调度任务在多台机器重复执行,缓存过期所有请求都去加载数据库。分布式锁的主要特性:互斥:同一时刻只能有一个线程获得锁。可重入:当一个线程获取锁后,还可以再次获取这个锁,避免死锁发生。高可用:当

    2022年9月8日
    0
  • 安装程序遇到错误0x800f0905_程序运行时黑屏退出

    安装程序遇到错误0x800f0905_程序运行时黑屏退出问题属于环境问题,关闭杀毒软件,重新检查计算机环境。

    2022年9月24日
    0

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号