[Java多线程实现批量下载文件,层层优化多种方案实现?]

目录

 🎄前言:

🎄代码实现:

🎄上面的Java示例代码中，每次定时器任务执行时都会创建一个新的线程来下载文件，如果文件数量较多，可能会导致线程数过多，从而影响系统性能。为了避免这种情况，可以使用线程池来管理下载线程，从而复用线程资源，提高系统性能。

🎄进一步优化上面的代码，可以考虑使用Java 8中新增的CompletableFuture类来实现异步下载文件，从而更好地利用多核CPU的性能，提高系统的并发能力。

 🎄前言:

  笔记,这个主要就是多看看实现的思路,希望对你有帮助.......

🎄代码实现:

import java.io.FileOutputStream;
import java.io.InputStream;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;
import java.util.Timer;
import java.util.TimerTask;

public class FileDownloader {
    // 定义下载任务类
    private static class DownloadTask implements Runnable {
        private String url;
        private String filename;

        public DownloadTask(String url, String filename) {
            this.url = url;
            this.filename = filename;
        }

        @Override
        public void run() {
            try {
                URL urlObj = new URL(url);
                InputStream in = urlObj.openStream();
                FileOutputStream out = new FileOutputStream(filename);
                byte[] buffer = new byte[1024];
                int length;
                while ((length = in.read(buffer)) != -1) {
                    out.write(buffer, 0, length);
                }
                in.close();
                out.close();
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    }

    // 定义定时器任务类
    private static class DownloadTimerTask extends TimerTask {
        private List<String[]> fileList;

        public DownloadTimerTask(List<String[]> fileList) {
            this.fileList = fileList;
        }

        @Override
        public void run() {
            for (String[] file : fileList) {
                // 创建下载任务并启动
                DownloadTask task = new DownloadTask(file[0], file[1]);
                Thread thread = new Thread(task);
                thread.start();
            }
        }
    }

    public static void main(String[] args) {
        // 定义要下载的文件列表
        List<String[]> fileList = new ArrayList<>();
        fileList.add(new String[]{"http://example.com/file1.txt", "file1.txt"});
        fileList.add(new String[]{"http://example.com/file2.txt", "file2.txt"});
        fileList.add(new String[]{"http://example.com/file3.txt", "file3.txt"});

        // 创建定时器并启动
        Timer timer = new Timer();
        timer.schedule(new DownloadTimerTask(fileList), 0, 60000); // 每隔60秒执行一次任务
    }
}
  • DownloadTask类用于下载文件，接受两个参数：文件的URL和保存的文件名。DownloadTimerTask类是定时器任务类，接受一个参数：要下载的文件列表。在定时器任务中，每隔一定时间就会遍历文件列表，为每个文件创建一个下载任务并启动。最后，创建定时器并启动。在本例中，定时器的间隔时间为60秒，即每隔60秒就会执行一次下载任务。
  • 使用了java.net.URL类来打开文件的URL连接，然后使用java.io.InputStream类来读取文件内容，最后使用java.io.FileOutputStream类将文件内容写入到本地文件中。
  • 在run方法中，首先使用java.net.URL类打开文件的URL连接，然后使用java.io.InputStream类读取文件内容，每次读取1024字节，直到读取完整个文件。最后，使用java.io.FileOutputStream类将文件内容写入到本地文件中，并关闭输入输出流。

🎄上面的Java示例代码中，每次定时器任务执行时都会创建一个新的线程来下载文件，如果文件数量较多，可能会导致线程数过多，从而影响系统性能。为了避免这种情况，可以使用线程池来管理下载线程，从而复用线程资源，提高系统性能。

import java.io.FileOutputStream;
import java.io.InputStream;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;
import java.util.Timer;
import java.util.TimerTask;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

public class FileDownloader {
    // 定义下载任务类
    private static class DownloadTask implements Runnable {
        private String url;
        private String filename;

        public DownloadTask(String url, String filename) {
            this.url = url;
            this.filename = filename;
        }

        @Override
        public void run() {
            try {
                URL urlObj = new URL(url);
                InputStream in = urlObj.openStream();
                FileOutputStream out = new FileOutputStream(filename);
                byte[] buffer = new byte[1024];
                int length;
                while ((length = in.read(buffer)) != -1) {
                    out.write(buffer, 0, length);
                }
                in.close();
                out.close();
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    }

    // 定义定时器任务类
    private static class DownloadTimerTask extends TimerTask {
        private List<String[]> fileList;
        private ExecutorService executorService;

        public DownloadTimerTask(List<String[]> fileList) {
            this.fileList = fileList;
            this.executorService = Executors.newFixedThreadPool(10); // 创建线程池，最多同时执行10个下载任务
        }

        @Override
        public void run() {
            for (String[] file : fileList) {
                // 提交下载任务到线程池
                DownloadTask task = new DownloadTask(file[0], file[1]);
                executorService.submit(task);
            }
        }
    }

    public static void main(String[] args) {
        // 定义要下载的文件列表
        List<String[]> fileList = new ArrayList<>();
        fileList.add(new String[]{"http://example.com/file1.txt", "file1.txt"});
        fileList.add(new String[]{"http://example.com/file2.txt", "file2.txt"});
        fileList.add(new String[]{"http://example.com/file3.txt", "file3.txt"});

        // 创建定时器并启动
        Timer timer = new Timer();
        timer.schedule(new DownloadTimerTask(fileList), 0, 60000); // 每隔60秒执行一次任务
    }
}
  • 在优化后的代码中，DownloadTimerTask类的构造函数中创建了一个线程池，最多同时执行10个下载任务。在定时器任务中，将下载任务提交到线程池中执行，从而复用线程资源，提高系统性能。

🎄进一步优化上面的代码，可以考虑使用Java 8中新增的CompletableFuture类来实现异步下载文件，从而更好地利用多核CPU的性能，提高系统的并发能力。

import java.io.FileOutputStream;
import java.io.InputStream;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;
import java.util.Timer;
import java.util.TimerTask;
import java.util.concurrent.CompletableFuture;

public class FileDownloader {
    // 定义下载任务类
    private static class DownloadTask {
        private String url;
        private String filename;

        public DownloadTask(String url, String filename) {
            this.url = url;
            this.filename = filename;
        }

        public void run() {
            try {
                URL urlObj = new URL(url);
                InputStream in = urlObj.openStream();
                FileOutputStream out = new FileOutputStream(filename);
                byte[] buffer = new byte[1024];
                int length;
                while ((length = in.read(buffer)) != -1) {
                    out.write(buffer, 0, length);
                }
                in.close();
                out.close();
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    }

    // 定义定时器任务类
    private static class DownloadTimerTask extends TimerTask {
        private List<String[]> fileList;

        public DownloadTimerTask(List<String[]> fileList) {
            this.fileList = fileList;
        }

        @Override
        public void run() {
            List<CompletableFuture<Void>> futures = new ArrayList<>();
            for (String[] file : fileList) {
                // 创建异步下载任务并启动
                CompletableFuture<Void> future = CompletableFuture.runAsync(new DownloadTask(file[0], file[1])::run);
                futures.add(future);
            }
            // 等待所有异步下载任务完成
            CompletableFuture.allOf(futures.toArray(new CompletableFuture[0])).join();
        }
    }

    public static void main(String[] args) {
        // 定义要下载的文件列表
        List<String[]> fileList = new ArrayList<>();
        fileList.add(new String[]{"http://example.com/file1.txt", "file1.txt"});
        fileList.add(new String[]{"http://example.com/file2.txt", "file2.txt"});
        fileList.add(new String[]{"http://example.com/file3.txt", "file3.txt"});

        // 创建定时器并启动
        Timer timer = new Timer();
        timer.schedule(new DownloadTimerTask(fileList), 0, 60000); // 每隔60秒执行一次任务
    }
}
  • 在进一步优化后的代码中，DownloadTask类变成了普通的类，不再实现Runnable接口。在DownloadTimerTask类中，使用CompletableFuture类创建异步下载任务，并将所有异步下载任务添加到一个列表中。然后，使用CompletableFuture.allOf方法等待所有异步下载任务完成。由于CompletableFuture类内部使用了线程池来管理异步任务，因此可以更好地利用多核CPU的性能，提高系统的并发能力。

多线程应用场景总结:

  1. 提高程序性能：多线程可以将一个任务分成多个子任务并行执行，从而提高程序的运行效率和响应速度。

  2. 处理大量数据：多线程可以同时处理大量数据，例如在数据分析、图像处理、视频编解码等领域中，多线程可以加速数据处理和计算。

  3. 并发访问：多线程可以实现并发访问，例如在Web服务器、数据库服务器等系统中，多线程可以同时处理多个请求，提高系统的并发能力和吞吐量。

  4. 交互式应用：多线程可以实现交互式应用，例如在图形界面程序、游戏等应用中，多线程可以实现用户界面和后台逻辑的并行处理，提高用户体验和程序响应速度。

  5. 实时系统：多线程可以实现实时系统，例如在航空航天、工业控制、医疗设备等领域中，多线程可以实现实时数据采集、控制和处理，保证系统的实时性和可靠性。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/32150.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

云原生时代数据治理的变革与创新

云原生时代数据治理的变革与创新

随着数字化进程的深入&#xff0c;企业对数据的依赖日益加深&#xff0c;数据资源的重要性愈发凸显。如何管好、用好数据&#xff0c;做好数据治理工作&#xff0c;发挥数据资源价值&#xff0c;成为企业提质增效过程中的重要议题。 在本次直播中&#xff0c;我们介绍了数据治…
阅读更多...
计算机网络管理- SNMP协议报文和报文格式分析，SNMP PDU分析

计算机网络管理- SNMP协议报文和报文格式分析，SNMP PDU分析

⬜⬜⬜ &#x1f430;&#x1f7e7;&#x1f7e8;&#x1f7e9;&#x1f7e6;&#x1f7ea;(*^▽^*)欢迎光临 &#x1f7e7;&#x1f7e8;&#x1f7e9;&#x1f7e6;&#x1f7ea;&#x1f430;⬜⬜⬜ ✏️write in front✏️ &#x1f4dd;个人主页&#xff1a;陈丹宇jmu &am…
阅读更多...
【MongoDB】五、MongoDB分片集群的部署

【MongoDB】五、MongoDB分片集群的部署

【MongoDB】五、MongoDB分片集群的部署 实验目的实验内容实验步骤环境准备部署 Config server配置Config Server副本集部署Shard部署mongos启动分片功能查看分片信息 实验小结 实验目的 能够通过部署MongoDB分片集群熟悉MongoDB分片集群架构和基本操作&#xff0c;从而解决大数…
阅读更多...
在spring事务中扩展业务操作；spring事务同步器TransactionSynchronizationManager

在spring事务中扩展业务操作；spring事务同步器TransactionSynchronizationManager

概述 业务上经常会有一些需求是需要在某个数据库操作事务提交之后再去操作。 我常用的就方式有TransactionalEventListener和TransactionSynchronizationManager. 其实TransactionalEventListener背后使用的也是TransactionSynchronizationManager。 注意点&#xff1a;在a…
阅读更多...
【人工智能】人工智能和双曲几何

【人工智能】人工智能和双曲几何

一、说明 作为人工智能技术的理论支撑，几何学是必不可少的；目前直接的几何技术有：计算几何--对集合体如点云处理有用；射影几何--对3d重构有用；双曲几何--在自然语言的词嵌入做基础数学模型，另外深度学习国外有双曲网络在应用。本文针对双曲几何进行探讨。 二、各种几何的…
阅读更多...
[CKA]考试之四层负载均衡service

[CKA]考试之四层负载均衡service

由于最新的CKA考试改版&#xff0c;不允许存储书签&#xff0c;本博客致力怎么一步步从官网把答案找到&#xff0c;如何修改把题做对&#xff0c;下面开始我们的 CKA之旅 题目为&#xff1a; Task 重新配置一个已经存在的front-end的deployment&#xff0c;在名字为nginx的容…
阅读更多...
gitTortoise图形化工具下载步骤

gitTortoise图形化工具下载步骤

一&#xff0c;简介 本文主要介绍如何下载安装gitTortoise图形化工具来管理和提交代码。 二&#xff0c;步骤介绍 2.1 安装包下载 下载地址&#xff1a;https://download.tortoisegit.org/tgit/ 打开后&#xff0c;界面如下&#xff1a; 点击选择最新的稳定release版本&am…
阅读更多...
【Unity3D】雾效

【Unity3D】雾效

1 前言 屏幕深度和法线纹理简介中对深度和法线纹理的来源、使用及推导过程进行了讲解&#xff0c;激光雷达特效中讲述了一种重构屏幕像素点世界坐标的方法&#xff0c;本文将介绍使用深度纹理重构屏幕像素点在相机坐标系下的坐标计算方法&#xff0c;并使用重构后的坐标模拟雾…
阅读更多...
驱动开发：基于事件同步的反向通信

驱动开发：基于事件同步的反向通信

在之前的文章中LyShark一直都在教大家如何让驱动程序与应用层进行正向通信&#xff0c;而在某些时候我们不仅仅只需要正向通信&#xff0c;也需要反向通信&#xff0c;例如杀毒软件如果驱动程序拦截到恶意操作则必须将这个请求动态的转发到应用层以此来通知用户&#xff0c;而这…
阅读更多...
多模态学习

多模态学习

什么是多模态学习&#xff1f; 模态 模态是指一些表达或感知事物的方式&#xff0c;每一种信息的来源或者形式&#xff0c;都可以称为一种模态 视频图像文本音频 多模态 多模态即是从多个模态表达或感知事物 多模态学习 从多种模态的数据中学习并且提升自身的算法 多…
阅读更多...
Nacos架构与原理 - 寻址机制

Nacos架构与原理 - 寻址机制

文章目录 前提设计MemberLookup内部实现单机寻址 StandaloneMemberLookup文件寻址 FileConfigMemberLookup地址服务器寻址 AddressServerMemberLookup 未来可扩展点 前提 Nacos 支持单机部署以及集群部署 针对单机模式&#xff0c;Nacos 只是自己和自己通信&#xff1b;对于集…
阅读更多...
关系数据库SQL数据查询

关系数据库SQL数据查询

关系数据库SQL数据查询 数据查询 一、单表查询 1.查询仅涉及一个表&#xff0c;选择表中的若干列 [例1] 查询全体学生的学号与姓名。SELECT Sno,SnameFROM Student; [例2] 查询全体学生的姓名、学号、所在系。SELECT Sname,Sno,SdeptFROM Student;查询全部列 选出所有属…
阅读更多...
文件系统考古 3：1994 - The SGI XFS Filesystem

文件系统考古 3：1994 - The SGI XFS Filesystem

在 1994 年&#xff0c;论文《XFS 文件系统的可扩展性》发表了。自 1984 年以来&#xff0c;计算机的发展速度变得更快&#xff0c;存储容量也增加了。值得注意的是&#xff0c;在这个时期出现了更多配备多个 CPU 的计算机&#xff0c;并且存储容量已经达到了 TB 级别。对于这些…
阅读更多...
机器学习实践(1.2)XGBoost回归任务

机器学习实践(1.2)XGBoost回归任务

前言 XGBoost属于Boosting集成学习模型&#xff0c;由华盛顿大学陈天齐博士提出&#xff0c;因在机器学习挑战赛中大放异彩而被业界所熟知。相比越来越流行的深度神经网络&#xff0c;XGBoost能更好的处理表格数据&#xff0c;并具有更强的可解释性&#xff0c;还具有易于调参…
阅读更多...
SpringCloud微服务（二）网关GateWay、Docker、Dockerfile、Linux操作超详细

SpringCloud微服务（二）网关GateWay、Docker、Dockerfile、Linux操作超详细

目录 统一网关GateWay 搭建网关服务的步骤 1、引入依赖 2、编写路由配置及nacos地址 路由断言工厂Route Oredicate Factory 路由过滤器配置 全局过滤器GlobalFilter 过滤器执行顺序 跨域问题处理 Docker ​编辑 Docker与虚拟机 镜像和容器 Docker的安装 启动docke…
阅读更多...
MSP432学习笔记11：定时器A的结构\基地址\函数汇总理解

MSP432学习笔记11：定时器A的结构\基地址\函数汇总理解

今日得以继续我的电赛MSP432学习之路&#xff1a;所用开发板MSP432P401R 定时器是任何单片机开发板十分重要的模块&#xff0c;在几日的学习使用过程中&#xff0c;本人也对其使用原理等产生过许多疑问&#xff0c;他究竟是怎么存储计数值、捕获值的&#xff1f;一个定时器四个…
阅读更多...
8.2 电压比较器（1）

8.2 电压比较器（1）

电压比较器是对输入信号进行鉴幅与比较的电路&#xff0c;是组成非正弦波发生电路的基本单元电路&#xff0c;在测量和控制中有着相当广泛的应用。 一、概述 1、电压比较器的电压传输特性 电压比较器的输出电压 u O u_{\scriptscriptstyle O} uO​ 与输入电压 u I u_{\scr…
阅读更多...
网络层：虚拟专用网VPN和网络地址转换NAT

网络层：虚拟专用网VPN和网络地址转换NAT

1.网络层&#xff1a;虚拟专用网VPN和网络地址转换NAT 笔记来源&#xff1a; 湖科大教书匠&#xff1a;虚拟专用网VPN和网络地址转换NAT 声明&#xff1a;该学习笔记来自湖科大教书匠&#xff0c;笔记仅做学习参考 1.1 虚拟专用网VPN 专用网和公用网的特点 专用网络&#xff…
阅读更多...
Springboot集成magic-api

Springboot集成magic-api

目录 1、前言 2、springboot集成magic-api 2.1、添加maven依赖 2.2、application.yml配置 2.3、编写测试接口 2.4、启动程序&#xff0c;访问接口 2.5、magic-api脚本 3、magic-api其他语法 4、注意事项 1、前言 今天项目中遇到一个问题&#xff0c;springboot后端项目…
阅读更多...
探索ChatGPT：了解语言模型在对话系统中的应用

探索ChatGPT：了解语言模型在对话系统中的应用

第一章&#xff1a;引言 在当今数字化时代&#xff0c;人工智能技术的迅猛发展使得对话系统成为一个备受关注的领域。随着语言模型的进步&#xff0c;像ChatGPT这样的模型正在改变我们与计算机进行交流的方式。本文将探索ChatGPT作为一种语言模型在对话系统中的应用&#xff0…
阅读更多...
最新文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发 尧图建网站