首页 > 《中国科技信息》 > 2023年9期 > 面向大规模数据处理的分布式机器学习框架设计与实现

面向大规模数据处理的分布式机器学习框架设计与实现

在线阅读下载PDF 导出详情

摘要摘要: 本论文提出了一种面向大规模数据处理的分布式机器学习框架的设计与实现方法。该框架旨在解决在处理大规模数据时面临的计算和存储问题。通过将机器学习任务分布到多台计算节点上进行并行计算，并使用分布式存储系统存储数据，可以显著提高大规模数据处理的效率和性能。该框架采用了分布式数据并行和模型并行的策略，同时引入了任务调度和数据传输优化机制，以提高系统的整体性能。实验结果表明，所提出的框架在大规模数据处理任务中表现出了较好的性能和可扩展性。

DOI g4qm25prd8/7384024

作者张伟

机构地区中煤航测遥感集团有限公司

出处《中国科技信息》 2023年9期

关键词分布式机器学习大规模数据处理并行计算分布式存储性能优化

分类 [][]

出版日期 2023年07月20日（中国期刊网平台首次上网日期，不代表论文的发表时间）

相关文献

1宋志超. 面向大规模数据处理的分布式计算与协同处理研究.产业经济,2023-11.
2宋志超. 面向大规模数据处理的分布式计算与协同处理研究.,2023-11.
3全海清. 基于云计算的分布式处理与大规模数据分析技术研究.建筑理论,2024-01.
4冯天宇. 基于云计算的大规模数据处理与分析技术研究.,2023-06.
5李兴来，王永章，白明，刘永彬. 大规模数据中心监控数据并发处理.医药卫生,2018-07.
6向守超. 分布式大数据处理与分析系统优化研究.建筑技术科学,2024-04.
7赵军锋;庄怀东;赵亮;杜庆伟. 大规模数据并发环境下视频监控系统的研究与实现.道路与铁道工程,2016-06.
8齐晓堋. 面向大数据的分布式计算框架性能优化与并行算法设计.教育学,2024-03.
9李娟,. 分布式计算在大数据处理中的应用.建筑技术科学,2023-09.
10郑芙蓉. 分布式数据采集传输系统设计与实现.建筑设计及理论,2019-06.

来源期刊

中国科技信息

中国科技信息

相关推荐

同分类资源更多

相关关键词

分布式机器学习大规模数据处理并行计算分布式存储性能优化

返回顶部