基于大数据技术的分布式文件系统设计与实现

艳茹 刘(山西应用科技学院，中国)

摘要

在大数据时代背景下，传统的集中式文件系统已无法满足处理海量数据的需求，因此研究及实现分布式文件系统显得越来越必要。论文首先对分布式文件系统的发展背景和当前技术要求进行分析，并对大数据处理过程中涉及的核心技术进行了研究。接着，运用大数据处理技术如HDFS和MapReduce作为主要工具，设计了一种面向大数据的分布式文件系统。系统包括了分布式存储和并行计算两大部分，并对常见的IoT设备接入和数据存储进行了优化。实验证明，相较于传统的集中式文件系统，该分布式文件系统在处理大数据环境下的实时分析和查询等任务具有更高的效率和扩展性。

关键词

大数据技术；分布式文件系统；HDFS；MapReduce；物联网设备连接

参考

陈行滨,王周,郑飘飘,等.基于分布式文件系统电力大数据存储实现[J].粘接,2022(6).

刘军,冷芳玲,李世奇,等.基于HDFS的分布式文件系统[J].东北大学学报:自然科学版,2019,40(6).

张海涛,张文娟.基于大数据的分布式文件系统技术研究[J].电子测试,2019,30(4).

DOI: http://dx.doi.org/10.12345/bdai.v5i5.18049