HDFS与其他并行文件系统的对比

这篇文章主要讲解了“HDFS与其他并行文件系统的对比”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“HDFS与其他并行文件系统的对比”吧！

为仙游等地区用户提供了全套网页设计制作服务，及仙游网站建设行业解决方案。主营业务为网站制作、成都做网站、仙游网站设计，以传统方式定制建设网站，并提供域名空间备案等一条龙服务，秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求，就会得到认可，从而选择与我们长期合作。这样，我们也可以走得更远！

HDFS作为一种新兴的并行文件系统，和现有的分布式文件系统相似，他们都是运行在普通硬件之上的分布式文件系统，然而HDFS与其他分布式文件系统也存在着一些差别。如HDFS具有高容错性，可以部署在低成本的硬件之上，同时放松了对POSIX的需求，使其可以以流的形式访问文件数据，非常适合大数据集的应用程序。分析研究HDFS与其他并行文件系统的相同点和不同点，能够深入了解HDFS系统的应用场景和设计理念。
（1）访问的透明性，用户能通过相同操作来访问本地文件和远程文件。HDFS可以做到这一点，但如果HDFS设置成本地文件系统，而不是分布式，那么HDFS的应用程序可以直接读写本地文件，只需要修改配置文件。可见，HDFS提供的访问透明性是不完全的，毕竟它构建于java之上，不能像NFS和Lustre那样去修改Unix内核，同时将本地文件和远程文件以一致地方式处理。
（2）并发控制，客户端对文件的读写不应该影响其他客户端对同一个文件的读写。要想实现这种单个文件拷贝语义，分布式文件系统需要做出复杂的交互，例如采用时间戳、采用互斥、原子操作等。而HDFS采用的机制非常简单，任何时间都只允许一个客户端进行写操作。当客户端需要写文件时，会对这个文件申请一个租约，只有这个租约被释放，别的客户端才能申请对这个文件的写操作。文件经创建并写入关闭之后不再改变，它的模型是“Write-Once-Read-Many”。
（3）资源移动策略，HDFS支持“移动计算到数据”。若一个Map任务是对某个数据块的操作，则这个操作必定是在存储这个数据块的节点上完成的，同时HDFS支持数据的多副本（默认为3个副本），存储任一副本的节点都可以执行Map任务的操作，JobTracker会把任务分配给距离客户端最近的，且存有副本的节点。
通过上面三方面的比较，可以深入的理解HDFS的优点和缺点，以及HDFS的设计应用场景。对于追求海量数据的高吞吐量、批量处理任务HDFS无疑能发挥巨大的威力，但是对文件的随机读写却并不适合。同时，HDFS也不适合对低延时访问、大量小文件的存储及处理。

感谢各位的阅读，以上就是“HDFS与其他并行文件系统的对比”的内容了，经过本文的学习后，相信大家对HDFS与其他并行文件系统的对比这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是创新互联，小编将为大家推送更多相关知识点的文章，欢迎关注！

网站标题：HDFS与其他并行文件系统的对比
本文路径：http://kswjz.com/article/ieigpc.html

扫二维码与项目经理沟通

我们在微信上24小时期待你的声音

解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流

HDFS与其他并行文件系统的对比

扫二维码与项目经理沟通

其他资讯

行业动态

企业网站建设的重要性！

服务项目

网站建设

移动端/APP

微信/小程序

技术支持

其它服务

更多服务项目

联系吧在百度地图上找到我们

电话：13518219792

HDFS与其他并行文件系统的对比

扫二维码与项目经理沟通

其他资讯

行业动态

企业网站建设的重要性！

服务项目

网站建设

移动端/APP

微信/小程序

技术支持

其它服务

更多服务项目

联系吧 在百度地图上找到我们

电话：13518219792

联系吧在百度地图上找到我们