nfs hdfs gfs tfs区别

发布网友发布时间：2022-04-22 09:03

共2个回答

懂视网时间：2022-05-06 09:50

续上一篇译文，集群运行在test[1-4],设置nfsserver的用户组是root，host为test1（同namenode）。版本为CDH5.2.1(Hadoop 2.5.0)。 vim /etc/hadoop/conf/core-site.xmlproperty namehadoop.proxyuser.root.groups/name valueroot/value/propertyproperty name

续上一篇译文，集群运行在test[1-4],设置nfsserver的用户组是root，host为test1（同namenode）。版本为CDH5.2.1(Hadoop 2.5.0)。

vim /etc/hadoop/conf/core-site.xml

 hadoop.proxyuser.root.groups
 root


 hadoop.proxyuser.root.hosts
 test1

#只允许所有用户只读：

 nfs.exports.allowed.hosts
 * ro

#停止原生的服务
service nfs stop
service rpcbind stop
#启动NFS服务
nohup hdfs portmap &
...
14/12/24 09:45:13 INFO portmap.Portmap: Portmap server started at tcp:///0.0.0.0:111, udp:///0.0.0.0:111
su - hdfs
hdfs nfs3
#查看服务状态
rpcinfo -p test1
 program vers proto port service
 100000 4 tcp 111 portmapper
 100000 3 tcp 111 portmapper
 100000 2 tcp 111 portmapper
 100000 4 udp 111 portmapper
 100000 3 udp 111 portmapper
 100000 2 udp 111 portmapper
 100005 1 udp 4242 mountd
 100005 2 udp 4242 mountd
 100005 3 udp 4242 mountd
 100005 1 tcp 4242 mountd
 100005 2 tcp 4242 mountd
 100005 3 tcp 4242 mountd
 100003 3 tcp 2049 nfs
#查看export目录
showmount -e test1
Export list for test1:
/ *
#挂载目录
mkdir /mnt/hdfs
mount.nfs test1:/ /mnt/hdfs -o nolock
hdfs dfs -appendToFile - /user/hive/hello.txt
hello
cat /mnt/hdfs/user/hive/hello.txt
hello

本文出自：http://debugo.com, 原文地址：http://debugo.com/hdfs-nfsop/, 感谢原作者分享。

热心网友时间：2022-05-06 06:58

nfs hdfs gfs tfs的各项区别：

nfs通过rpcbind这个服务去跟客户端通信的。NFS网络文件系统一般被用来存储共享视频，图片，附件等静态资源（一般把网站用户上传的文件都放到NFS共享里，例如BBS 产品的图片，附件，头次昂，注意网站BBS程序不要放NFS共享里）。

NFS是当前互联网系统架构中最常用的数据存储服务之一，特别是对中小型企业来讲是非常合适的一个分布式文件系统，大公司或门户除了使用NFS外，还可能会使用MFS，GFS,FASTDFS,TFS等分布式文件系统。

TFS（Taobao FileSystem）是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，其设计目标是支持海量的非结构化数据。

目前，国内自主研发的文件系统可谓凤毛麟角。淘宝在这一领域做了有效的探索和实践，Taobao File System（TFS）作为淘宝内部使用的分布式文件系统，针对海量小文件的随机读写访问性能做了特殊优化，承载着淘宝主站所有图片、商品描述等数据存储。

HDFS 参照了它所以大部分架构设计概念是类似的，比如 HDFS NameNode 相当于 GFS Master，HDFS DataNode 相当于 GFS chunkserver。

但还有些细节不同的地方，所以本文主要分析下不同的地方。

总结如下：

分布式文件系统（Distributed File System，DFS）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点（可简单的理解为一台计算机）相连；或是若干不同的逻辑磁盘分区或卷标组合在一起而形成的完整的有层次的文件系统。