关于DataNode的运行机制和副本规则
DataNode的一些笔记。
A、DataNode默认的三个副本的创建规则
1,首先,先在本机创建一个副本2,再在另外一个机架上存放一个副本
3,再在本机所在的机架上存放一个副本
B、副本数量的配置优先级
1,服务端 hdfs-site.xml 可以配置
2,在客户端指定dfs.replication的值
客户端所指的值优先级更高,因为你是客户端传输数据
C、DataNode定期向NemaNode回报存储的blocl信息
虽然元数据的确是在NameNode上,但是难免会发生DataNode上的数据会发生变化,如损坏或移动、丢失等,所以需要定期向NameNode发送数据已确保数据的保证性
D、心跳机制
发送数据,以确保DataNode和NameNode通信正常
爆款云服务器s6 2核4G 低至0.46/天,具体规则查看活动详情