博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
存储 HDFS内部运行原理
阅读量:2139 次
发布时间:2019-04-30

本文共 433 字,大约阅读时间需要 1 分钟。

一丶存储 HDFS内部运行原理

我现在在操作着客户端上传文件,现在我需要启动HDFS来去上传,我输入我上传文件的命令,这个时候客户端向NameNode发出信号,然后NameNode将元数据(存储着一个文件块的大小,默认的副本数,和DataNode的数量)发回给我这个上传文件的客户端,紧接着会将我要发的文件切成元数据标准的块数,然后将分成的文件块(依照NameNode元数据中的DataNode信息)按照默认值(可以设置)依次放入三个DataName中,同时依次将放入成功的信息返回(这样下一个文件块才能放入),直到文件块最后输完。文件上传成功。

在DNFS中还有一个RPC心跳机制,可以动态的将DataNode的状态发给NameNode,如果出现宕机的情况,这个时候NameNode就会调整文件块上传的DataNode。(DataNode可以看作是很多台电脑,NameNode也是一台电脑但是他是中断处理机管理着下属的NamaNode)。

在这里插入图片描述

在这里插入图片描述
比较浅薄的认识,望斧正。

转载地址:http://vipgf.baihongyu.com/

你可能感兴趣的文章
阿里云《云原生》公开课笔记 第六章 应用编排与管理:Deployment
查看>>
阿里云《云原生》公开课笔记 第七章 应用编排与管理:Job和DaemonSet
查看>>
阿里云《云原生》公开课笔记 第八章 应用配置管理
查看>>
阿里云《云原生》公开课笔记 第九章 应用存储和持久化数据卷:核心知识
查看>>
linux系统 阿里云源
查看>>
国内外helm源记录
查看>>
牛客网题目1:最大数
查看>>
散落人间知识点记录one
查看>>
Leetcode C++ 随手刷 547.朋友圈
查看>>
手抄笔记:深入理解linux内核-1
查看>>
内存堆与栈
查看>>
Leetcode C++《每日一题》20200621 124.二叉树的最大路径和
查看>>
Leetcode C++《每日一题》20200622 面试题 16.18. 模式匹配
查看>>
Leetcode C++《每日一题》20200625 139. 单词拆分
查看>>
Leetcode C++《每日一题》20200626 338. 比特位计数
查看>>
Leetcode C++ 《拓扑排序-1》20200626 207.课程表
查看>>
Go语言学习Part1:包、变量和函数
查看>>
Go语言学习Part2:流程控制语句:for、if、else、switch 和 defer
查看>>
Go语言学习Part3:struct、slice和映射
查看>>
Go语言学习Part4-1:方法和接口
查看>>