第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號安全,請及時綁定郵箱和手機(jī)立即綁定

Hadoop中的Staging(客戶端緩存)機(jī)制

標(biāo)簽:
Hadoop

客户端创建文件的请求其实并没有立即发送给 NameNode,事实上,在刚开始阶段HDFS客户端会先将文件数据缓存到本地的一个临时文件。应用程序的写操作被透明地重定向到这个临时文件。当这个临时文件累积的数据量超过一个数据块的大小,客户端才会联系NameNode。
NameNode 将文件名插入文件系统的层次结构中,并且 分配一个数据块给它。然后返回 DataNode 的标识符和目标数据块给客户端。接着客 户端将这块数据从本地临时文件上传到指定的 DataNode 上。当文件关闭时,在临时文件中剩余的没有上传的数据也会传输到指定的 DataNode 上。然后客户端告诉 NameNode 文件已经关闭。此时 NameNode 才将文件创建操作提交到日志里进行存 储。如果 NameNode 在文件关闭前宕机了,则该文件将丢失。 上述方法是对在 HDFS 上运行的目标应用进行认真考虑后得到的结果。这些应用 需要进行文件的流式写入。如果不采用客户端缓存,由于网络速度和网络堵塞会对吞 估量造成比较大的影响。
这种方法并不是没有先例的,早期的文件系统,比如 AFS, 就用客户端缓存来提高性能。为了达到更高的数据上传效率,已经放松了 POSIX 标准 的要求。



作者:dpengwang
链接:https://www.jianshu.com/p/47f46bd2df7e


點擊查看更多內(nèi)容
TA 點贊

若覺得本文不錯,就分享一下吧!

評論

作者其他優(yōu)質(zhì)文章

正在加載中
  • 推薦
  • 評論
  • 收藏
  • 共同學(xué)習(xí),寫下你的評論
感謝您的支持,我會繼續(xù)努力的~
掃碼打賞,你說多少就多少
贊賞金額會直接到老師賬戶
支付方式
打開微信掃一掃,即可進(jìn)行掃碼打賞哦
今天注冊有機(jī)會得

100積分直接送

付費專欄免費學(xué)

大額優(yōu)惠券免費領(lǐng)

立即參與 放棄機(jī)會
微信客服

購課補貼
聯(lián)系客服咨詢優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動學(xué)習(xí)伙伴

公眾號

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號

舉報

0/150
提交
取消