老師你好，想問一下數(shù)據(jù)源問題
老師，有一點(diǎn)說的很模糊，就是數(shù)據(jù)源的問題。 你說數(shù)據(jù)源來自HDFS，中間結(jié)果寫的硬盤，最后結(jié)果又輸出到HDFS中去？
謝謝。
wonderq_ubuntu
2016-02-15
4 回答
舉報(bào)
0/150
提交
取消
2020-03-14
我認(rèn)為是這樣的：就好比我們在客戶端執(zhí)行寫入數(shù)據(jù)一樣，數(shù)據(jù)來源于hdfs，然后計(jì)算的結(jié)果會(huì)先保存在本地磁盤并且進(jìn)行分塊操作，然后再根據(jù)namenode返回回來的映射關(guān)系，將本地的臨時(shí)數(shù)據(jù)寫入對應(yīng)的datanode，而datanode就屬于hdfs的一部分；
不知對不對?
2018-06-17
hdfs是存儲(chǔ)讀取的上層IO界面，它的底層介質(zhì)肯定可以是硬盤，也可以flash，也可以是網(wǎng)絡(luò)存儲(chǔ)。
2016-02-15
就是一個(gè)基于硬盤的存儲(chǔ)文件的文件系統(tǒng)
2016-02-15
我覺得hdfs就是硬盤吧，，，硬盤本來是存儲(chǔ)的，，，hdfs就相當(dāng)于是基于硬盤上的一個(gè)文件夾的東西，，，但不是文件夾哈