linux下怎么知道hadoop安裝成功
請問一下在linux下怎么知道hadoop安裝成功?
阿波羅的戰(zhàn)車
2019-09-09 14:10:56
TA貢獻1803條經(jīng)驗 獲得超6個贊
怎么計算處理數(shù)據(jù)?
對于前者,你可以使用hbase或者hive作為數(shù)據(jù)存儲,當然你也可以使用hadoop自己的分布式存儲系統(tǒng)hdfs,不過hbase和hive可以提供給你數(shù)據(jù)庫類的結(jié)構(gòu)存儲,更方便操作。
對于后者,你可以使用hadoop自己的計算框架Map-Reduce,這里無所謂數(shù)據(jù)存儲在哪,你可以使用MR計算處理離線數(shù)據(jù);如果使用hive,也可以使用hive的hql直接以sql方式進行統(tǒng)計計算離線數(shù)據(jù)線;也可以使用storm等處理實時數(shù)據(jù)流。當然以上幾種計算,用Spark一樣可以處理,這也是一個相當于MR這個等級的計算框架。
舉報