最贊回答 / 不看6324不混吃等死
解決就是全局緩存,沒有設(shè)置為絕對路徑private static String cache = "/matrix/step1_output/part-r-00000"
2019-07-13
最新回答 / 陸米
懶不死你1? ? ? ?1_1,2_2,3_-2,4_02? ? ? ?1_3,2_3,3_4,4_-33? ? ? ?1_-2,2_0,3_2,4_34? ? ? ?1_5,2_3,3_-1,4_25? ? ? ?1_-4,2_2,3_0,4_2
2018-12-19
最新回答 / qq_世人如此功利_0
不是的,Combine在Shuffle之前Combine:在Map階段,當(dāng)所有數(shù)據(jù)處理完成后,Map Task對所有臨時文件進(jìn)行一次合并Shuffle:也稱Copy階段。Reduce Task從各個Map Task上遠(yuǎn)程復(fù)制一片數(shù)據(jù),并針對某一片數(shù)據(jù)進(jìn)行判斷,如果其大小超過一定閥值,則寫到磁盤上,否則直接放入內(nèi)存中
2018-12-13