老師講的非常好,不過需要各位有基礎(chǔ),等大家把矩陣相乘學完,再對比這個圖,能夠清晰的講解出map-shuffle-reduce對應(yīng)的區(qū)段,以及顏色塊內(nèi)對應(yīng)的鍵值對的集合,那就學到了!我也是回頭反過來才一一對應(yīng)起來的。
2018-03-15
看到后面的又反過來看前面,才開始明白,map實際代碼只用處理一行,而且可以重復寫相同的key,比如<1,Deer Bear Deer><2,Deer Bear Car>,map實際代碼寫的時候只需要處理<1,Deer Bear Deer>,并且可以寫兩次context.write("Deer", 1);也就是這個map在寫的時候,實際上代碼是context.write("Deer", 1);context.write("Bear", 1);context.write("Deer", 1);
2018-03-15
其實我覺得完全可以用二位 數(shù)組來實現(xiàn),沒必要搞這么麻煩,但是作為一個教程倒是不錯,學到了很多
2018-03-15
我實際操作的時候碰到了一個\tmp permission 0700的錯誤,這個是hadoop在Windows系統(tǒng) 的bug,但是我又沒辦法去編譯hadoop-core-xx.jar,所以我修改了下代碼的這個部分private static String hdfs = "hdfs://10.187.213.237:9000";,然后編譯好jar放到linux上面去,執(zhí)行hadoop jar Matrix-0.0.1-SNAPSHOT.jar,最后也能成功,希望給大家一個參考
2018-03-15
job.setCacheFiles(new URI[]{new Path("/20180312/cache_for_111.txt#cache111").toUri()});
2018-03-13