在Shuffle(洗牌)階段,key如果是字母會(huì)自動(dòng)根據(jù)字典的順序進(jìn)行排序,如果是數(shù)字則升序。
2018-03-28
老師講的非常好,不過(guò)需要各位有基礎(chǔ),等大家把矩陣相乘學(xué)完,再對(duì)比這個(gè)圖,能夠清晰的講解出map-shuffle-reduce對(duì)應(yīng)的區(qū)段,以及顏色塊內(nèi)對(duì)應(yīng)的鍵值對(duì)的集合,那就學(xué)到了!我也是回頭反過(guò)來(lái)才一一對(duì)應(yīng)起來(lái)的。
2018-03-15
看到后面的又反過(guò)來(lái)看前面,才開(kāi)始明白,map實(shí)際代碼只用處理一行,而且可以重復(fù)寫(xiě)相同的key,比如<1,Deer Bear Deer><2,Deer Bear Car>,map實(shí)際代碼寫(xiě)的時(shí)候只需要處理<1,Deer Bear Deer>,并且可以寫(xiě)兩次context.write("Deer", 1);也就是這個(gè)map在寫(xiě)的時(shí)候,實(shí)際上代碼是context.write("Deer", 1);context.write("Bear", 1);context.write("Deer", 1);
2018-03-15
其實(shí)我覺(jué)得完全可以用二位 數(shù)組來(lái)實(shí)現(xiàn),沒(méi)必要搞這么麻煩,但是作為一個(gè)教程倒是不錯(cuò),學(xué)到了很多
2018-03-15
我實(shí)際操作的時(shí)候碰到了一個(gè)\tmp permission 0700的錯(cuò)誤,這個(gè)是hadoop在Windows系統(tǒng) 的bug,但是我又沒(méi)辦法去編譯hadoop-core-xx.jar,所以我修改了下代碼的這個(gè)部分private static String hdfs = "hdfs://10.187.213.237:9000";,然后編譯好jar放到linux上面去,執(zhí)行hadoop jar Matrix-0.0.1-SNAPSHOT.jar,最后也能成功,希望給大家一個(gè)參考
2018-03-15
其實(shí)很好,但是很多沒(méi)有講,至少你需要配置好hadoop,hadoop連接eclipse
2018-03-15
job.setCacheFiles(new URI[]{new Path("/20180312/cache_for_111.txt#cache111").toUri()});
2018-03-13