第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號(hào)安全,請(qǐng)及時(shí)綁定郵箱和手機(jī)立即綁定

Hadoop進(jìn)階

mooc小牧 JAVA開(kāi)發(fā)工程師
難度中級(jí)
時(shí)長(zhǎng) 3小時(shí) 3分
學(xué)習(xí)人數(shù)
綜合評(píng)分9.77
31人評(píng)價(jià) 查看評(píng)價(jià)
9.9 內(nèi)容實(shí)用
9.5 簡(jiǎn)潔易懂
9.9 邏輯清晰
在Shuffle(洗牌)階段,key如果是字母會(huì)自動(dòng)根據(jù)字典的順序進(jìn)行排序,如果是數(shù)字則升序。
請(qǐng)問(wèn)分片是怎么分的,按文件內(nèi)容還是二進(jìn)制?
map3的時(shí)候轉(zhuǎn)出來(lái)的是反的,不過(guò)沒(méi)有影響
老師講的非常好,不過(guò)需要各位有基礎(chǔ),等大家把矩陣相乘學(xué)完,再對(duì)比這個(gè)圖,能夠清晰的講解出map-shuffle-reduce對(duì)應(yīng)的區(qū)段,以及顏色塊內(nèi)對(duì)應(yīng)的鍵值對(duì)的集合,那就學(xué)到了!我也是回頭反過(guò)來(lái)才一一對(duì)應(yīng)起來(lái)的。
看到后面的又反過(guò)來(lái)看前面,才開(kāi)始明白,map實(shí)際代碼只用處理一行,而且可以重復(fù)寫(xiě)相同的key,比如<1,Deer Bear Deer><2,Deer Bear Car>,map實(shí)際代碼寫(xiě)的時(shí)候只需要處理<1,Deer Bear Deer>,并且可以寫(xiě)兩次context.write("Deer", 1);也就是這個(gè)map在寫(xiě)的時(shí)候,實(shí)際上代碼是context.write("Deer", 1);context.write("Bear", 1);context.write("Deer", 1);
其實(shí)我覺(jué)得完全可以用二位 數(shù)組來(lái)實(shí)現(xiàn),沒(méi)必要搞這么麻煩,但是作為一個(gè)教程倒是不錯(cuò),學(xué)到了很多
我實(shí)際操作的時(shí)候碰到了一個(gè)\tmp permission 0700的錯(cuò)誤,這個(gè)是hadoop在Windows系統(tǒng) 的bug,但是我又沒(méi)辦法去編譯hadoop-core-xx.jar,所以我修改了下代碼的這個(gè)部分private static String hdfs = "hdfs://10.187.213.237:9000";,然后編譯好jar放到linux上面去,執(zhí)行hadoop jar Matrix-0.0.1-SNAPSHOT.jar,最后也能成功,希望給大家一個(gè)參考
其實(shí)很好,但是很多沒(méi)有講,至少你需要配置好hadoop,hadoop連接eclipse
job.setCacheFiles(new URI[]{new Path("/20180312/cache_for_111.txt#cache111").toUri()});
不吹不黑,講得真不賴(lài),可得好好學(xué)!
課程須知
1、在學(xué)習(xí)本課程之前,需要學(xué)習(xí)hadoop課程基礎(chǔ)篇,即掌握MapReduce作業(yè)的基本步驟。 2、需要掌握線性代數(shù)、向量等的基本數(shù)學(xué)知識(shí)
老師告訴你能學(xué)到什么?
1、hadoop新舊版本的基本架構(gòu) 2、mapreduce作業(yè)的內(nèi)部原理 3、mapreduce作業(yè)重要參數(shù)的調(diào)優(yōu) 4、利用hadoop緩存實(shí)現(xiàn)矩陣相乘 5、簡(jiǎn)單的推薦算法

微信掃碼,參與3人拼團(tuán)

微信客服

購(gòu)課補(bǔ)貼
聯(lián)系客服咨詢(xún)優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動(dòng)學(xué)習(xí)伙伴

公眾號(hào)

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號(hào)

友情提示:

您好,此課程屬于遷移課程,您已購(gòu)買(mǎi)該課程,無(wú)需重復(fù)購(gòu)買(mǎi),感謝您對(duì)慕課網(wǎng)的支持!

本次提問(wèn)將花費(fèi)2個(gè)積分

你的積分不足,無(wú)法發(fā)表

為什么扣積分?

本次提問(wèn)將花費(fèi)2個(gè)積分

繼續(xù)發(fā)表請(qǐng)點(diǎn)擊 "確定"

為什么扣積分?

舉報(bào)

0/150
提交
取消