其實(shí)可以直接本地調(diào)試的,對(duì)于新手來(lái)說(shuō)友好一點(diǎn),配置連接hadoop服務(wù)器的環(huán)境能折騰死新手
https://www.polarxiong.com/archives/Hadoop-Intellij%E7%BB%93%E5%90%88Maven%E6%9C%AC%E5%9C%B0%E8%BF%90%E8%A1%8C%E5%92%8C%E8%B0%83%E8%AF%95MapReduce%E7%A8%8B%E5%BA%8F-%E6%97%A0%E9%9C%80%E6%90%AD%E8%BD%BDHadoop%E5%92%8CHDFS%E7%8E%AF%E5%A2%83.html
https://www.polarxiong.com/archives/Hadoop-Intellij%E7%BB%93%E5%90%88Maven%E6%9C%AC%E5%9C%B0%E8%BF%90%E8%A1%8C%E5%92%8C%E8%B0%83%E8%AF%95MapReduce%E7%A8%8B%E5%BA%8F-%E6%97%A0%E9%9C%80%E6%90%AD%E8%BD%BDHadoop%E5%92%8CHDFS%E7%8E%AF%E5%A2%83.html
2019-05-21
Hadoop 1.2.1版本
private static String cache = "/ItemCF/step1_output1/part-r-00000.txt";
DistributedCache.addCacheFile(new URI("/ItemCF/step1_output1/part-r-00000#itemUserScore1"),conf);
private static String cache = "/ItemCF/step1_output1/part-r-00000.txt";
DistributedCache.addCacheFile(new URI("/ItemCF/step1_output1/part-r-00000#itemUserScore1"),conf);
2019-04-30
Mapper2步驟的時(shí)候有一些小問(wèn)題,進(jìn)行相似度分母計(jì)算時(shí),按照下劃線分割后進(jìn)行分值相乘的數(shù)據(jù)應(yīng)該是位置為1的數(shù)據(jù)。
2019-02-17
reduce的合并是無(wú)序的吧,所以這個(gè)合并的結(jié)果也是錯(cuò)的吧,可能后邊會(huì)再排序?
【矩陣轉(zhuǎn)置操作】設(shè)A為m×n階矩陣(即m行n列),第i 行j 列的元素是a(i,j),即:A=a(i,j),定義A的轉(zhuǎn)置為這樣一個(gè)n×m階矩陣B,滿足B=a(j,i),即 b (i,j)=a(j,i)(B的第i行第j列元素是A的第j行第i列元素),記A'=B。(有些書記為AT=B,這里T為A的上標(biāo))
【矩陣轉(zhuǎn)置操作】設(shè)A為m×n階矩陣(即m行n列),第i 行j 列的元素是a(i,j),即:A=a(i,j),定義A的轉(zhuǎn)置為這樣一個(gè)n×m階矩陣B,滿足B=a(j,i),即 b (i,j)=a(j,i)(B的第i行第j列元素是A的第j行第i列元素),記A'=B。(有些書記為AT=B,這里T為A的上標(biāo))
2018-12-22
代碼: https://github.com/SkillyZ/java-spring/tree/master/skilly-hadoop/src/main/java/com/skilly/bigdata/matrix
2018-12-19
https://github.com/SkillyZ/java-spring/tree/master/skilly-hadoop 代碼
2018-12-19
mdzz 說(shuō)用二維數(shù)組實(shí)現(xiàn)的那個(gè),你懂這個(gè)教程的意義了嗎。
2018-12-19
所謂的wordcount從詞面意思直接理解就是對(duì)一個(gè)單詞出現(xiàn)的次數(shù)進(jìn)行統(tǒng)計(jì),首先使用split將單詞給分好行,然后用map方法做一個(gè)統(tǒng)計(jì),接下來(lái)shuffle就是把相同的單詞放在一起,最后的reduce就是同一個(gè)單詞出現(xiàn)的總數(shù)
2018-11-28