hadoop 1.2.1版本,代碼如下:
DistributedCache.addCacheFile(new URI(uriWithLink), conf);
在eclipse下運行,提示:
WARN mapred.LocalJobRunner: LocalJobRunner does not support symlinking into current working dir.
DistributedCache.addCacheFile(new URI(uriWithLink), conf);
在eclipse下運行,提示:
WARN mapred.LocalJobRunner: LocalJobRunner does not support symlinking into current working dir.
2017-10-20
代碼已寫好 繼續(xù)補(bǔ)充
https://github.com/HbnKing/interview/blob/master/src/main/java/com/interview/bigdata/mapreduce/Demo2_DstributeMemory.java
https://github.com/HbnKing/interview/blob/master/src/main/java/com/interview/bigdata/mapreduce/Demo2_DstributeMemory.java
2017-10-19
代碼已寫好 繼續(xù)補(bǔ)充
https://github.com/HbnKing/interview/blob/master/src/main/java/com/interview/bigdata/mapreduce/Demo2_DstributeMemory.java
https://github.com/HbnKing/interview/blob/master/src/main/java/com/interview/bigdata/mapreduce/Demo2_DstributeMemory.java
2017-10-19
按照您的代碼,執(zhí)行報錯,錯誤如下:
java.io.FileNotFoundException: matrix2 (拒絕訪問。)
提示在緩存目錄中沒有找到matrix2
解決方法是把
private static String cache = "/matrix/step1_output";
改為
private static String cache = "/matrix/step1_output/part-r-00000";
這樣讓路徑直接找輸出矩陣所在的文件,它的別名才起作用。
希望能幫到后面學(xué)習(xí)的小伙伴!
java.io.FileNotFoundException: matrix2 (拒絕訪問。)
提示在緩存目錄中沒有找到matrix2
解決方法是把
private static String cache = "/matrix/step1_output";
改為
private static String cache = "/matrix/step1_output/part-r-00000";
這樣讓路徑直接找輸出矩陣所在的文件,它的別名才起作用。
希望能幫到后面學(xué)習(xí)的小伙伴!
2017-10-13
我記得配置文件有7個,hadoop-env.sh和yarn-env.sh里面配置jdk環(huán)境變量,core-site.xml配置核心組件,
hdfs-site.xml配置文件系統(tǒng),yarn-site.xml配置文件系統(tǒng),mapred-site.xml配置計算框架,還有一個slaves里面寫從節(jié)點的主機(jī)名
hdfs-site.xml配置文件系統(tǒng),yarn-site.xml配置文件系統(tǒng),mapred-site.xml配置計算框架,還有一個slaves里面寫從節(jié)點的主機(jī)名
2017-09-29