py文件路徑問題
/***/hadoop jar /usr/***/hadoop-streaming-2.6.0-cdh5.7.0.jar -files "hdfs_map.py,hdfs_reduce.py"? -input /tmp/test.txt -output /tmp/test/wordCount? -mapper "/***/python hdfs_map.py" -files? -reducer "/***/python? hdfs_reduce.py"
這里老師說的把py文件提交到hadoop里,這個過程在哪里呢?如果沒有的話,hadoop怎么知道這命令里的py文件的路徑呢?
另外,老師可以詳細講解一下這條命令嗎?
2017-12-22
是這樣的,你也復(fù)制了命令出來,你應(yīng)該有看到命令里面的-mapper? 和-reducer參數(shù),這兩個參數(shù)的值就是Python程序的路徑。??? 整個命令的含義就是啟動一個mapreduce任務(wù),在執(zhí)行命令的時候需要一些參數(shù),比如指定我們的輸入輸出,指定我們自己編寫的mapreduce程序等等。??? 可以查看相關(guān)命令的幫助獲取詳細信息
2017-12-21
具體什么問題呢?