講師回答 / 徐老師
針對你提的這個疑問：【如果集群規(guī)模比較大時，要在每一個節(jié)點上面啟動 jobhistorysever豈不是很麻煩？】在生產(chǎn)環(huán)境下搭建大數(shù)據(jù)集群的時候，建議使用CDH或者HDP進行搭建，方便運維管理，主需要通過頁面操作就可以實現(xiàn)hadoop集群的搭建，這些進程也都會自動啟動，不需要單獨手工操作。
2020-10-26
講師回答 / 徐老師
針對你說的這種場景，會出現(xiàn)這種結(jié)果：有2個節(jié)點讀取本地節(jié)點中的數(shù)據(jù)進行本地計算，另外2個節(jié)點上沒有數(shù)據(jù)的，則會跨節(jié)點拉取數(shù)據(jù)進行計算。默認情況下會優(yōu)先讀取本節(jié)點的數(shù)據(jù)，這是最優(yōu)的策略，如果由于各種原因無法滿足這種策略，會退而求其次，進行跨節(jié)點數(shù)據(jù)傳輸
2020-10-26
講師回答 / 徐老師
官網(wǎng)下載地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz
2020-09-09
已采納回答 / 徐老師
你現(xiàn)在的情況是hdfs的服務(wù)都起來了，所以訪問192.168.100.10:9870是可以的而NodeManager 和 ResourceManager進程沒起來，說明YARN服務(wù)沒有起來，應(yīng)該是YARN的相關(guān)配置文件修改的有問題你在啟動的時候控制臺有沒有顯示錯誤問題？如果沒有的話到hadoop的logs目錄下(/data/hadoop_repo/logs/hadoop這個目錄下)看一下這個日志hadoop-root-resourcemanager-bigdata01.log，這里面會顯示Resource...
2020-07-20
講師回答 / 徐老師
sqoop1.4.7 下載地址? 請查收?https://downloads.apache.org/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
2020-07-09
講師回答 / 徐老師
一般出現(xiàn)這種情況是因為依賴包沒有下載成功，你可以到你本地的maven倉庫中確認一下對應(yīng)的jar包是否成功下載或者嘗試重新強制下載依賴，使用命令 mvn clean compile
2020-06-24
講師回答 / 徐老師
我之前寫的有一篇博客講如何在docker中安裝hadoop集群，是16年的時候?qū)懙?，hadooop的版本用的是2.4的，你可以參考下，最近我抽時間看看最新版本的再寫一篇博客https://blog.csdn.net/xu470438000/article/details/50512442
2020-06-21
