講師回答 / 徐老師
針對(duì)你提的這個(gè)疑問(wèn)：【如果集群規(guī)模比較大時(shí)，要在每一個(gè)節(jié)點(diǎn)上面啟動(dòng) jobhistorysever豈不是很麻煩？】在生產(chǎn)環(huán)境下搭建大數(shù)據(jù)集群的時(shí)候，建議使用CDH或者HDP進(jìn)行搭建，方便運(yùn)維管理，主需要通過(guò)頁(yè)面操作就可以實(shí)現(xiàn)hadoop集群的搭建，這些進(jìn)程也都會(huì)自動(dòng)啟動(dòng)，不需要單獨(dú)手工操作。
2020-10-26
講師回答 / 徐老師
針對(duì)你說(shuō)的這種場(chǎng)景，會(huì)出現(xiàn)這種結(jié)果：有2個(gè)節(jié)點(diǎn)讀取本地節(jié)點(diǎn)中的數(shù)據(jù)進(jìn)行本地計(jì)算，另外2個(gè)節(jié)點(diǎn)上沒(méi)有數(shù)據(jù)的，則會(huì)跨節(jié)點(diǎn)拉取數(shù)據(jù)進(jìn)行計(jì)算。默認(rèn)情況下會(huì)優(yōu)先讀取本節(jié)點(diǎn)的數(shù)據(jù)，這是最優(yōu)的策略，如果由于各種原因無(wú)法滿足這種策略，會(huì)退而求其次，進(jìn)行跨節(jié)點(diǎn)數(shù)據(jù)傳輸
2020-10-26
講師回答 / 徐老師
官網(wǎng)下載地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz
2020-09-09
已采納回答 / 徐老師
json數(shù)據(jù)的資料、sqoop相關(guān)的資料已經(jīng)上傳到這個(gè)網(wǎng)盤鏈接中了鏈接：https://pan.baidu.com/s/1AhKOkvsob_ugADZaQc6RlQ?提取碼：dy6j
已采納回答 / 徐老師
應(yīng)該是resourcemanager相關(guān)的進(jìn)程沒(méi)有啟動(dòng)成功，需要查看一下集群中resourcemanager進(jìn)程的啟動(dòng)日志如果按照視頻中的目錄進(jìn)行配置的話，日志是在/data/hadoop_repo/logs/hadoop這個(gè)目錄下hadoop-root-resourcemanager-bigdata01.log我估計(jì)很大概率是yarn-site.xml配置的有問(wèn)題，具體的可以看看這個(gè)日志文件，如果解決不了的話，把這個(gè)日志文件里面的錯(cuò)誤信息貼出來(lái)我看看
2020-08-09
講師回答 / 徐老師
這里面提示的是你設(shè)置的adress設(shè)置的有問(wèn)題，應(yīng)該是主機(jī)名有問(wèn)題你的主機(jī)名中有沒(méi)有用下劃線之類的特殊字符？
2020-07-30
已采納回答 / 徐老師
你現(xiàn)在的情況是hdfs的服務(wù)都起來(lái)了，所以訪問(wèn)192.168.100.10:9870是可以的而NodeManager 和 ResourceManager進(jìn)程沒(méi)起來(lái)，說(shuō)明YARN服務(wù)沒(méi)有起來(lái)，應(yīng)該是YARN的相關(guān)配置文件修改的有問(wèn)題你在啟動(dòng)的時(shí)候控制臺(tái)有沒(méi)有顯示錯(cuò)誤問(wèn)題？如果沒(méi)有的話到hadoop的logs目錄下(/data/hadoop_repo/logs/hadoop這個(gè)目錄下)看一下這個(gè)日志hadoop-root-resourcemanager-bigdata01.log，這里面會(huì)顯示Resource...
2020-07-20
講師回答 / 徐老師
sqoop1.4.7 下載地址? 請(qǐng)查收?https://downloads.apache.org/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
講師回答 / 徐老師
一般出現(xiàn)這種情況是因?yàn)橐蕾嚢鼪](méi)有下載成功，你可以到你本地的maven倉(cāng)庫(kù)中確認(rèn)一下對(duì)應(yīng)的jar包是否成功下載或者嘗試重新強(qiáng)制下載依賴，使用命令 mvn clean compile
2020-06-24