講師回答 / 徐老師
如果想要構(gòu)造某種格式的大量數(shù)據(jù)，可以自己寫一個代碼循環(huán)進(jìn)行迭代即可，在循環(huán)內(nèi)部按照一定格式組裝數(shù)據(jù)，最后通過輸出日志或者直接寫文件的方式就可以得到對應(yīng)的大量數(shù)據(jù)了。
2023-02-14
講師回答 / 徐老師
課程中需要用到的軟件安裝包、以及相關(guān)代碼都在網(wǎng)盤中了：鏈接：https://pan.baidu.com/s/1LaTqzY5NR9pv5-Xg5sWWOA?提取碼：1234?
2022-12-23
講師回答 / 徐老師
json數(shù)據(jù)的資料、sqoop相關(guān)的資料已經(jīng)上傳到這個網(wǎng)盤鏈接中了鏈接：https://pan.baidu.com/s/1AhKOkvsob_ugADZaQc6RlQ?提取碼：dy6j
2022-12-12
講師回答 / 徐老師
Hadoop里面其實包含了HDFS集群和YARN集群。根據(jù)你的意思來看應(yīng)該是說的HDFS的主節(jié)點NameNode把，如果NameNode節(jié)點對應(yīng)的內(nèi)存滿了，可以考慮使用federation聯(lián)邦機制（需要用到多個NameNode節(jié)點），這樣可以提高NameNode節(jié)點的存儲能力。此時每個NameNode負(fù)責(zé)維護一個命名空間，命名空間簡單理解就是一個HDFS目錄，這個HDFS目錄下文件的元數(shù)據(jù)信息就存儲在對應(yīng)的這個NameNode內(nèi)存中。其他的NameNode負(fù)責(zé)維護其他的命名空間，這樣整個HDFS集群的存儲...
2022-09-07
講師回答 / 徐老師
看起來像是沒有格式化成功。最直接的定位方法是查看/data/hadoop_repo目錄下的日志文件，進(jìn)程沒有成功啟動的話在對應(yīng)的日志文件中會有報錯信息
2022-03-18
已采納回答 / 徐老師
sqoop底層會生成mapreduce任務(wù)，所以在控制臺看不到錯誤的具體信息，需要到Y(jié)ARN界面中查看任務(wù)的具體報錯信息。根據(jù)你這個業(yè)務(wù)來分析的話，是從hdfs中將數(shù)據(jù)導(dǎo)出到mysql中，大概率是由于hdfs中數(shù)據(jù)的mysql中表的字段個數(shù)、或者字段類型不匹配導(dǎo)致的問題，想要定位到具體問題，還是要到Y(jié)ARN上查看這個任務(wù)的具體錯誤日志才能真正定位
2022-02-07
已采納回答 / 徐老師
核心錯誤日志是這一句：Caused by: java.net.UnknownHostException: hadoop100表示不認(rèn)識hadoop100這個主機名，需要配置hostname以及/etc/hosts
2021-10-24
講師回答 / 徐老師
客戶端機器的配置和集群機器的配置保持完全一樣即可，唯一的區(qū)別是，客戶端節(jié)點上不需要啟動任何進(jìn)程。其實最簡單的做法就是把集群中修改好配置的hadoop安裝包直接拷貝到客戶端節(jié)點即可
2021-05-10
