講師回答 / 徐老師
如果想要構(gòu)造某種格式的大量數(shù)據(jù)，可以自己寫一個(gè)代碼循環(huán)進(jìn)行迭代即可，在循環(huán)內(nèi)部按照一定格式組裝數(shù)據(jù)，最后通過輸出日志或者直接寫文件的方式就可以得到對(duì)應(yīng)的大量數(shù)據(jù)了。
2023-02-14
講師回答 / 徐老師
課程中需要用到的軟件安裝包、以及相關(guān)代碼都在網(wǎng)盤中了：鏈接：https://pan.baidu.com/s/1LaTqzY5NR9pv5-Xg5sWWOA?提取碼：1234?
2022-12-23
講師回答 / 徐老師
json數(shù)據(jù)的資料、sqoop相關(guān)的資料已經(jīng)上傳到這個(gè)網(wǎng)盤鏈接中了鏈接：https://pan.baidu.com/s/1AhKOkvsob_ugADZaQc6RlQ?提取碼：dy6j
2022-12-12
講師回答 / 徐老師
這個(gè)課程中的問題無法實(shí)時(shí)推送給我這個(gè)賬號(hào)，所以回復(fù)的比較晚，一般我會(huì)隔幾天來看一下大家提的問題，最近比較忙，中間耽擱的時(shí)間就長了一些，抱歉
2022-11-07
講師回答 / 徐老師
Hadoop里面其實(shí)包含了HDFS集群和YARN集群。根據(jù)你的意思來看應(yīng)該是說的HDFS的主節(jié)點(diǎn)NameNode把，如果NameNode節(jié)點(diǎn)對(duì)應(yīng)的內(nèi)存滿了，可以考慮使用federation聯(lián)邦機(jī)制（需要用到多個(gè)NameNode節(jié)點(diǎn)），這樣可以提高NameNode節(jié)點(diǎn)的存儲(chǔ)能力。此時(shí)每個(gè)NameNode負(fù)責(zé)維護(hù)一個(gè)命名空間，命名空間簡單理解就是一個(gè)HDFS目錄，這個(gè)HDFS目錄下文件的元數(shù)據(jù)信息就存儲(chǔ)在對(duì)應(yīng)的這個(gè)NameNode內(nèi)存中。其他的NameNode負(fù)責(zé)維護(hù)其他的命名空間，這樣整個(gè)HDFS集群的存儲(chǔ)...
2022-09-07
講師回答 / 徐老師
看起來像是沒有格式化成功。最直接的定位方法是查看/data/hadoop_repo目錄下的日志文件，進(jìn)程沒有成功啟動(dòng)的話在對(duì)應(yīng)的日志文件中會(huì)有報(bào)錯(cuò)信息
2022-03-18
已采納回答 / 徐老師
sqoop底層會(huì)生成mapreduce任務(wù)，所以在控制臺(tái)看不到錯(cuò)誤的具體信息，需要到Y(jié)ARN界面中查看任務(wù)的具體報(bào)錯(cuò)信息。根據(jù)你這個(gè)業(yè)務(wù)來分析的話，是從hdfs中將數(shù)據(jù)導(dǎo)出到mysql中，大概率是由于hdfs中數(shù)據(jù)的mysql中表的字段個(gè)數(shù)、或者字段類型不匹配導(dǎo)致的問題，想要定位到具體問題，還是要到Y(jié)ARN上查看這個(gè)任務(wù)的具體錯(cuò)誤日志才能真正定位
已采納回答 / 徐老師
核心錯(cuò)誤日志是這一句：Caused by: java.net.UnknownHostException: hadoop100表示不認(rèn)識(shí)hadoop100這個(gè)主機(jī)名，需要配置hostname以及/etc/hosts
2021-10-24
講師回答 / 徐老師
客戶端機(jī)器的配置和集群機(jī)器的配置保持完全一樣即可，唯一的區(qū)別是，客戶端節(jié)點(diǎn)上不需要啟動(dòng)任何進(jìn)程。其實(shí)最簡單的做法就是把集群中修改好配置的hadoop安裝包直接拷貝到客戶端節(jié)點(diǎn)即可
2021-05-10
