講師回答 / 徐老師
如果想要構(gòu)造某種格式的大量數(shù)據(jù)，可以自己寫一個(gè)代碼循環(huán)進(jìn)行迭代即可，在循環(huán)內(nèi)部按照一定格式組裝數(shù)據(jù)，最后通過(guò)輸出日志或者直接寫文件的方式就可以得到對(duì)應(yīng)的大量數(shù)據(jù)了。
2023-02-14
講師回答 / 徐老師
課程中需要用到的軟件安裝包、以及相關(guān)代碼都在網(wǎng)盤中了：鏈接：https://pan.baidu.com/s/1LaTqzY5NR9pv5-Xg5sWWOA?提取碼：1234?
2022-12-23
講師回答 / 徐老師
json數(shù)據(jù)的資料、sqoop相關(guān)的資料已經(jīng)上傳到這個(gè)網(wǎng)盤鏈接中了鏈接：https://pan.baidu.com/s/1AhKOkvsob_ugADZaQc6RlQ?提取碼：dy6j
2022-12-12
講師回答 / 徐老師
這個(gè)課程中的問(wèn)題無(wú)法實(shí)時(shí)推送給我這個(gè)賬號(hào)，所以回復(fù)的比較晚，一般我會(huì)隔幾天來(lái)看一下大家提的問(wèn)題，最近比較忙，中間耽擱的時(shí)間就長(zhǎng)了一些，抱歉
2022-11-07
講師回答 / 徐老師
Hadoop里面其實(shí)包含了HDFS集群和YARN集群。根據(jù)你的意思來(lái)看應(yīng)該是說(shuō)的HDFS的主節(jié)點(diǎn)NameNode把，如果NameNode節(jié)點(diǎn)對(duì)應(yīng)的內(nèi)存滿了，可以考慮使用federation聯(lián)邦機(jī)制（需要用到多個(gè)NameNode節(jié)點(diǎn)），這樣可以提高NameNode節(jié)點(diǎn)的存儲(chǔ)能力。此時(shí)每個(gè)NameNode負(fù)責(zé)維護(hù)一個(gè)命名空間，命名空間簡(jiǎn)單理解就是一個(gè)HDFS目錄，這個(gè)HDFS目錄下文件的元數(shù)據(jù)信息就存儲(chǔ)在對(duì)應(yīng)的這個(gè)NameNode內(nèi)存中。其他的NameNode負(fù)責(zé)維護(hù)其他的命名空間，這樣整個(gè)HDFS集群的存儲(chǔ)...
2022-09-07
講師回答 / 徐老師
看起來(lái)像是沒有格式化成功。最直接的定位方法是查看/data/hadoop_repo目錄下的日志文件，進(jìn)程沒有成功啟動(dòng)的話在對(duì)應(yīng)的日志文件中會(huì)有報(bào)錯(cuò)信息
2022-03-18
講師回答 / 徐老師
客戶端機(jī)器的配置和集群機(jī)器的配置保持完全一樣即可，唯一的區(qū)別是，客戶端節(jié)點(diǎn)上不需要啟動(dòng)任何進(jìn)程。其實(shí)最簡(jiǎn)單的做法就是把集群中修改好配置的hadoop安裝包直接拷貝到客戶端節(jié)點(diǎn)即可
2021-05-10
講師回答 / 徐老師
空格和制表符直接看起來(lái)不好區(qū)分，在videoinfowritable的tostring方法中使用的制表符你要是想驗(yàn)證的話，可以把tostring方法中的制表符改為逗號(hào)，再跑一下代碼就會(huì)發(fā)現(xiàn)結(jié)果中是用逗號(hào)分割的了
講師回答 / 徐老師
你到8088界面中查看了嗎，能不能看到任務(wù)信息很奇怪，沒有任何輸出信息你這樣執(zhí)行一下試試，使用hadoop內(nèi)置的wordcount案例hadoop jar? ?hadoop-3.2.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar ? wordcount /input /output你可以加一下慕課的大數(shù)據(jù)學(xué)習(xí)qun? 938632081? 方便溝通
2020-12-12
講師回答 / 徐老師
一樣的效果，你在/etc/profile里面設(shè)置也是可以的/etc/profile里面是設(shè)置的全局的環(huán)境變量，在執(zhí)行那4個(gè)腳本的時(shí)候就可以識(shí)別到那些配置了
2020-10-28
講師回答 / 徐老師
是一樣的，hadoop fs這種用法是在hadoop1.x的時(shí)候提供的在hadoop2.x的時(shí)候提供了新的用法，hdfs dfs，同時(shí)也兼容了hadoop1.x中的寫法，所以兩個(gè)效果是一樣的。
2020-10-27