講師回答 / 徐老師
這里沒(méi)法上傳文件，我把數(shù)據(jù)格式給你發(fā)一部分哈，你可以參考這個(gè)格式?{"id":"158008900435","uid":"120010010445","nickname":"jack435","gold":445,"watchnumpv":4350,"watchnumuv":870,"hots":1305,"nofollower":435,"looktime":8700,"smlook":2175,"follower":1740,"gifter":870,"length":2610,"area":"A_U...
2020-03-16
講師回答 / 徐老師
下載失敗一般是由于網(wǎng)絡(luò)問(wèn)題導(dǎo)致的首先去本地的maven倉(cāng)庫(kù)找到之前下載的hadoop-client，把這個(gè)目錄直接刪除掉，因?yàn)橛锌赡苡袀€(gè)別jar包之前由于網(wǎng)絡(luò)原因?qū)е孪螺d的不完整然后可以修改maven的鏡像地址，可以改為阿里云的配置文件在apache-maven-3.x.x\conf\settings.xml<mirrors>
? ?????<mirror>
? ? ? ?????????<id>alimaven</id>
? ? ? ??????...
2020-02-27
講師回答 / 徐老師
在實(shí)際開(kāi)發(fā)中可以使用root，當(dāng)然創(chuàng)建一個(gè)獨(dú)立的新用戶，例如：hadoop用戶會(huì)更好，主要是基于權(quán)限控制方面的考慮
2020-02-23
講師回答 / 徐老師
我把項(xiàng)目源碼上傳到云盤了?鏈接:https://pan.baidu.com/s/1MGncXsdzEw3LuEL47QLFTQ? 密碼:axm7
2020-02-22
講師回答 / 徐老師
failed on connection exception: java.net.ConnectException:? 是連接拒絕的意思，表示這臺(tái)機(jī)器上的hadoop服務(wù)沒(méi)有啟動(dòng)，或者是啟動(dòng)失敗了，你可以jps查看一下，進(jìn)程是否都在，如果不在的話需要查看日志排查一下為什么啟動(dòng)失敗了
2020-02-15
講師回答 / 徐老師
DateUtils代碼：package test.top10;import java.text.SimpleDateFormat;import java.util.Date;/**?* 日期工具類?*/public class DateUtils {? ? private static SimpleDateFormat sdf1 = new SimpleDateFormat("yyyyMMdd");? ? private static SimpleDateFormat sdf2 = new SimpleD...
2020-02-15
最贊回答 / qq_慕斯2033129
/創(chuàng)建靜態(tài)內(nèi)部類MyMapper public static class MyMapper extends Mapper<LongWritable,Text,Text,LongWritable>{ //調(diào)用自帶的map（）函數(shù) protected void map(LongWritable k1,Text v1,Context context)? throws IOException,InterruptedException{ //k1代表的是每一行的偏移量，v1代表的是每一行的內(nèi)容...
2020-02-12
講師回答 / 徐老師
hadoop的mapred-site.xml yarn-site.xml core-cite.xml 等配置文件中的配置較多，此課程中暫時(shí)沒(méi)有針對(duì)里面的參數(shù)做詳細(xì)解釋，如果對(duì)這塊感興趣的話可以先到網(wǎng)上查找一下公開(kāi)資料，后面會(huì)有針對(duì)hadoop的高級(jí)課程會(huì)分析里面的參數(shù)?
2020-02-08
講師回答 / 徐老師
java.lang.NullPointerException at com.hadoop.dataclean.datacleanmap.map(datacleanmap.java:27)根據(jù)這個(gè)錯(cuò)誤提示，可以看出來(lái)是datacleanmap.java的第27行代碼出現(xiàn)了空指針異常，這個(gè)屬于原始數(shù)據(jù)有問(wèn)題了，需要排查一下原始數(shù)據(jù)還有就是通過(guò)System.out.println(id);能在日志中打印出來(lái)，說(shuō)明代碼本身沒(méi)有問(wèn)題，由于某些行的數(shù)據(jù)有問(wèn)題導(dǎo)致在解析數(shù)據(jù)的時(shí)候失敗了，這里的數(shù)據(jù)是json格式的，要仔...
2020-02-05