講師回答 / 徐老師
DateUtils代碼：package test.top10;import java.text.SimpleDateFormat;import java.util.Date;/**?* 日期工具類?*/public class DateUtils {? ? private static SimpleDateFormat sdf1 = new SimpleDateFormat("yyyyMMdd");? ? private static SimpleDateFormat sdf2 = new SimpleD...
2020-02-15
最贊回答 / qq_慕斯2033129
/創(chuàng)建靜態(tài)內(nèi)部類MyMapper public static class MyMapper extends Mapper<LongWritable,Text,Text,LongWritable>{ //調(diào)用自帶的map（）函數(shù) protected void map(LongWritable k1,Text v1,Context context)? throws IOException,InterruptedException{ //k1代表的是每一行的偏移量，v1代表的是每一行的內(nèi)容...
2020-02-12
講師回答 / 徐老師
hadoop的mapred-site.xml yarn-site.xml core-cite.xml 等配置文件中的配置較多，此課程中暫時沒有針對里面的參數(shù)做詳細解釋，如果對這塊感興趣的話可以先到網(wǎng)上查找一下公開資料，后面會有針對hadoop的高級課程會分析里面的參數(shù)?
2020-02-08
講師回答 / 徐老師
java.lang.NullPointerException at com.hadoop.dataclean.datacleanmap.map(datacleanmap.java:27)根據(jù)這個錯誤提示，可以看出來是datacleanmap.java的第27行代碼出現(xiàn)了空指針異常，這個屬于原始數(shù)據(jù)有問題了，需要排查一下原始數(shù)據(jù)還有就是通過System.out.println(id);能在日志中打印出來，說明代碼本身沒有問題，由于某些行的數(shù)據(jù)有問題導致在解析數(shù)據(jù)的時候失敗了，這里的數(shù)據(jù)是json格式的，要仔...
2020-02-05
講師回答 / 徐老師
這里沒法上傳文件，我把數(shù)據(jù)格式給你發(fā)一部分，你可以參考這個格式{"id":"158008900435","uid":"120010010445","nickname":"jack435","gold":445,"watchnumpv":4350,"watchnumuv":870,"hots":1305,"nofollower":435,"looktime":8700,"smlook":2175,"follower":1740,"gifter":870,"length":2610,"area":"A_US"...
2020-01-25
已采納回答 / 小小新_Not_Found
視頻中的json數(shù)據(jù)video_rating.log是講師自己做的假數(shù)據(jù)，目前也并沒有放入到下載資料中，你可以按照上一個視頻中的字段自己仿照做一個假數(shù)據(jù)<...圖片...>
2019-12-26
已采納回答 / 徐老師
提前進行map的局部聚合，會提高性能，因為聚合后map端通過shuffle發(fā)送到reduce端的數(shù)據(jù)就少了，對應的就減少了網(wǎng)絡傳輸?shù)臅r間
2019-12-26