課程
/云計算&大數(shù)據(jù)
/大數(shù)據(jù)
/快速入門Hadoop3.0大數(shù)據(jù)處理
不知道哪個地方有問題，我按照老師的模板寫的啊
2020-02-05
源自：快速入門Hadoop3.0大數(shù)據(jù)處理 7-2
正在回答
java.lang.NullPointerException at com.hadoop.dataclean.datacleanmap.map(datacleanmap.java:27)
根據(jù)這個錯誤提示，可以看出來是datacleanmap.java的第27行代碼出現(xiàn)了空指針異常，這個屬于原始數(shù)據(jù)有問題了，需要排查一下原始數(shù)據(jù)
還有就是通過System.out.println(id);能在日志中打印出來，說明代碼本身沒有問題，由于某些行的數(shù)據(jù)有問題導(dǎo)致在解析數(shù)據(jù)的時候失敗了，這里的數(shù)據(jù)是json格式的，要仔細(xì)看一下數(shù)據(jù)格式，可以把原始數(shù)據(jù)文件中的數(shù)據(jù)行數(shù)做一個刪減，只保留一兩行數(shù)據(jù)測試一下
為啥我編譯后的結(jié)果比元數(shù)據(jù)查詢的反而多了一個？？？檢查了“空格”也沒問題。
這個我已經(jīng)解決了，是因為函數(shù)沒有對空行進(jìn)行處理，導(dǎo)致報空指針異常。可以通過#grep "^$" video.log |wc -l，統(tǒng)計一下空行的行數(shù)，然后把空行刪掉就可以解決了?；蛘吣惆稍创a里面關(guān)于空行的處理進(jìn)行一下改進(jìn)。
求大神指點
現(xiàn)在把代碼按照老師講解重寫了一遍，但是運行的時候報獲取字段方法錯誤：
String?id?=?jsonObj.getString("uid");?但是通過System.out.println(id);能在日志中打印出來，真的不知道怎么辦了 2020-02-06?17:20:56,950?INFO?mapreduce.Job:?Task?Id?:?attempt_1580976866673_0005_m_000000_2,?Status?:?FAILEDError:?java.lang.NullPointerException at?com.hadoop.dataclean.datacleanmap.map(datacleanmap.java:27) at?com.hadoop.dataclean.datacleanmap.map(datacleanmap.java:13) at?org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:146) at?org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:799) at?org.apache.hadoop.mapred.MapTask.run(MapTask.java:347) at?org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:174) at?java.security.AccessController.doPrivileged(Native?Method) at?javax.security.auth.Subject.doAs(Subject.java:422) at?org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1730) at?org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:168)
gongwanyi
qq_慕尼黑4012935
弄了兩天還是沒做出來，不知道哪的原因，一直顯示任務(wù)有問題，不確定是日志的合適錯誤還是代碼有問題，求大神幫忙看看
舉報
快速入門Hadoop3.0數(shù)據(jù)處理，輕松邁入大數(shù)據(jù)領(lǐng)域
2 回答運行啟動命令報錯
2 回答運行wordcount程序時一直處于job running狀態(tài)
4 回答部署hadoop
1 回答docker安裝hadoop
2 回答安裝Hadoop一定要安裝ssh-keygen嗎？
Copyright ? 2025 imooc.com All Rights Reserved | 京ICP備12003892號-11 京公網(wǎng)安備11010802030151號
購課補(bǔ)貼聯(lián)系客服咨詢優(yōu)惠詳情
慕課網(wǎng)APP您的移動學(xué)習(xí)伙伴
掃描二維碼關(guān)注慕課網(wǎng)微信公眾號
2020-02-11
java.lang.NullPointerException at com.hadoop.dataclean.datacleanmap.map(datacleanmap.java:27)
根據(jù)這個錯誤提示，可以看出來是datacleanmap.java的第27行代碼出現(xiàn)了空指針異常，這個屬于原始數(shù)據(jù)有問題了，需要排查一下原始數(shù)據(jù)
還有就是通過System.out.println(id);能在日志中打印出來，說明代碼本身沒有問題，由于某些行的數(shù)據(jù)有問題導(dǎo)致在解析數(shù)據(jù)的時候失敗了，這里的數(shù)據(jù)是json格式的，要仔細(xì)看一下數(shù)據(jù)格式，可以把原始數(shù)據(jù)文件中的數(shù)據(jù)行數(shù)做一個刪減，只保留一兩行數(shù)據(jù)測試一下
2020-03-25
為啥我編譯后的結(jié)果比元數(shù)據(jù)查詢的反而多了一個？？？檢查了“空格”也沒問題。
2020-03-17
這個我已經(jīng)解決了，是因為函數(shù)沒有對空行進(jìn)行處理，導(dǎo)致報空指針異常。可以通過#grep "^$" video.log |wc -l，統(tǒng)計一下空行的行數(shù)，然后把空行刪掉就可以解決了?；蛘吣惆稍创a里面關(guān)于空行的處理進(jìn)行一下改進(jìn)。
2020-02-06
求大神指點
現(xiàn)在把代碼按照老師講解重寫了一遍，但是運行的時候報獲取字段方法錯誤：
String?id?=?jsonObj.getString("uid");?但是通過System.out.println(id);能在日志中打印出來，真的不知道怎么辦了 2020-02-06?17:20:56,950?INFO?mapreduce.Job:?Task?Id?:?attempt_1580976866673_0005_m_000000_2,?Status?:?FAILEDError:?java.lang.NullPointerException at?com.hadoop.dataclean.datacleanmap.map(datacleanmap.java:27) at?com.hadoop.dataclean.datacleanmap.map(datacleanmap.java:13) at?org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:146) at?org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:799) at?org.apache.hadoop.mapred.MapTask.run(MapTask.java:347) at?org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:174) at?java.security.AccessController.doPrivileged(Native?Method) at?javax.security.auth.Subject.doAs(Subject.java:422) at?org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1730) at?org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:168)2020-02-06
弄了兩天還是沒做出來，不知道哪的原因，一直顯示任務(wù)有問題，不確定是日志的合適錯誤還是代碼有問題，求大神幫忙看看
