spark countbykey的結(jié)果怎么輸出
1 回答
叮當貓咪
TA貢獻1776條經(jīng)驗 獲得超12個贊
numSplits：來自job.getNumMapTasks()，即在job啟動時用org.apache.Hadoop.mapred.JobConf.setNumMapTasks(int n)設(shè)置的值，給M-R框架的Map數(shù)量的提示。goalSize：是輸入總大小與提示Map task數(shù)量的比值，即期望每個Mapper處理多少的數(shù)據(jù)
- 1 回答
- 0 關(guān)注
- 1699 瀏覽
添加回答
舉報
0/150
提交
取消