想問一下,分片的偏移量有什么作用?reduce怎樣跨節(jié)點抓取數(shù)據(jù)
看源碼,看到個偏移量,然后知道數(shù)據(jù)和開啟了reduce任務的yarnchild不在一個nodeManager上,不知道reduce怎樣進行的跨節(jié)點抓取數(shù)據(jù)?哪位大神能解釋一下,感激不盡啊
看源碼,看到個偏移量,然后知道數(shù)據(jù)和開啟了reduce任務的yarnchild不在一個nodeManager上,不知道reduce怎樣進行的跨節(jié)點抓取數(shù)據(jù)?哪位大神能解釋一下,感激不盡啊
2017-07-09
舉報