數(shù)據(jù)傾斜問題
請問老師，當集群一共有4個節(jié)點時，數(shù)據(jù)只存儲在其中2個節(jié)點上，如果4個節(jié)點都參與計算時，是不是只有有數(shù)據(jù)的節(jié)點才在真正運算，剩下倆個節(jié)點都在空轉(zhuǎn)劃水？還是集群會重新把數(shù)據(jù)平均傳輸?shù)?個節(jié)點上，大家再一起算？
1 回答
舉報
0/150
提交
取消
請問老師，當集群一共有4個節(jié)點時，數(shù)據(jù)只存儲在其中2個節(jié)點上，如果4個節(jié)點都參與計算時，是不是只有有數(shù)據(jù)的節(jié)點才在真正運算，剩下倆個節(jié)點都在空轉(zhuǎn)劃水？還是集群會重新把數(shù)據(jù)平均傳輸?shù)?個節(jié)點上，大家再一起算？
舉報
2020-10-30
針對你說的這種場景，會出現(xiàn)這種結(jié)果：
有2個節(jié)點讀取本地節(jié)點中的數(shù)據(jù)進行本地計算，另外2個節(jié)點上沒有數(shù)據(jù)的，則會跨節(jié)點拉取數(shù)據(jù)進行計算。
默認情況下會優(yōu)先讀取本節(jié)點的數(shù)據(jù)，這是最優(yōu)的策略，如果由于各種原因無法滿足這種策略，會退而求其次，進行跨節(jié)點數(shù)據(jù)傳輸