我正在使用排序基準(zhǔn)測(cè)試對(duì)Spark進(jìn)行簡(jiǎn)單的擴(kuò)展測(cè)試 - 從1核，最多8核。我注意到8個(gè)核心比1核心慢。//run spark using 1 corespark-submit --master local[1] --class john.sort sort.jar data_800MB.txt data_800MB_output//run spark using 8 coresspark-submit --master local[8] --class john.sort sort.jar data_800MB.txt data_800MB_output 每種情況下的輸入和輸出目錄都是HDFS。1核：80秒8個(gè)核心：160秒我希望8核性能有x倍的加速。
2 回答
慕容森
TA貢獻(xiàn)1853條經(jīng)驗(yàn) 獲得超18個(gè)贊
我想添加這些信息：由于Spark會(huì)嘗試拆分文件，我們最終會(huì)遇到以下情況之一：要么Spark會(huì)啟動(dòng)多個(gè)線程來讀取同一個(gè)文件，同時(shí)通過尋求I / O處罰跨輸入文件，而不是線性讀取?；蛘?，Spark仍將大量讀取文件，然后將其傳播到同時(shí)工作中，并產(chǎn)生本地隨機(jī)播放，這也會(huì)降低性能。再加上排序所需的shuffle，性能明顯下降
- 2 回答
- 0 關(guān)注
- 876 瀏覽
添加回答
舉報(bào)
0/150
提交
取消