首頁猿問一個(gè)關(guān)于多進(jìn)程分塊讀寫大文件的問題

一個(gè)關(guān)于多進(jìn)程分塊讀寫大文件的問題

JavaScript

眼眸繁星 2019-04-07 09:38:23

問題是這樣的：有一個(gè)比較大的文件file1，它的內(nèi)容格式是一行一行的，比如1|123|abc2|212|lca3|123|asdxxx現(xiàn)在，我想用多個(gè)進(jìn)程同時(shí)分塊讀取文件，分別處理。那么怎么做才能保證每個(gè)進(jìn)程分到的塊正好是完整的一行。剛剛接觸這一塊的東西，還望指導(dǎo)。

查看完整描述

2 回答

德瑪西亞99

TA貢獻(xiàn)1770條經(jīng)驗(yàn) 獲得超3個(gè)贊

如果是為了提高效率，分進(jìn)程讀是沒有什么意義的，因?yàn)檫@個(gè)快不快主要取決于磁盤的IO，如果你為了分行還需要進(jìn)行特殊處理的話，不可避免的大量隨機(jī)讀。還不如用一個(gè)進(jìn)程順序讀入，然后切割分給n個(gè)進(jìn)程進(jìn)行處理。說實(shí)話如果處理邏輯不是很復(fù)雜的話，提高IO的效率比搞幾個(gè)進(jìn)程好。提高IO的效率還是多用用操作系統(tǒng)的特性吧。`

反對(duì) 回復(fù) 2019-04-07

互換的青春

TA貢獻(xiàn)1797條經(jīng)驗(yàn) 獲得超6個(gè)贊

分塊后，除了第一個(gè)進(jìn)程外，其它進(jìn)程從中間某個(gè)地方向后讀到換行符，然后再一行行地讀并處理。不過，你的文件存儲(chǔ)在什么設(shè)備上？你是處理每一行數(shù)據(jù)會(huì)花很多時(shí)間，還是覺得多進(jìn)程讀同一文件會(huì)比單進(jìn)程更快？

反對(duì) 回復(fù) 2019-04-07