首頁(yè) 猿問(wèn) 用Python讀取大文件的懶惰方法？

用Python讀取大文件的懶惰方法？

Python 算法與數(shù)據(jù)結(jié)構(gòu)

呼喚遠(yuǎn)方 2019-06-05 14:50:12

用Python讀取大文件的懶惰方法？我有一個(gè)非常大的文件4GB，當(dāng)我試圖讀取它時(shí)，我的計(jì)算機(jī)掛起。所以我想一片地閱讀它，在處理完每一段之后，將處理后的部分存儲(chǔ)到另一個(gè)文件中，然后讀取下一段。有什么方法yield這些碎片？我想要一個(gè)懶惰法.

查看完整描述

3 回答

泛舟湖上清波郎朗

TA貢獻(xiàn)1818條經(jīng)驗(yàn) 獲得超3個(gè)贊

readline()接受一個(gè)可選的size參數(shù)，它近似于返回的行中讀取的行數(shù)。

bigfile = open('bigfilename','r')tmp_lines = bigfile.readlines(BUF_SIZE)while tmp_lines:
    process([line for line in tmp_lines])
    tmp_lines = bigfile.readlines(BUF_SIZE)

反對(duì) 回復(fù) 2019-06-05