因此，我有一個(gè)數(shù)據(jù)文件（以分號(hào)分隔），該文件包含很多詳細(xì)信息和不完整的行（導(dǎo)致Access和SQL阻塞）。它是40年的縣級(jí)數(shù)據(jù)集，細(xì)分為細(xì)分，子細(xì)分和子細(xì)分（共200個(gè)因子）。簡(jiǎn)而言之，它是巨大的，如果我嘗試簡(jiǎn)單地閱讀它，它將不適合內(nèi)存。所以我的問(wèn)題是，考慮到我想要所有縣，但是只有一年（并且只有最高級(jí)別的細(xì)分……最終導(dǎo)致約100,000行），什么是獲得該收入的最佳方法？此匯總到R？目前，我正在嘗試與Python無(wú)關(guān)的事情，通過(guò)一次讀取和操作一行來(lái)繞過(guò)文件大小限制，但是我更喜歡僅R的解決方案（CRAN包可以）。有沒(méi)有類似的方法可以一次在R中讀取文件？任何想法將不勝感激。更新：約束條件需要使用我的機(jī)器，所以沒(méi)有EC2實(shí)例盡可能僅R。在這種情況下，速度和資源不是問(wèn)題...只要我的機(jī)器不爆炸...如下所示，數(shù)據(jù)包含混合類型，稍后我需要對(duì)其進(jìn)行操作數(shù)據(jù)數(shù)據(jù)為3.5GB，約850萬(wàn)行和17列幾千行（?2k）格式錯(cuò)誤，只有一列而不是17這些完全不重要，可以刪除我只需要該文件中的約100,000行（見下文）數(shù)據(jù)示例：County; State; Year; Quarter; Segment; Sub-Segment; Sub-Sub-Segment; GDP; ...Ada County;NC;2009;4;FIRE;Financial;Banks;80.1; ...Ada County;NC;2010;1;FIRE;Financial;Banks;82.5; ...NC  [Malformed row][8.5 Mill rows]我想刪掉一些列并從40個(gè)可用年份（1980-2020年的2009-2010年）中選擇兩個(gè)，以便使數(shù)據(jù)適合R：County; State; Year; Quarter; Segment; GDP; ...Ada County;NC;2009;4;FIRE;80.1; ...Ada County;NC;2010;1;FIRE;82.5; ...[~200,000 rows]結(jié)果：修正所有提出的建議后，我決定由JD和Marek提出的readLines效果最好。我給了Marek支票，因?yàn)樗峁┝艘粋€(gè)示例實(shí)現(xiàn)。我在這里為我的最終答案復(fù)制了Marek實(shí)現(xiàn)的稍作改編的版本，使用strsplit和cat僅保留我想要的列。還應(yīng)當(dāng)指出，這是MUCH比Python效率較低......在，巨蟒通過(guò)要吃掉5分鐘3.5GB文件，而R取約60 ...但如果你只為R，那么這是罰單。## Open a connection separately to hold the cursor positionfile.in <- file('bad_data.txt', 'rt')file.out <- file('chopped_data.txt', 'wt')line <- readLines(file.in, n=1)line.split <- strsplit(line, ';')# Stitching together only the columns we wantcat(line.split[[1]][1:5], line.split[[1]][8], sep = ';', file = file.out, fill = TRUE)## Use a loop to read in the rest of the linesline <- readLines(file.in, n=1)失敗的方法：sqldf如果數(shù)據(jù)格式正確，這絕對(duì)是我以后將使用的此類問(wèn)題。但是，如果不是，則SQLite會(huì)阻塞。MapReduce老實(shí)說(shuō)，文檔使我對(duì)此感到有些恐懼，所以我沒(méi)有去嘗試它?？雌饋?lái)它也要求該對(duì)象也要在內(nèi)存中，如果是這樣的話，這將使問(wèn)題無(wú)濟(jì)于事。大內(nèi)存這種方法干凈地鏈接到數(shù)據(jù)，但一次只能處理一種類型。結(jié)果，我的所有字符向量在放入big.table時(shí)都掉了。但是，如果我需要為將來(lái)設(shè)計(jì)大型數(shù)據(jù)集，我將考慮僅使用數(shù)字只是為了使此選項(xiàng)有效。掃描掃描似乎具有與大內(nèi)存類似的類型問(wèn)題，但是具有readLines的所有機(jī)制。簡(jiǎn)而言之，這一次不符合要求。