我有一個(gè)超級(jí)臟的文本數(shù)據(jù)集。雖然各個(gè)列值是用制表符分隔的，但所需的數(shù)據(jù)行中有許多換行符。所有數(shù)據(jù)條目均由硬“\n”符號(hào)分隔。我嘗試將lineterminator參數(shù)設(shè)置為'\n'，但它仍然將換行符讀取為新行。執(zhí)行任何類型的正則表達(dá)式或相關(guān)操作很可能會(huì)導(dǎo)致制表符分隔丟失，我需要將數(shù)據(jù)加載到數(shù)據(jù)框中。由于數(shù)據(jù)集的大小，進(jìn)行逐字或逐行操作也不完全可行。有沒(méi)有辦法讓 Pandas 不將換行符讀取為新行，并且僅在看到'\n'時(shí)才轉(zhuǎn)到新行？突出顯示的紅色框應(yīng)該是一個(gè)條目。
1 回答
守著一只汪
TA貢獻(xiàn)1872條經(jīng)驗(yàn) 獲得超4個(gè)贊
您可以預(yù)處理到適當(dāng)?shù)?TSV，然后從那里讀取它。用于itertools.groupby查找“\N”結(jié)尾。如果此文件存在其他問(wèn)題，例如內(nèi)部選項(xiàng)卡未轉(zhuǎn)義，則一切都將失敗。
import itertools
import re
separator_re = re.compile(r"\s*\\N\s*$", re.MULTILINE)
with open('other.csv') as infp:
with open('other-conv.csv', 'w') as outfp:
for hassep, subiter in itertools.groupby(infp, separator_re.search):
if hassep:
outfp.writelines("{}\n".format(separator_re.sub("",line))
for line in subiter)
else:
for line in subiter:
if line.endswith("\\\n"):
line = line[:-2] + " "
else:
line = line.strip()
outfp.write(line)
添加回答
舉報(bào)
0/150
提交
取消