我有一個（大部分）字典格式的 .txt 性能日志，如下所示：10:07:49.1396 信息 {"message":"殺死進(jìn)程...","level":"信息","logType":"用戶","timeStamp":"2020-10-19T10:07:49.1386035+ 02:00"}10:07:49.4102 信息 {"message":"打開應(yīng)用程序...","level":"信息","logType":"用戶","timeStamp":"2020-10-19T10:07:49.4092373+ 02:00"}我想將其放入這樣的數(shù)據(jù)框中：message level logType timeStampKilling processes... Information User 2020-10-19T10:07:49.1386035+02:00Opening applications... Information User 2020-10-19T10:07:49.4092373+02:00所以基本上只有大括號內(nèi)的內(nèi)容。我不需要日志條目開頭的“10:07:49.1396 Info”。我現(xiàn)在正在學(xué)習(xí) NumPy 和 Pandas，但作為一個絕對的初學(xué)者，我什至不確定僅使用這兩個庫是否可行。我還需要使用其他東西嗎？
2 回答
陪伴而非守候
TA貢獻(xiàn)1757條經(jīng)驗 獲得超8個贊
您必須手動解析日志以收集相關(guān)數(shù)據(jù)：
import re, json
pattern = re.compile(r'.+? .+? (.+)')
logs = []
with open('data.txt') as fp:
? ? for line in fp:
? ? ? ? match = pattern.match(line)
? ? ? ? if match:
? ? ? ? ? ? try:
? ? ? ? ? ? ? ? data = json.loads(match.group(1))
? ? ? ? ? ? ? ? logs.append(data)
? ? ? ? ? ? except json.JSONDecodeError:
? ? ? ? ? ? ? ? pass
df = pd.DataFrame(logs)
要實時執(zhí)行此操作，您必須監(jiān)視文件的更改。
三國紛爭
TA貢獻(xiàn)1804條經(jīng)驗 獲得超7個贊
這是另一種使用方法json_normalize：
import json
import re
pattern = re.compile('{.*}')
rows = []
with open('a.txt', 'r+') as f:
for line in f:
for match in re.finditer(pattern, line):
data = json.loads(match.group())
dfx = pd.json_normalize(data)
rows.append(dfx)
df = pd.concat(rows)
print(df)
message level logType timeStamp
0 Killing processes... Information User 2020-10-19T10:07:49.1386035+02:00
0 Opening applications... Information User 2020-10-19T10:07:49.4092373+02:00
添加回答
舉報
0/150
提交
取消