首頁猿問 elasticsearch: id...

elasticsearch: id is too long錯(cuò)誤

大數(shù)據(jù)

慕運(yùn)維2932940 2018-01-31 16:44:57

elasticsearch數(shù)據(jù)遷移從1.5.*到6.1.*，發(fā)現(xiàn)之前的_id超過512bytes，所以報(bào)錯(cuò)。請(qǐng)問除了重新生成索引還有什么好辦法，因?yàn)楝F(xiàn)有數(shù)據(jù)是兩年的生成數(shù)據(jù)，重新生成不現(xiàn)實(shí)。

查看完整描述

3 回答

rockybean

TA貢獻(xiàn)2條經(jīng)驗(yàn) 獲得超0個(gè)贊

只能自己寫代碼重新算一個(gè)小于512byte 的 id 了，只要原始文檔在，這些問題都好解決

反對(duì) 回復(fù) 2018-02-01

慕運(yùn)維2932940
你是說我把舊版本es下的文檔導(dǎo)成json或csv，然后把id替換成hash，能不能reindex的時(shí)候避免id的插入，讓新版es自動(dòng)生成hash id

回復(fù) 2018-02-01
rockybean
reindex 不會(huì)自動(dòng)生成 hash id 的，我建議你自己寫個(gè)簡(jiǎn)單的 python 腳本，一邊從老的 es 集群讀數(shù)據(jù)，然后批量再寫到新集群，一會(huì)就搞定了，不用折騰 reindex 了

回復(fù) 2018-02-02