采集到的數(shù)據(jù)字段比較多，在插入mysql數(shù)據(jù)庫(kù)之前要判斷數(shù)據(jù)庫(kù)里面是否有重復(fù)數(shù)據(jù)，多個(gè)字段一起重復(fù)才算是重復(fù)數(shù)據(jù)，也就是允許一些單個(gè)字段可以重復(fù)，這種怎么避免插入重復(fù)數(shù)據(jù)？我之前的做法是把要比較的數(shù)據(jù)拼接在一起然后使用sha1一下，在插入數(shù)據(jù)庫(kù)時(shí)候把這個(gè)值也插入數(shù)據(jù)庫(kù)，以后每次插入數(shù)據(jù)之前判斷數(shù)據(jù)庫(kù)里sha1值是否重復(fù)，有重復(fù)就跳過(guò)此條數(shù)據(jù)。但是這種還是會(huì)有個(gè)別重復(fù)的，不知道什么原因。有沒(méi)有更好的辦法？
4 回答
冉冉說(shuō)
TA貢獻(xiàn)1877條經(jīng)驗(yàn) 獲得超1個(gè)贊
將多個(gè)字段的值進(jìn)行字典排序sort()后再sha1就好了，這樣比對(duì)就不會(huì)重復(fù)了
www說(shuō)
TA貢獻(xiàn)1775條經(jīng)驗(yàn) 獲得超8個(gè)贊
設(shè)置唯一主鍵，然后過(guò)濾方法 加密的時(shí)候調(diào)用時(shí)間戳
- 4 回答
- 0 關(guān)注
- 450 瀏覽
添加回答
舉報(bào)
0/150
提交
取消