11 回答

TA貢獻(xiàn)1836條經(jīng)驗(yàn) 獲得超13個(gè)贊
你現(xiàn)在是要避免用戶重復(fù)進(jìn)行采集呢?還是要避免不同用戶采集到相同信息后都保存到了遠(yuǎn)程數(shù)據(jù)庫中?
這兩者的區(qū)別在與:
前者是在采集階段就避免用戶采集重復(fù)地址的數(shù)據(jù);
后者不對所采集做限制,不同用戶采集回來的數(shù)據(jù)可能是重復(fù)的,但是在用戶把數(shù)據(jù)提交給遠(yuǎn)程數(shù)據(jù)庫時(shí),再進(jìn)行過濾

TA貢獻(xiàn)1865條經(jīng)驗(yàn) 獲得超7個(gè)贊
是避免用戶重復(fù)進(jìn)行采集!
集階段就避免用戶采集重復(fù)地址的數(shù)據(jù)! 這里很糾結(jié)!?
因?yàn)锳用戶 和別的用戶采集時(shí)可能存在時(shí)間差!? 導(dǎo)致A用戶還沒保存哈希值!
B就已經(jīng)對頁面進(jìn)行采集了·這樣就會(huì)導(dǎo)致用戶采集重復(fù)的地址

TA貢獻(xiàn)1817條經(jīng)驗(yàn) 獲得超6個(gè)贊
是避免用戶重復(fù)進(jìn)行采集!
集階段就避免用戶采集重復(fù)地址的數(shù)據(jù)! 這里很糾結(jié)!?
因?yàn)锳用戶 和別的用戶采集時(shí)可能存在時(shí)間差!? 導(dǎo)致A用戶還沒保存哈希值!
B就已經(jīng)對頁面進(jìn)行采集了·這樣就會(huì)導(dǎo)致用戶采集重復(fù)的地址

TA貢獻(xiàn)2012條經(jīng)驗(yàn) 獲得超12個(gè)贊
是避免用戶重復(fù)進(jìn)行采集!
集階段就避免用戶采集重復(fù)地址的數(shù)據(jù)! 這里很糾結(jié)!?
因?yàn)锳用戶 和別的用戶采集時(shí)可能存在時(shí)間差!? 導(dǎo)致A用戶還沒保存哈希值!
B就已經(jīng)對頁面進(jìn)行采集了·這樣就會(huì)導(dǎo)致用戶采集重復(fù)的地址

TA貢獻(xiàn)1796條經(jīng)驗(yàn) 獲得超4個(gè)贊
可以在服務(wù)器端使用緩存對每次采集的地址做個(gè)添加,這樣在每次采集之前使用地址查找一下是否已經(jīng)查找過了

TA貢獻(xiàn)1876條經(jīng)驗(yàn) 獲得超6個(gè)贊
@c#小菜菜xx10: 不用數(shù)據(jù)庫也可以,直接使用服務(wù)器緩存就可以了,如果使用數(shù)據(jù)庫的話可以在設(shè)計(jì)的時(shí)候?qū)Σ杉癄顟B(tài)也進(jìn)行管理

TA貢獻(xiàn)1797條經(jīng)驗(yàn) 獲得超6個(gè)贊
采集之前校驗(yàn),與采集保存同時(shí)校驗(yàn),放于一個(gè)事務(wù),直接鎖定數(shù)據(jù)
- 11 回答
- 0 關(guān)注
- 623 瀏覽
添加回答
舉報(bào)