我想用python對(duì)全網(wǎng)的網(wǎng)站進(jìn)行掃描記錄，想用mysql建個(gè)表記錄每個(gè)網(wǎng)站的信息，數(shù)據(jù)量大后怎么能快速的判斷這個(gè)網(wǎng)站已經(jīng)記錄過呢？基本表結(jié)構(gòu)有：id,url,name,datetime等相關(guān)字段，url想有唯一性，是拿到url查詢一下判斷沒有數(shù)據(jù)再插入還是怎么辦？如果做了唯一性索引直接插入時(shí)會(huì)報(bào)錯(cuò)，謝謝，或是有沒有別的有效的解決辦法？