首頁猿問 php大數(shù)據(jù)更新，增量處理

php大數(shù)據(jù)更新，增量處理

大數(shù)據(jù)

HUWWW 2018-07-30 10:21:43

1.背景：公司是做域名的，目前要對接Godaddy的一口價域名，對方一口價域名數(shù)據(jù)量較大，只給一個全部數(shù)據(jù)的接口，且產(chǎn)品要求定時更新域名數(shù)據(jù)（新增新寄售的域名，去除狀態(tài)異常的域名）2.問題：導(dǎo)入完整數(shù)據(jù)后，要如何更新數(shù)據(jù)，目前采用的方法是：清空表中Godaddy的所有數(shù)據(jù)，然后重新調(diào)接口導(dǎo)入所有數(shù)據(jù)，有沒有什么好辦法，可以實現(xiàn)數(shù)據(jù)的增量更新處理（數(shù)據(jù)量差不多有600W左右）有沒有哪位大神指點一下，多謝?。?！

查看完整描述

3 回答

幕布斯7119047

TA貢獻1794條經(jīng)驗獲得超8個贊

你是怎么對接口導(dǎo)入的 php cli , 還是用了第三方swoole 什么擴展導(dǎo)入的？

數(shù)據(jù)庫瓶頸在哪里你就是開100個進程也沒有，數(shù)據(jù)庫插不進去，需要的時間也差不多。

可不可以每50萬條數(shù)據(jù) 分一張表導(dǎo)入？

反對回復(fù) 2018-08-02

慕蓋茨4494581

TA貢獻1850條經(jīng)驗獲得超11個贊

個人覺得，先清空，然后再填入的辦法還是有點問題，在清空數(shù)據(jù)后數(shù)據(jù)填充前就會有一段時間的真空期。

那個分批次的接口有沒有排序的功能，能夠使用offset 去獲取新的域名，然后，還需要一個查詢域名的接口，這種接口應(yīng)該會有提供的吧，不然你們系統(tǒng)，做域名感覺沒發(fā)做呀。
在用戶查詢域名的時候再去判斷這個域名的更新時間，如果大于某一個閾值，就重新去單獨查詢這個域名然后更新到你們的系統(tǒng)。
當(dāng)然只是一種思路，如果條件不滿足再想其他辦法。

反對回復(fù) 2018-08-02

胡子哥哥

TA貢獻1825條經(jīng)驗獲得超6個贊

“清空數(shù)據(jù)表再重新導(dǎo)入全部數(shù)據(jù)”這種方法對數(shù)據(jù)庫的壓力太大了。你在調(diào)接口獲取到新的全量數(shù)據(jù)后，做一次遍歷，逐條逐條的跟已有的數(shù)據(jù)做對比，如果不一樣，就說明這條數(shù)據(jù)已經(jīng)發(fā)生了變更，這時候update一下數(shù)據(jù)庫對應(yīng)的記錄即可。

其實這種情況最好的解決方法是，讓Godaddy那邊提供一個增量接口。

反對回復(fù) 2018-08-02