首頁猿問 PHP 數(shù)據(jù)接口設(shè)計(jì)

PHP 數(shù)據(jù)接口設(shè)計(jì)

API PHP

慕工程0101907 2018-10-05 19:34:30

服務(wù)A提供數(shù)據(jù)一天100W的日志數(shù)據(jù), B需要寫一個(gè)接口去抓取服務(wù)A的數(shù)據(jù)，（假定A的100W可以模擬成從數(shù)據(jù)庫取出來），現(xiàn)在需要設(shè)計(jì)一個(gè)接口，保證接口可以比較快速的獲取100W的數(shù)據(jù)，獲取數(shù)據(jù)突然中斷可以斷點(diǎn)繼續(xù)獲取，同時(shí)還要保證接口安全

查看完整描述

2 回答

動(dòng)漫人物

TA貢獻(xiàn)1815條經(jīng)驗(yàn) 獲得超10個(gè)贊

這么大的數(shù)據(jù)量，還要求斷點(diǎn)續(xù)傳，幸好是日志數(shù)據(jù)，實(shí)時(shí)性應(yīng)該要求不高。
可以考慮讓服務(wù)A定時(shí)導(dǎo)出到一個(gè)文件，然后服務(wù)B通過ftp/sftp之類的直接下載，ftp的速度已經(jīng)夠快的了，如果還要更快，可以搭個(gè)NFS共享文件。（都是支持?jǐn)帱c(diǎn)續(xù)傳的哦）

反對回復(fù) 2018-10-14