首頁(yè) 猿問(wèn) 關(guān)于大數(shù)據(jù)量,數(shù)據(jù)傳輸和存儲(chǔ)問(wèn)題

關(guān)于大數(shù)據(jù)量,數(shù)據(jù)傳輸和存儲(chǔ)問(wèn)題

JavaScript

慕田峪4524236 2019-04-19 15:59:00

場(chǎng)景一條件:數(shù)據(jù)庫(kù)有表A,里面有100W條數(shù)據(jù)。操作把表里面的數(shù)據(jù)全部取出來(lái),進(jìn)行處理問(wèn)題能不能一次全部取出來(lái)？既通過(guò)select字段1,字段2fromA來(lái)取出數(shù)據(jù)?（除了防止取出數(shù)據(jù)取出太多導(dǎo)致內(nèi)存溢出,還有什么需要考慮的嗎?）這里需要確定每次需要取出來(lái)的數(shù)據(jù)的個(gè)數(shù),需要考慮到哪些因素?場(chǎng)景二條件:A服務(wù)有一批數(shù)據(jù),需要調(diào)用B服務(wù)的接口來(lái)獲取詳細(xì)信息.B服務(wù)提供的是一個(gè)批量的接口操作A服務(wù)通過(guò)RPC調(diào)用B服務(wù)問(wèn)題:這里的一批數(shù)據(jù)能不能通過(guò)B服務(wù)的批量接口,通過(guò)一次RPC全部取過(guò)來(lái)(如果不能。主要擔(dān)心的是什么?)這里需要確定每次查詢(xún)數(shù)據(jù)的個(gè)數(shù),需要考慮到哪些因素?

查看完整描述

2 回答

動(dòng)漫人物

TA貢獻(xiàn)1815條經(jīng)驗(yàn) 獲得超10個(gè)贊

問(wèn)題11.可以先全部取出來(lái)，看看取出的數(shù)據(jù)有多大，如果只點(diǎn)幾M的內(nèi)存，一次性取出處理，應(yīng)該沒(méi)啥問(wèn)題2.如果分批取，注意排序，防止分頁(yè)取出相同的數(shù)據(jù)問(wèn)題2：1.看數(shù)據(jù)量，如果并不大，就一次調(diào)用處理掉就好了2.先去做吧，是問(wèn)題總歸會(huì)暴露出來(lái)的，從你簡(jiǎn)單的描述看，不知道有啥問(wèn)題。

反對(duì) 回復(fù) 2019-04-19

慕桂英4014372

TA貢獻(xiàn)1871條經(jīng)驗(yàn) 獲得超13個(gè)贊

2個(gè)場(chǎng)景先單純的說(shuō)一下場(chǎng)景一：1.能不能一次全部取出來(lái)？既通過(guò)select字段1,字段2fromA來(lái)取出數(shù)據(jù)?（除了防止取出數(shù)據(jù)取出太多導(dǎo)致內(nèi)存溢出,還有什么需要考慮的嗎?）2.這里需要確定每次需要取出來(lái)的數(shù)據(jù)的個(gè)數(shù),需要考慮到哪些因素?第一，你括弧中寫(xiě)的就是最大的問(wèn)題。第二，不考慮第一里面的括弧，這第二個(gè)問(wèn)題最需要考慮。你的需求是怎樣的？有沒(méi)有時(shí)間的限定？全拿一起處理也許會(huì)很慢，要不要分批分線(xiàn)程處理？當(dāng)然全拿還要考慮db查詢(xún)的速度和數(shù)據(jù)的準(zhǔn)確性，100W如果字段不多沒(méi)有大字段類(lèi)型（text,blob等）應(yīng)該還好。場(chǎng)景二：1.這里的一批數(shù)據(jù)能不能通過(guò)B服務(wù)的批量接口,通過(guò)一次RPC全部取過(guò)來(lái)(如果不能。主要擔(dān)心的是什么?)2.這里需要確定每次查詢(xún)數(shù)據(jù)的個(gè)數(shù),需要考慮到哪些因素?第一，這取決于B接口是怎么設(shè)計(jì)的，如果你想問(wèn)的是能不能做到，答案是可以，主要擔(dān)心的就是別給它太多了，它查的慢了？返回的太大了？第二，見(jiàn)下2個(gè)場(chǎng)景連起來(lái)說(shuō)一下吧。其實(shí)你的問(wèn)題還是性能，100W的數(shù)據(jù)處理要分批，但不知道怎樣做是最好的，我建議你先把這個(gè)處理的環(huán)境搭起來(lái)之后帶入數(shù)據(jù)自己測(cè)一下，這方面的問(wèn)題很復(fù)雜不是一兩句能說(shuō)清楚的。根據(jù)測(cè)試的結(jié)果自己來(lái)調(diào)節(jié)處理的速度和程序的性能，性能里面包含了實(shí)現(xiàn)，實(shí)現(xiàn)的方式也有很多種的，比如上面我提到的多線(xiàn)程處理，這還要看你查詢(xún)的數(shù)據(jù)是否能使用分批的去做。