第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號安全,請及時(shí)綁定郵箱和手機(jī)立即綁定
已解決430363個(gè)問題,去搜搜看,總會有你想問的

elasticsearch 數(shù)據(jù)量大,如何全表匯總

elasticsearch 數(shù)據(jù)量大,如何全表匯總

慕森王 2018-07-21 22:17:30
有多個(gè) index,記錄產(chǎn)品數(shù)據(jù),每個(gè)index近20G大想對這些index每一個(gè)做匯總,比如匯總某個(gè)index中所有商家統(tǒng)計(jì)數(shù)據(jù),并保存到新index中,但aggs查詢又無法分頁,我知道還有scroll,scan,但又看到如果scroll查詢中包含聚合,只有最初的查詢結(jié)果是聚合結(jié)果scan查詢不支持聚合所以,如果我想統(tǒng)計(jì)整個(gè)index,有什么方案可選?
查看完整描述

1 回答

?
瀟瀟雨雨

TA貢獻(xiàn)1833條經(jīng)驗(yàn) 獲得超4個(gè)贊

ES分頁方案
守則:

  1. 禁止使用From/Size

  2. 獲取排序數(shù)據(jù)采用search_after方法,每次只返回排序數(shù)據(jù),不返回其他數(shù)據(jù),排序數(shù)據(jù)保存在ES中

  3. 分頁搜索采用search_after方法,根據(jù)ES排序索引設(shè)置搜索起點(diǎn),每次返回所有數(shù)據(jù)

優(yōu)點(diǎn): 訪問速度最快,理論上是單頁訪問時(shí)間秒級,對ES壓力小
缺點(diǎn):需要單獨(dú)一個(gè)線程維護(hù)排序數(shù)據(jù)數(shù)組,且由于進(jìn)行排序的索引中ES數(shù)據(jù)可能被刪除,而ES排序索引的數(shù)據(jù)還未更新,訪問數(shù)據(jù)有較低概率出現(xiàn)單頁某條數(shù)據(jù)被新數(shù)據(jù)擠出分頁界面的概率,有較低概率會出現(xiàn)前一頁的最后一條數(shù)據(jù)出現(xiàn)在本頁,本頁的最后一條數(shù)據(jù)出現(xiàn)在下一頁的情況。
具體實(shí)施細(xì)節(jié):程序一開始就會在ES中創(chuàng)建一個(gè)排序索引,然后采用search_after算法,不斷計(jì)算要進(jìn)行分頁的索引的排序數(shù)據(jù),保存在ES中,此程序是循環(huán)進(jìn)行。然后要訪問的時(shí)候只需要讀取分頁索引和對應(yīng)的分頁排序索引的值,就可以得出對應(yīng)頁的數(shù)據(jù)。

Restful過程介紹:

  1. 獲取排序數(shù)據(jù)的Restful語句

第一頁:
GET test_delete/_search
{

"size":15,"sort":[
  {"randomDouble":"DESC"},
  {"randomInt": "DESC"},
  {"phone":"DESC"}
],"_source": "{}"

}
獲得最后一項(xiàng)排序數(shù)據(jù)
第N頁:
GET test_delete/_search
{

"size":15,"sort":[
  {"randomDouble":"DESC"},
  {"randomInt": "DESC"},
  {"phone":"DESC"}
],"search_after":[
      排序數(shù)據(jù)
    ],"_source": "{}"

}
這個(gè)過程開一個(gè)線程,不斷循環(huán)更新排序數(shù)據(jù)

  1. 獲取對應(yīng)頁數(shù)據(jù)的Restful語句

第一頁:
GET test_delete/_search
{

"size":15,"sort":[
  {"randomDouble":"DESC"},
  {"randomInt": "DESC"},
  {"phone":"DESC"}
]

}
第N頁:
GET test_delete/_search
{

"size":15,"sort":[
  {"randomDouble":"DESC"},
  {"randomInt": "DESC"},
  {"phone":"DESC"}
],"search_after":[
      排序數(shù)據(jù)
    ],

}
對比獲取排序數(shù)據(jù),該restful語句刪除"_source": "{}",以此來獲得該頁所有數(shù)據(jù)


查看完整回答
反對 回復(fù) 2018-07-28
  • 1 回答
  • 0 關(guān)注
  • 1793 瀏覽
慕課專欄
更多

添加回答

舉報(bào)

0/150
提交
取消
微信客服

購課補(bǔ)貼
聯(lián)系客服咨詢優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動(dòng)學(xué)習(xí)伙伴

公眾號

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號