第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號(hào)安全,請(qǐng)及時(shí)綁定郵箱和手機(jī)立即綁定
已解決430363個(gè)問(wèn)題,去搜搜看,總會(huì)有你想問(wèn)的

elasticsearch 數(shù)據(jù)量大,如何全表匯總

elasticsearch 數(shù)據(jù)量大,如何全表匯總

慕森王 2018-07-21 22:17:30
有多個(gè) index,記錄產(chǎn)品數(shù)據(jù),每個(gè)index近20G大想對(duì)這些index每一個(gè)做匯總,比如匯總某個(gè)index中所有商家統(tǒng)計(jì)數(shù)據(jù),并保存到新index中,但aggs查詢又無(wú)法分頁(yè),我知道還有scroll,scan,但又看到如果scroll查詢中包含聚合,只有最初的查詢結(jié)果是聚合結(jié)果scan查詢不支持聚合所以,如果我想統(tǒng)計(jì)整個(gè)index,有什么方案可選?
查看完整描述

1 回答

?
瀟瀟雨雨

TA貢獻(xiàn)1833條經(jīng)驗(yàn) 獲得超4個(gè)贊

ES分頁(yè)方案
守則:

  1. 禁止使用From/Size

  2. 獲取排序數(shù)據(jù)采用search_after方法,每次只返回排序數(shù)據(jù),不返回其他數(shù)據(jù),排序數(shù)據(jù)保存在ES中

  3. 分頁(yè)搜索采用search_after方法,根據(jù)ES排序索引設(shè)置搜索起點(diǎn),每次返回所有數(shù)據(jù)

優(yōu)點(diǎn): 訪問(wèn)速度最快,理論上是單頁(yè)訪問(wèn)時(shí)間秒級(jí),對(duì)ES壓力小
缺點(diǎn):需要單獨(dú)一個(gè)線程維護(hù)排序數(shù)據(jù)數(shù)組,且由于進(jìn)行排序的索引中ES數(shù)據(jù)可能被刪除,而ES排序索引的數(shù)據(jù)還未更新,訪問(wèn)數(shù)據(jù)有較低概率出現(xiàn)單頁(yè)某條數(shù)據(jù)被新數(shù)據(jù)擠出分頁(yè)界面的概率,有較低概率會(huì)出現(xiàn)前一頁(yè)的最后一條數(shù)據(jù)出現(xiàn)在本頁(yè),本頁(yè)的最后一條數(shù)據(jù)出現(xiàn)在下一頁(yè)的情況。
具體實(shí)施細(xì)節(jié):程序一開(kāi)始就會(huì)在ES中創(chuàng)建一個(gè)排序索引,然后采用search_after算法,不斷計(jì)算要進(jìn)行分頁(yè)的索引的排序數(shù)據(jù),保存在ES中,此程序是循環(huán)進(jìn)行。然后要訪問(wèn)的時(shí)候只需要讀取分頁(yè)索引和對(duì)應(yīng)的分頁(yè)排序索引的值,就可以得出對(duì)應(yīng)頁(yè)的數(shù)據(jù)。

Restful過(guò)程介紹:

  1. 獲取排序數(shù)據(jù)的Restful語(yǔ)句

第一頁(yè):
GET test_delete/_search
{

"size":15,"sort":[
  {"randomDouble":"DESC"},
  {"randomInt": "DESC"},
  {"phone":"DESC"}
],"_source": "{}"

}
獲得最后一項(xiàng)排序數(shù)據(jù)
第N頁(yè):
GET test_delete/_search
{

"size":15,"sort":[
  {"randomDouble":"DESC"},
  {"randomInt": "DESC"},
  {"phone":"DESC"}
],"search_after":[
      排序數(shù)據(jù)
    ],"_source": "{}"

}
這個(gè)過(guò)程開(kāi)一個(gè)線程,不斷循環(huán)更新排序數(shù)據(jù)

  1. 獲取對(duì)應(yīng)頁(yè)數(shù)據(jù)的Restful語(yǔ)句

第一頁(yè):
GET test_delete/_search
{

"size":15,"sort":[
  {"randomDouble":"DESC"},
  {"randomInt": "DESC"},
  {"phone":"DESC"}
]

}
第N頁(yè):
GET test_delete/_search
{

"size":15,"sort":[
  {"randomDouble":"DESC"},
  {"randomInt": "DESC"},
  {"phone":"DESC"}
],"search_after":[
      排序數(shù)據(jù)
    ],

}
對(duì)比獲取排序數(shù)據(jù),該restful語(yǔ)句刪除"_source": "{}",以此來(lái)獲得該頁(yè)所有數(shù)據(jù)


查看完整回答
反對(duì) 回復(fù) 2018-07-28
  • 1 回答
  • 0 關(guān)注
  • 1780 瀏覽
慕課專欄
更多

添加回答

舉報(bào)

0/150
提交
取消
微信客服

購(gòu)課補(bǔ)貼
聯(lián)系客服咨詢優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動(dòng)學(xué)習(xí)伙伴

公眾號(hào)

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號(hào)