第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號(hào)安全,請(qǐng)及時(shí)綁定郵箱和手機(jī)立即綁定
已解決430363個(gè)問(wèn)題,去搜搜看,總會(huì)有你想問(wèn)的

Spark 中是精確分位數(shù)還是近似分位數(shù)?

Spark 中是精確分位數(shù)還是近似分位數(shù)?

慕工程0101907 2023-08-16 16:24:53
為了計(jì)算分位數(shù),我使用可從any或of中的函數(shù)approxQuantile訪問(wèn)的方法。這篇文章解釋了它的近似方式。stat()DatasetDataframeSpark@Test@DisplayName("Quantiles de la population communale fran?aise")public void quantiles() throws TechniqueException {   Dataset<Row> populationCommunes = individus().selectExpr("populationTotale");   double[] quantiles = populationCommunes.stat().approxQuantile("populationTotale", new double[] {0.1, 0.25, 0.5, 0.75, 0.9}, 0);   LOGGER.info("Population des communes fran?aises :\n Q(10%) : {}, Q(25%) = {}, Q(50%) = {}, Q(75%) = {}, Q(90%) = {}",       quantiles[0], quantiles[1], quantiles[2], quantiles[3], quantiles[4]); }結(jié)果令人放心:Population des communes fran?aises : Q(10%) : 105.0, Q(25%) = 204.0, Q(50%) = 468.0, Q(75%) = 1186.0, Q(90%) = 3250.0但如果我真的想要得到精確的分位數(shù)值,而不是近似值,我該如何實(shí)現(xiàn)呢Spark?在這里,我有大約 35,000 個(gè)城市:我很樂(lè)意Spark花時(shí)間研究 的每個(gè)值Dataset。
查看完整描述

1 回答

?
qq_遁去的一_1

TA貢獻(xiàn)1725條經(jīng)驗(yàn) 獲得超8個(gè)贊

Spark 中的函數(shù)approxQuantile可用于計(jì)算精確的分位數(shù)。從文檔中我們看到有3個(gè)參數(shù):

public double[][] approxQuantile(String[] cols, double[] probabilities, double relativeError)

最后一個(gè)是relativeError. 這里的描述說(shuō):

relativeError - 要達(dá)到的相對(duì)目標(biāo)精度(大于或等于 0)。如果設(shè)置為零,則計(jì)算精確的分位數(shù),這可能非常昂貴。請(qǐng)注意,接受大于 1 的值,但給出的結(jié)果與 1 相同。

所以你需要做的就是將此參數(shù)設(shè)置為 0.0。



查看完整回答
反對(duì) 回復(fù) 2023-08-16
  • 1 回答
  • 0 關(guān)注
  • 177 瀏覽
慕課專欄
更多

添加回答

舉報(bào)

0/150
提交
取消
微信客服

購(gòu)課補(bǔ)貼
聯(lián)系客服咨詢優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動(dòng)學(xué)習(xí)伙伴

公眾號(hào)

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號(hào)