火花2.0+：
你可以用approxQuantile實現(xiàn)Greenwald-Khanna算法:
Python:
df.approxQuantile("x", [0.5], 0.25)斯卡拉:
df.stat.approxQuantile("x", Array(0.5), 0.25)其中最后一個參數(shù)是一個相對錯誤。次數(shù)越少，計算結(jié)果越準(zhǔn)確，計算量越大。
星火2.2(火花-14352)它支持對多列的估計：
df.approxQuantile(["x", "y", "z"], [0.5], 0.25)
和
df.approxQuantile(Array("x", "y", "z"), Array(0.5), 0.25)火花<2.0
Python
正如我在評論中提到的，這很可能不值得大驚小怪。如果數(shù)據(jù)相對較小，比如在您的情況下，那么只需在本地收集和計算中值：
import numpy as np
np.random.seed(323)rdd = sc.parallelize(np.random.randint(1000000, size=700000))%time np.median(rdd.collect())np.array(rdd.collect()).nbytes
在我?guī)啄昵暗碾娔X上，它需要大約0.01秒的時間和大約5.5MB的內(nèi)存。
如果數(shù)據(jù)要大得多，排序?qū)⑹且粋€限制因素，因此，與其獲得確切的值，不如在本地進行采樣、收集和計算。但是，如果你真的想讓一個人使用星火，這樣的事情應(yīng)該能起作用(如果我什么都沒搞砸的話)：
from numpy import floorimport timedef quantile(rdd, p, sample=None, seed=None):
"""Compute a quantile of order p ∈ [0, 1]
:rdd a numeric rdd
:p quantile(between 0 and 1)
:sample fraction of and rdd to use. If not provided we use a whole dataset
:seed random number generator seed to be used with sample
"""
assert 0 <= p <= 1
assert sample is None or 0 < sample <= 1
seed = seed if seed is not None else time.time()
rdd = rdd if sample is None else rdd.sample(False, sample, seed)
rddSortedWithIndex = (rdd.
sortBy(lambda x: x).
zipWithIndex().
map(lambda (x, i): (i, x)).
cache())
n = rddSortedWithIndex.count()
h = (n - 1) * p
rddX, rddXPlusOne = (
rddSortedWithIndex.lookup(x)[0]
for x in int(floor(h)) + np.array([0L, 1L]))
return rddX + (h - floor(h)) * (rddXPlusOne - rddX)
還有一些測試：
np.median(rdd.collect()), quantile(rdd, 0.5)## (500184.5, 500184.5)np.percentile(rdd.collect(), 25), quantile(rdd, 0.25)## (250506.75, 250506.75)np.percentile(rdd.collect(), 75), quantile(rdd, 0.75)(750069.25, 750069.25)
最后，讓我們定義中位數(shù)：
from functools import partial
median = partial(quantile, p=0.5)
到目前為止還不錯，但是它需要4.66秒的本地模式，沒有任何網(wǎng)絡(luò)通信。也許有辦法改善這一點，但為什么還要費心呢？
語言獨立 (蜂箱):
如果你用HiveContext您也可以使用HiveUDAFs。具有積分值：
rdd.map(lambda x: (float(x), )).toDF(["x"]).registerTempTable("df")sqlContext.sql("SELECT percentile_approx(x, 0.5) FROM df")具有連續(xù)值：
sqlContext.sql("SELECT percentile(x, 0.5) FROM df")在……里面percentile_approx您可以傳遞另一個參數(shù)，該參數(shù)確定要使用的多個記錄。
