我對(duì) pyspark 和 RDD 非常陌生。如果這個(gè)問(wèn)題非常簡(jiǎn)陋，請(qǐng)見(jiàn)諒。我已使用以下代碼按數(shù)據(jù)進(jìn)行映射和清理：delay = datasplit.map(lambda x: ((x[33], x[8], x[9]))).filter(lambda x: x[0]!= u'0.00').filter(lambda x: x[0]!= '')但現(xiàn)在我需要以某種方式轉(zhuǎn)換為以下輸出：(124, u'"OO""N908SW"')(432, u'"DL""N810NW"')其中第一個(gè)是x[33]由 x[8] 和 x[9] 組合分組時(shí)的上述總和我已完成映射并獲得以下輸出（接近）lines = delay.map(lambda x: (float(x[0]), [x[1], x[2]]))輸出：[(-10.0, [u'OO', u'N908SW']),(62, [u'DL', u'N810NW]), (-6.0, [u'WN', w'N7811F'])]但我無(wú)法弄清楚如何減少或組合x(chóng)[1]并x[2]創(chuàng)建上面顯示的輸出。提前致謝。
2 回答
拉風(fēng)的咖菲貓
TA貢獻(xiàn)1995條經(jīng)驗(yàn) 獲得超2個(gè)贊
作為一般經(jīng)驗(yàn)法則，您需要盡可能少的 Python 操作。
我將您的代碼簡(jiǎn)化為一map加一reduce。
import operator
delay_sum = datasplit\
.map(lambda x: (x[8]+x[9], float(x[33]) if any(x[33]) else 0.0))\
.reduceByKey(operator.add)
不用說(shuō)，使用 spark 數(shù)據(jù)幀時(shí)，這些類型的操作通常運(yùn)行得更快。
12345678_0001
TA貢獻(xiàn)1802條經(jīng)驗(yàn) 獲得超5個(gè)贊
您可以在下面創(chuàng)建密鑰reduceByKey，然后應(yīng)用然后映射以獲得統(tǒng)一密鑰：
from operator import add
result = delay.map(lambda x: ((x[1], x[2]), x[0])) \
.reduceByKey(add).map(lambda x: (x[0][1] + x[0][2], x[1]))
添加回答
舉報(bào)
0/150
提交
取消