第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號(hào)安全，請(qǐng)及時(shí)綁定郵箱和手機(jī)立即綁定
已解決430363個(gè)問(wèn)題，去搜搜看，總會(huì)有你想問(wèn)的

通過(guò)執(zhí)行數(shù)據(jù)庫(kù)提取操作動(dòng)態(tài)生成 Spark 列

通過(guò)執(zhí)行數(shù)據(jù)庫(kù)提取操作動(dòng)態(tài)生成 Spark 列

慕無(wú)忌1623718 2022-08-17 15:42:04
我有一個(gè)包含2列的火花數(shù)據(jù)幀。我想在火花數(shù)據(jù)幀上生成第3列。第 3 列必須由使用前 2 列從 DB 提取的值填充。data = data.withColumn("z", getValueOfZ(col("x"),col("y")));我無(wú)法弄清楚，如何在函數(shù)中使用x和y填充y的值。getValueOfZ（） 需要根據(jù) x 和 y 的值執(zhí)行選擇查詢，并返回 Z 的值getValueOfZ()
查看完整描述

1 回答

?
蕪湖不蕪

TA貢獻(xiàn)1796條經(jīng)驗(yàn) 獲得超7個(gè)贊

我不知道應(yīng)該做什么。使用 Spark 有 3 個(gè)選項(xiàng)。getValueOfY()

操作簡(jiǎn)單

如果是簡(jiǎn)單的操作，則可以使用.例如，如果結(jié)果是 x 和 y 的總和，則可以使用：expr()

df = df.withColumn("y", expr("x + y")));

您可以通過(guò)以下方式使用：expr()

import static org.apache.spark.sql.functions.expr;

內(nèi)置函數(shù)

Spark提供了很多這樣的功能。他們的Javadoc可以在這里找到。

自定義 UDF 轉(zhuǎn)換

如果您的代碼更復(fù)雜，并且無(wú)法通過(guò)表達(dá)式或函數(shù)進(jìn)行處理，則可以調(diào)用 UDF（用戶定義函數(shù)）。

我希望它有幫助，不要猶豫，評(píng)論提出更多問(wèn)題。


查看完整回答
反對(duì) 回復(fù) 2022-08-17
  • 1 回答
  • 0 關(guān)注
  • 118 瀏覽
慕課專欄
更多

添加回答

舉報(bào)

0/150
提交
取消
微信客服

購(gòu)課補(bǔ)貼
聯(lián)系客服咨詢優(yōu)惠詳情

 幫助反饋 APP下載

慕課網(wǎng)APP
您的移動(dòng)學(xué)習(xí)伙伴

 公眾號(hào)

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號(hào)