第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號安全,請及時(shí)綁定郵箱和手機(jī)立即綁定
已解決430363個(gè)問題,去搜搜看,總會(huì)有你想問的

Pandas UDF 返回沒有數(shù)據(jù)的數(shù)據(jù)框

Pandas UDF 返回沒有數(shù)據(jù)的數(shù)據(jù)框

梵蒂岡之花 2023-02-15 17:35:06
我正在嘗試在 pyspark (Spark 2.4.5) 中應(yīng)用非常簡單的 Pandas UDF,但它對我不起作用。例子:pyspark --master local[4] --conf "spark.pyspark.python=/opt/anaconda/envs/bd9/bin/python3" --conf "spark.pyspark.driver.python=/opt/anaconda/envs/bd9/bin/python3" >>> my_df = spark.createDataFrame(...     [...         (1, 0),...         (2, 1),...         (3, 1),...     ],...     ["uid", "partition_id"]... )from pyspark.sql.types import StructType, StructField, StringTypeschema = StructType([StructField("uid", StringType())])from pyspark.sql.functions import pandas_udf, PandasUDFTypeimport pandas>>> @pandas_udf(schema, PandasUDFType.GROUPED_MAP)... def apply_model(sample_df):...     print(sample_df)...     return pandas.DataFrame({"uid": sample_df["uid"]})...>>> result = my_df.groupBy("partition_id").apply(apply_model)>>> result.show()   uid  partition_id0    1             0[Stage 13:==================================================>    (92 + 4) / 100]   uid  partition_id0    2             11    3             1+---+|uid|+---+|  ||  ||  |+---+不知何故 uid 沒有反映在結(jié)果中。你能說我在這里缺少什么嗎?
查看完整描述

1 回答

?
婷婷同學(xué)_

TA貢獻(xiàn)1844條經(jīng)驗(yàn) 獲得超8個(gè)贊

抱歉,不好意思,我在模式中寫錯(cuò)了類型,應(yīng)該是 LongType() 而不是 StringType()



查看完整回答
反對 回復(fù) 2023-02-15
  • 1 回答
  • 0 關(guān)注
  • 110 瀏覽
慕課專欄
更多

添加回答

舉報(bào)

0/150
提交
取消
微信客服

購課補(bǔ)貼
聯(lián)系客服咨詢優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動(dòng)學(xué)習(xí)伙伴

公眾號

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號