首頁(yè) 猿問(wèn) Spark：如何使用Scala或J...

Spark：如何使用Scala或Java用戶定義函數(shù)映射Python？

Java Python

明月笑刀無(wú)情 2019-10-09 17:51:47

例如，假設(shè)我們的團(tuán)隊(duì)選擇了Python作為使用Spark開(kāi)發(fā)的參考語(yǔ)言。但是稍后出于性能原因，我們希望開(kāi)發(fā)特定于Scala或Java的庫(kù)，以便將它們與我們的Python代碼進(jìn)行映射（類似于具有Scala或Java框架的Python存根）。您是否不認(rèn)為可以將新的自定義Python方法與某些Scala或Java用戶定義函數(shù)進(jìn)行接口？

查看完整描述

3 回答

繁星淼淼

TA貢獻(xiàn)1775條經(jīng)驗(yàn) 獲得超11個(gè)贊

我缺少有關(guān)如何registerJavaFunction知道在哪里可以找到UDF的信息...您能在這里詳細(xì)說(shuō)明目錄結(jié)構(gòu)嗎？您是否sbt clean assembly在其他目錄中找到了scalaVersion :=...（build.sbt??）和package com.example.spark.udfs...（src/main/scala??）文件？