火花函數(shù)對UDF性能的影響？SPARK現(xiàn)在提供了預定義的函數(shù)，可以在數(shù)據倉庫中使用，而且看起來它們是高度優(yōu)化的。我最初的問題是哪個更快，但我自己做了一些測試，發(fā)現(xiàn)火花函數(shù)至少在一個例子中快了10倍。有誰知道為什么會這樣，以及什么時候UDF會更快(僅在存在相同火花函數(shù)的情況下)？下面是我的測試代碼(運行在Databricks社區(qū)ed上)：# UDF vs Spark functionfrom faker import Factoryfrom pyspark.sql.functions import lit, concat fake = Factory.create()fake.seed(4321)# Each entry consists of last_name, first_name, ssn, job, and age (at least 1)from pyspark.sql import Rowdef fake_entry():   name = fake.name().split()   return (name[1], name[0], fake.ssn(), fake.job(), abs(2016 - fake.date_time().year) + 1)# Create a helper function to call a function repeatedlydef repeat(times, func, *args, **kwargs):     for _ in xrange(times):         yield func(*args, **kwargs)data = list(repeat(500000, fake_entry))print len(data)data[0]dataDF = sqlContext.createDataFrame(data, ('last_name', 'first_name', 'ssn', 'occupation', 'age'))dataDF.cache()UDF功能：concat_s = udf(lambda s: s+ 's')udfData = dataDF.select(concat_s(dataDF.first_name).alias('name'))udfData.count()火花功能：spfData = dataDF.select(concat(dataDF.first_name, lit('s')).alias('name'))spfData.count()運行兩次，UDF通常需要1.1-1.4秒，而火花concat函數(shù)總是在0.15秒以下。