Spark 2.0 Dataset vs DataFrame從spark 2.0.1開始我有一些問題。我閱讀了很多文檔,但到目前為止找不到足夠的答案:有什么區(qū)別df.select("foo")df.select($"foo")我能正確理解嗎myDataSet.map(foo.someVal)是類型安全的,不會轉(zhuǎn)換為RDD但保留在DataSet表示/沒有額外的開銷(2.0.0的性能明智)所有其他命令,例如select,..只是語法糖。它們不是類型安全的,可以使用地圖代替。如果df.select("foo")沒有地圖聲明,我怎么能輸入?為什么我應該使用UDF / UADF而不是地圖(假設(shè)地圖保留在數(shù)據(jù)集表示中)?
Spark 2.0 Dataset vs DataFrame
陪伴而非守候
2019-07-25 09:47:09