第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號安全,請及時(shí)綁定郵箱和手機(jī)立即綁定
已解決430363個(gè)問題,去搜搜看,總會(huì)有你想問的

由:org.apache.spark.sql.Dataset上的java.lang

由:org.apache.spark.sql.Dataset上的java.lang

下面我提供我的代碼。我遍歷DataFrame,prodRows并為每個(gè)product_PK找到了匹配的product_PKs子列表prodRows。  numRecProducts = 10  var listOfProducts: Map[Long,Array[(Long, Int)]] = Map()  prodRows.foreach{ row : Row =>      val product_PK = row.get(row.fieldIndex("product_PK")).toString.toLong      val gender = row.get(row.fieldIndex("gender_PK")).toString      val selection = prodRows.filter($"gender_PK" === gender || $"gender_PK" === "UNISEX").limit(numRecProducts).select($"product_PK")      var productList: Array[(Long, Int)] = Array()      if (!selection.rdd.isEmpty()) {        productList = selection.rdd.map(x => (x(0).toString.toLong,1)).collect()      }    listOfProducts = listOfProducts + (product_PK -> productList)  }但是當(dāng)我執(zhí)行它時(shí),它給了我以下錯(cuò)誤。selection在某些迭代中看起來像是空的。但是,我不明白如何處理此錯(cuò)誤:Driver stacktrace:    at org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$failJobAndIndependentStages(DAGScheduler.scala:1690)    at org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1678)    at org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1677)    at scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59)    at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:48)    at org.apache.spark.scheduler.DAGScheduler.abortStage(DAGScheduler.scala:1677)    at org.apache.spark.scheduler.DAGScheduler$$anonfun$handleTaskSetFailed$1.apply(DAGScheduler.scala:855)    at org.apache.spark.scheduler.DAGScheduler$$anonfun$handleTaskSetFailed$1.apply(DAGScheduler.scala:855)    at scala.Option.foreach(Option.scala:257)    at org.apache.spark.scheduler.DAGScheduler.handleTaskSetFailed(DAGScheduler.scala:855)    at org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.doOnReceive(DAGScheduler.scala:1905)這是什么意思,我該如何處理?
查看完整描述

2 回答

?
藍(lán)山帝景

TA貢獻(xiàn)1843條經(jīng)驗(yàn) 獲得超7個(gè)贊

問題是您嘗試prodRows從內(nèi)部訪問prodRows.foreach。您不能在轉(zhuǎn)換中使用數(shù)據(jù)框,數(shù)據(jù)框僅存在于驅(qū)動(dòng)程序中。


查看完整回答
反對 回復(fù) 2019-12-04
  • 2 回答
  • 0 關(guān)注
  • 922 瀏覽

添加回答

舉報(bào)

0/150
提交
取消
微信客服

購課補(bǔ)貼
聯(lián)系客服咨詢優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動(dòng)學(xué)習(xí)伙伴

公眾號

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號