如何將RDD拆分為兩個或多個RDD？我正在尋找一種將RDD分割成兩個或多個RDD的方法。我最近看到的是ScalaSPark：將集合拆分成幾個RDD？仍然是一個單一的RDD。如果您熟悉SAS，如下所示：data work.split1, work.split2;
set work.preSplit;
if (condition1)
output work.split1
else if (condition2)
output work.split2
run;這就產(chǎn)生了兩個不同的數(shù)據(jù)集。必須立即堅持才能得到我想要的結(jié)果.。
3 回答
函數(shù)式編程
TA貢獻1807條經(jīng)驗 獲得超9個贊
PartitionerRangePartitioner.
val filtered = partitioned.mapPartitions { iter => {
new Iterator[Int](){
override def hasNext: Boolean = {
if(rangeOfPartitionsToKeep.contains(TaskContext.get().partitionId)) {
false
} else {
iter.hasNext }
}
override def next():Int = iter.next()
}- 3 回答
- 0 關(guān)注
- 1150 瀏覽
添加回答
舉報
0/150
提交
取消