我看到了 spark-cassandra-connector 的 github repo，我沒有發(fā)現(xiàn) ReaderBuilder 實現(xiàn)了它們，但是 WriterBuilder 實現(xiàn)了，任何人都可以幫助我，因為我想使用 CassandraConnector 引用從 cassandra DB 讀取數(shù)據(jù)。我想在同一個 SparkContext 中連接兩個 cassandra 集群，我想從它們兩個讀取數(shù)據(jù)，所以我需要一個 ReaderBuilder 來從我的第二個 cassandra 集群讀取數(shù)據(jù)，我在這里也使用 java 語言。Github 回購鏈接：https ://github.com/datastax/spark-cassandra-connector/blob/master/spark-cassandra-connector/src/main/java/com/datastax/spark/connector/japi/RDDAndDStreamCommonJavaFunctions.javaCassandraConnector eventsConnector = CassandraConnector.apply(sc.getConf().set("spark.cassandra.connection.host", "192.168.36.234"));
1 回答
茅侃侃
TA貢獻1842條經(jīng)驗 獲得超21個贊
我的第一個建議是不要在 Java 中使用 RDD。Java 中的 RDD 比 Scala 中的要困難得多，它也是舊的 api。我建議改用 DataFrames。這些提供了不同數(shù)據(jù)源之間更清晰的接口以及自動優(yōu)化和其他好處。
現(xiàn)在，如果您不能使用 DataFrames，您只需制作 CassandraJavaRDD，然后使用“withConnector”或“withReadConf”來更改讀取配置。
https://github.com/datastax/spark-cassandra-connector/blob/master/spark-cassandra-connector/src/main/java/com/datastax/spark/connector/japi/rdd/CassandraJavaRDD.java#L123-L129
就像是
val cluster2 = CassandraConnector eventsConnector =
CassandraConnector.apply(
sc.getConf()
.set("spark.cassandra.connection.host", "192.168.36.234"));
javaFunctions(sc).cassandraTable(ks, "test_table").withConnector(cluster2).collect()
}
不需要構(gòu)建器，因為 RDD 本身有一個流暢的 API。由于寫入是在調(diào)用結(jié)束時立即發(fā)生的，因此它需要一個構(gòu)建器。
添加回答
舉報
0/150
提交
取消