第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

使用 Beam SQL 查詢 Avro 架構(gòu)

使用 Beam SQL 查詢 Avro 架構(gòu)

HUH函數(shù) 2024-01-05 16:43:20
我正在嘗試使用 Apache Beam 讀取 avro 文件并使用 Beam SQL 來轉(zhuǎn)換數(shù)據(jù)。我對 Beam 和 Java 還是新手。這是我的簡單代碼:public class BeamSQLReadAvro {    @SuppressWarnings("serial")    public static void main(String[] args) throws IOException {        PipelineOptions options = PipelineOptionsFactory.fromArgs(args).withValidation().create();        Pipeline p = Pipeline.create(options);        /* Schema definition */        Schema schema = new Schema.Parser().parse(new File("data/RATE_CODE/RATE_CODE.avsc"));        /* Create record/row */        PCollection<GenericRecord> records = p.apply(AvroIO.readGenericRecords(schema).from("data/RATE_CODE/*.avro"));        /* SQL Transform */        records.apply("SQL Transform 01",SqlTransform.query("SELECT RCODE,RNAME,RDESC FROM PCOLLECTION LIMIT 10"))        /* Print output */               .apply("Output",                      MapElements.via(                        new SimpleFunction<Row, Row>() {                          @Override                          public Row apply(Row input) {                            System.out.println("PCOLLECTION: " + input.getValues());                            return input;                          }                        }                      )               );        p.run().waitUntilFinish();    }}它給了我錯誤Exception in thread "main" java.lang.IllegalStateException: Cannot call getSchema when there is no schema我不明白,我定義了一個名為 schema 的變量。這里有什么指點嗎?
查看完整描述

1 回答

?
慕姐4208626

TA貢獻1852條經(jīng)驗 獲得超7個贊

實際上,您的管道中有兩種類型的模式 - Avro 和 Beam 模式。Avro 模式用于解析 Avro 輸入記錄,但對于 SQL 轉(zhuǎn)換,您應該使用具有 Beam 模式的行。為此,AvroIO提供一個選項withBeamSchemas(boolean),應true根據(jù)您的情況設置為,例如:

AvroIO.readGenericRecords(schema).withBeamSchemas(true).from("data/RATE_CODE/*.avro")



查看完整回答
反對 回復 2024-01-05
  • 1 回答
  • 0 關(guān)注
  • 138 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯(lián)系客服咨詢優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動學習伙伴

公眾號

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號