全量導入oracle的數(shù)據(jù)會遺漏數(shù)據(jù)
第一次的時候使用的增量同步,sql為select * from A where A.createTime>:sql_last_value and A.create_time <sysdate order by create_time? ,有分頁,分頁size為10000。整個數(shù)據(jù)量為800多萬,發(fā)現(xiàn)缺少一些數(shù)據(jù),沒有找到規(guī)律,于是改為全量同步。
第二次使用全量同步,sql為select * from A where A.createTime <某個日期。同樣使用分頁,size為10000,數(shù)據(jù)量為800多萬。結(jié)果少了10000條。發(fā)現(xiàn)為某個時間段內(nèi)的數(shù)據(jù)缺少,并且索引deleted條數(shù)為10000。懷疑分頁導致同步重復數(shù)據(jù),并丟失數(shù)據(jù)
第三次嘗試全量同步,增加排序字段order by create_time,過程耗時很久,一晚上才同步 90萬條,沒有讓他執(zhí)行完成,不知道結(jié)果
請問這是什么原因???
急急急
2022-02-10
那是計算上有誤差吧