一個批量任務啟動多個線程執(zhí)行,中間意外停止。再次啟動任務執(zhí)行時:如何保證批量任務中的子任務不會重復執(zhí)行?具體的業(yè)務場景是:每天通過文件的形式批量的與第三方公司傳遞數(shù)據(jù),暫稱之為請求文件,之后從第三方公司獲取處理結(jié)果的文件,稱之為結(jié)果文件。請求文件與結(jié)果文件中每一行相互對應。但是之前業(yè)務處理過程中沒有將結(jié)果文件中的數(shù)據(jù)整體解析到數(shù)據(jù)庫中,僅僅是拿到每一行中的結(jié)果碼字段來記錄處理結(jié)果。現(xiàn)在所要做的事情是:將歷史結(jié)果文件解析到數(shù)據(jù)庫中。每一行倒是有主鍵,通過主鍵可以保證數(shù)據(jù)的唯一性,目前解析任務中間斷掉,再次啟動解析任務,文件還是會被解析一遍,重復的數(shù)據(jù)去重。但是,我想要的效果是,文件不會被重復解析,不然很浪費時間的。。。。。
有沒有童鞋遇到過同樣的問題:一個任務啟動多個線程執(zhí)行 , 中間意外停止 。 再次啟動任務執(zhí)行時 , 怎么保證冪等性 ?
繁星點點滴滴
2019-06-21 17:08:06