什麼是「異動資料擷取」
在 DW 的設定過程中,有些來源資料表會隨著時間不停的在變更,例如訂單資料表。 若要將這些變更定期載入到 DW 中,不可能每次都 Copy 整個來源快照集,因為這樣會耗費較多時間和資源。 所以「遞增載入」(Incremental Load)的需求就此產生,也就是每次執行 ETL 時只會轉移新增或異動的資料。
在處理這類問題時,你可以會遇到情況:
- 你可以區分出何謂新的資料,所以,你只要轉移新增或異動的資料即可。
- 你無法區分新舊的界線,但是你可以區分特定區間的資料,例如每次轉移特定月或特定天的資料。
- 沒有任何資訊可以讓你區分新舊資料的界線。
本章節將介紹幾種方法來解決「異動資料擷取」的問題。