顯示具有 SQL-Labs 標籤的文章。 顯示所有文章
顯示具有 SQL-Labs 標籤的文章。 顯示所有文章

2014年2月25日 星期二

Lab16:在SSIS封裝中使用自訂程式碼

這個練習將會使用 Data Profiling Task 去分析資料庫中客戶電子郵件資料的樣版(Pattern)。並將分析結果輸出到 XML 檔案中。 然後再使用 Script Task 來開啟這個檔案,以讀取 XML 文件中樣版的資料。

根據得到的樣版,再使用正規表達式去驗證另一個資料庫中的電子郵件資料,找出不符合這個樣版的郵件。

2014年2月24日 星期一

Lab15:資料模楜比對

在這個 Lab 中,將練習以下二個主題:

  • 如何使用模糊查閱(Fuzzy Lookup),對整批的資料執行識別對應。
  • 如何使用 MDS Add-in for Excel 來清除重複資料。

2014年2月18日 星期二

Lab14:資料比對

這個 Lab 將練習如何使用 DQS Cleansing Transformation ,以及如何使用 DQS 比對原則知識庫進行重複資料的清除。

2014年2月13日 星期四

Lab13:資料清理

在 Lab12 中我們已經建立好知識庫,現在我們要建立一個「DQS 專案」,並使用該知識庫來進行資料清理的工作。

除了 DQS 專案可以用來分析資料品質,另外,如果在 SSIS 封裝中,你也可以利用「 Data Profiling Task 」來分析資料的分佈狀況,以判別是否有淺在的資料品質問題。

2014年2月12日 星期三

Lab12:建立知識庫

這個練習示範如何透過知識探索(knowledge discovery)來建立知識庫(KB),並且在知識庫中進行定義域的維護工作。

2014年1月24日 星期五

Lab10:建立 MDS 模型

這個 Lab 將練習如何建立 MDS 模型及其相關物件。並且在模型中,以手動方式,建立實體的成員。

2014年1月2日 星期四

Lab8:異動資料擷取

設計「異動資料擷取」時,通常會將封裝分成二部份:「初始載入」和「遞增載入」封裝。

初始載入」封裝通常只會執行一次, 它和一般的載入封裝沒什麼差別,只不過在 Control Flow 中的最開始和結尾處,各加入一個 CDC Control Task ,用以記錄相關 CDC 狀態。 而資料流程的內容則和一般的 ETL 流程沒什麼不同。

遞增載入」封裝,也是在 Control Flow 中的最開始和結尾處,各加入一個 CDC Control Task ,用以記錄相關 CDC 狀態。 不過,在資料流程中,必須透過 CDC Source 來讀取 CDC 資料, 並利用 CDC Splitter 將新增、修改、刪除的資料分割開來處理。

2013年12月19日 星期四

Lab5:資料流程設計2

前一個練習中,我們已經可以將資料 ETL 到倉儲資料庫。 在這個練習中,我們將變換一些轉換技巧,來提升整個 ETL 轉換過程的執行效率。

Lab4:資料流程設計

在建立倉儲資料庫時,常會需要使用到 Stage 資料表,所以底下的 Lab 一開始會使用三個簡單的方法,來練習(1)如何在 Data Flow 將來源資料 ETL 到 Stage 資料表。 (2)再使用較進階的方法將 Stage 資料匯整成倉儲資料庫所要的資料。 (3)最後再練習如何在 Data Flow 中,判斷一筆資料是要新增或更新到倉儲資料庫。

2013年12月13日 星期五

Lab3:控制流程設計

若要使用 SSIS 來設計 ETL 執行工作, 首要目標就是決定使用何種 Task 來處理需求, 然後選擇適當的 Container 來優化效能。

底下例子練習,我們將練習如何由指定目錄中讀取 .csv 檔案, 並進行匯入到資料庫的操作。 如果執行成功,將檔案搬移到 data_success 目錄, 如果執行失敗,將檔案搬移到 data_failed 目錄。

2013年12月10日 星期二

Lab2:建立倉儲資料庫

在以下的練習中,我們將建立一個 DW 資料庫,並使用 AdventureWorksDW2012 資料庫當做資料來源執行 ETL。