資料重覆問題

在企業中，主要資料（ Master Data）的來源常常會經由不同系統匯入，此時最大的挑戰就是「識別對應（identity mapping）」和「資料重複（de-duplication）」問題。

例如：來自不同系統的客戶資料，他們使用不同的識別碼，但卻表示同一位客戶，在建置主資料時，你該如何識別它們，以剔除這樣子的重複性。 另一種狀況是像名字或地址這類資料，常常因為輸入打字的原故，彼此之間有些微的不同，但是卻又代表相同的資料，在建置主資料時，也應該要剔除這樣子的重複性。

在 SSIS 中自訂程式碼

在 SSIS 中提供許多工具或元件可以用來執行各種作業需求， 如果這些現成的元件還不能滿足需求話，你也可以利用以下元件，透過自訂程式碼的方式來設計封裝。

• Script Task ：允許在 Control Flow 中執行 .Net 腳本。
• Script Component ：允許在 Data Flow 中執行 .Net 腳本。
• Custom Components ：自訂元件，方便重複使用與部署。

SSIS and Data Mining

資料品質專案

在安裝 Data Quality Services 之後，你就可以開始使用 DQS 提升資料品質。 DQS 中的「資料品質專案（Data Quality Project）」是一種改善來源資料品質的一種專案， 它會利用知識庫（KB）中的資訊，執行「資料比對（matching）」和「資料清理（cleansing）」活動（Activity），然後將執行結果匯出到 SQL Server 資料庫或 .csv 檔案。

下表先簡單整理解決「資料清理（cleansing）」「資料比對（matching）」問題，可用的工具：

• 資料清理
  DQS cleansing project 、 Data Profiling Task 、 DQS Cleansing Transformation 。
• 資料比對
  DQS matching project 、 Fuzzy Lookup Transformation 、 Fuzzy Grouping Transformation 。

Lab10：建立 MDS 模型

這個 Lab 將練習如何建立 MDS 模型及其相關物件。並且在模型中，以手動方式，建立實體的成員。

管理 Master Data

設計 Master Data Services (MDS)

Master Data Services

Master Data Services（MDS）主要用途就是要用來執行主要資料管理（Master Data Management, MDM）。 主要資料指的是單位組織對其非交易之資料進行探索與定義，以便匯編成一份可維護的主要清單。 成功的 MDM 方案可產生可靠的集中式資料，以利資料分析，以便導出更好的商業性決策。

也就是說，MDS 主要用來維護一個精確且集中式的資料（即主要資料），確保整個組織的所有應用程式都能夠共同參考這一份資料。 例如：ERP, HMS, CRM 等不同系統，他們都必參照到"人"的資料，就可以透過 MDS 建立一份人的主要資料，以便當做這些應用程式的中央資料單位。 或者像郵遞區號，通常也都是當做主要資料。

MDM 專案一般包含內部商業程序的評估與重組，以及 MDM 技術的實作。 只要透過適當的訓練，大部分商務使用者應該都可以實作 Master Data Services 方案。 此外，您還可以使用 MDS 管理任何網域（domain)；它不是單指管理客戶、產品或帳戶的清單。 首次安裝 MDS 時，它不包含任何網域的結構，但您可以經由建立模型來定義所需要的網域。