2013年12月15日 星期日

資料倉儲資料載入

Loading large fact tables can be a problem. You have only a limited time window in which to do the load, so you need to optimize the load operation. In addition, you might be required to track the loads.

資料倉儲效能維護

Data warehouses are often very large, so you have to deal with performance problems. You can use index, data compression, columnstored indexed, T-SQL query skill ... to enhance performance.

2013年12月13日 星期五

Lab3:控制流程設計

若要使用 SSIS 來設計 ETL 執行工作, 首要目標就是決定使用何種 Task 來處理需求, 然後選擇適當的 Container 來優化效能。

底下例子練習,我們將練習如何由指定目錄中讀取 .csv 檔案, 並進行匯入到資料庫的操作。 如果執行成功,將檔案搬移到 data_success 目錄, 如果執行失敗,將檔案搬移到 data_failed 目錄。

2013年12月10日 星期二

Lab2:建立倉儲資料庫

在以下的練習中,我們將建立一個 DW 資料庫,並使用 AdventureWorksDW2012 資料庫當做資料來源執行 ETL。

2013年12月4日 星期三

資料倉儲設計

建構資料倉儲,就是要完成 ETL (extrac-transform-load)。 也就將資料從來源端經過萃取(extract)、轉置(transform)、載入(load)至目的端的過程。 而 SSIS 就是用來協助完成這項作業的工具。

2013年12月1日 星期日

資料倉儲簡介

Terminology

  • LOB:line-of-business
  • OLTP:online transational processing
  • OLAP:online analytical processing
  • SSAS:SQL Server Analysis Service
  • SSIS:SQL Server Integration Service
  • SCD:Slowly Changing Dimension
  • CDC:Change Data Capture
  • DQS:Data Quality Services
  • MDS:Master Data Service
  • BISM:Business Intelligence Semantic Model
  • DAX:Data Anaysis Expression, The query in the BISM tabular model
  • MDX:Mulit-Dimensional Expression, The query for the SSAS dimensional model

Tools

  • SSIS:SQL Server Integration Services
  • BIDS:Business Intelligence Development Studio (support VS2008 , SQL2008)
  • SSDT:SQL Server Data Tools (support VS2010)
  • DTS:Data Transformation Services (SQL2000)