資料倉儲建置的問題,透過圖書和論文來找解法和答案更準確安心。 我們找到下列訂位、菜單、價格優惠和問答集

資料倉儲建置的問題,我們搜遍了碩博士論文和台灣出版的書籍,推薦寫的 化鏡為窗:大數據分析強化大學競爭力 和尹相志的 SQL Server 2005 OLAP線上即時分析(附光碟)都 可以從中找到所需的評價。

另外網站OLAP和資料倉儲 - 中山資管也說明:OLAP和資料倉儲. 黃三益. 國立中山大學資管系. 2006資料庫核心理論與實務. 2. OLAP. ▫ Overview. ▫ Data Warehouse的建置過程. ▫ Data analysis.

這兩本書分別來自國立陽明交通大學 和悅知文化所出版 。

國立屏東科技大學 高階經營管理碩士在職專班 蔡正發所指導 吳信宏的 應用線上分析處理與資料探勘於生產預算之人力配置策略-以某抽取液體機械公司為例 (2020),提出資料倉儲建置關鍵因素是什麼,來自於資料倉儲、線上分析處理、資料探勘、人力配置。

而第二篇論文佛光大學 資訊應用學系 駱至中所指導 謝舜丞的 大數據環境下SCADA系統資料前處理機制之研究 (2019),提出因為有 大數據、資料倉儲、元資料、資料處理、資料採集與監控系統的重點而找出了 資料倉儲建置的解答。

最後網站資料倉儲是什麼? - ATian則補充:資料倉儲 (DW,data warehouse)是一種資訊系統的資料儲存「理論」,此理論強調利用某些特殊資料儲存方式,讓所包含的資料,特別有利於分析處理,以產生有價值的資訊並依 ...

接下來讓我們看這些論文和書籍都說些什麼吧:

除了資料倉儲建置,大家也想知道這些:

化鏡為窗:大數據分析強化大學競爭力

為了解決資料倉儲建置的問題,作者 這樣論述:

直覺式校務治理OUT!大數據分析IN!   在巨量資訊年代裡,「大數據」已經成為提升大學競爭力的必要工具,不僅能系統化地整合校園資源,更能透過了解學生狀態,從學生為主體來推動校務發展,成為大學校院改進與辦學的重要依據,也是各界了解大學校務研究實務的途徑之一。讓學校分析自身資料、辨清優劣,如同一面鏡子映射出校務真實面貌;從而連結全世界的大學公開資料、加以比較分析,進一步打開世界校務治理之窗,找到大學發展的飛翔方向。   本書以多元化的實證技術,加上豐富的案例,輔以超過170張的全彩圖表,不僅剖析高教相關議題的起因與複雜性,更具體展現交通大學大數據研究中心如何協助校務「化鏡為窗」的研究成果。其

中包括「學習評估與評鑑」、「決策支援」、「資料治理」三大校務研究議題,以及「百川招生」等多元入學管道與「SAIL 計畫」、「跨域教學」等近年重要校務發展成效。   期待本書提供的交大校務研究經驗,能與其他大學彼此切磋、共同精進,讓大數據分析不僅是「呈現數據」,更能針對學校的重點議題進入深入的探討,作為各校在未來面對校務問題時,解決問題與參酌思考的重要指引。 本書特色   1.交通大學首度不藏私公開,以大數據進行校務研究之專書。   2.運用多元化實證技術,佐以豐富案例,具體呈現校務議題研究成效。   3.在數據研究之外,更進一步剖析數據背後的意義,有利協助校方進行校務相關決策。   4.

全書全彩印刷,以大量統計圖表及歸納清晰的表格,與深入淺出的文字相輔相成,有助讀者理解。   編者簡介 王蒞君   國立交通大學電機系講座教授、IEEE Fellow。現任大數據研究中心主任、IBM智慧物聯網巨量資料分析研發中心主任、腦科學研究中心主任、工研院資通研究所特聘研究。研究專長包括無線通訊及軟體定義行動通訊網路、巨量資料分析與智慧物聯網等。 劉奕蘭   國立交通大學教育研究所暨師資培育中心教授、大數據研究中心副主任。研究專長為教育心理學、青少年的發展與適應、親子互動、霸凌旁觀者效應等。   序言 交通大學代理校長陳信宏 緒章 翻轉校務研究新未來     

                 王蒞君、劉奕蘭 【學習評估與評鑑】 第二章 百川學子引領自學新潮流            吳俊育、粘美玟、程姿螢 第三章 SAIL計畫觸動大學教育新未來      陳鏗任、黎少奇、吳歡鵲 第四章 校務研究助攻破解跨領域成功密碼         張繐礠、卓坤申 【決策支援】 第五章 大數據精準招生開展共贏局面            鄭朝陽、林珊如 第六章 多元學習歷程與招生就學表現初探   陳思光、常善媚、林珊如 第七章 多元入學管道交大生學習成效盤點           王維菁、謝維軒 第八章 由交大再探大學均質化及不同生源學業表現    毛靖嵐、洪慧念

第九章 正確解讀世界大學排名                           陳瑋真 【資料治理】 第十章 淺談校務資料治理                楊子奇、劉育君、林惠敏 終章  以大數據為「鏡」打開校務治理之「窗」            王蒞君   序章 翻轉校務研究新未來   國立交通大學大數據研究中心主任 王蒞君、副主任 劉奕蘭   校務研究源自美國大學,其宗旨是透過資料蒐集、分析學生及教職員學習與教學的成效,以促進高等教育機構的運作與決定。(註1)校務資料的公開化是全世界校務研究的趨勢,透過縝密的校務資料分析可以發掘學校的優勢與潛力,量化學校的研究能量及教學的

特色,校務資料大數據分析的整體效益,就如這本書封面所言,可以化鏡為窗。這些資料就像一面鏡子讓我們看清自己,同時這面鏡子也是一扇窗,是可以被打開的,告訴我們高等教育全球化未來的發展趨勢。   2015 年教育部為善用學校資源並提高學生學習成效,提出「大學提升校務專業管理能力計畫」,獎勵各大學建立以學生為基礎的學習資料庫。交大隨即成立「大數據研究中心」(以下簡稱本中心),進行大學生學習成效評估以及提升機制的校務議題研究。   本中心結合資訊技術(Information Technology) 和校務研究(Institutional Research),提供證據為本的分析報告,協助學校領導、行政

及教學單位進行決策。同時也為學校主管機關、排名機構及社會大眾提供辦學成效的相關數據。2018 年2月本中心提出BEST 校務研究服務理念,包含了解需求(Business)、改善使用者經驗(Experience)、創新服務(Service)、先進技術(Technology)等四項領域,以掌握「從經驗決策走向資料決策」,以及「商業智慧走向人工智慧」的校務研究國際趨勢。   為了實踐BEST 服務理念,我們需要從資料倉儲、資料治理、議題分析到行政決策,建置一套完整規劃的資料倉儲。建置過程中經過資料清洗去除不必要的雜質,才能在去蕪存菁後的沃土中,撒下各種議題種子,也才能長得又快又好。相關基礎建設與校

務議題分析工作,簡述如下:   三大基礎打底,資料治理快又好   基礎建設工作主要分為三大核心項目:   一、校務資料倉儲系統   「資料倉儲」建置目的,是將散落各處室的資料進行整合,具備節省重複蒐集資料的時間成本、可彈性自行串接主題性資料集、永久儲存校務資料與可做為校務研究資料儲存的單一窗口等特性。依照建置時間的順序,又可分為三個層面   (一)    策略層面   建置規劃需考量資料倉儲和校務資料特性,與可利用資源的多寡。本中心採取全面建置策略:包括①資料盤點與檢視;②透過資料萃取(Extract)、轉置(Transform)和載入(Load)整合全校校務相關資料;③回應校級計畫指標與

加值應用,目標為建置全校型資料倉儲。   (二)    實施層面   整合校內可運用的軟硬體資源,規劃資料倉儲系統架構及開發環境後,分階段進行需求訪談、校務資料盤點、邏輯確認、開發設計及測試驗證。   (三)    服務層面   建置資料分析及資料申請服務流程:   從提出議題分析需求或資料申請→確認申請內容→資料整理及進度回覆→回饋分析結果或提供去識別化資料→結案   資料分析部分由本中心提供議題分析報告給相關業務單位,透過電話或面對面說明報告內容,再由業務單位擬定相關措施,經單位主管同意及相關必要程序後付諸執行。   二、資訊整合平台   建置資料倉儲的同時也規劃「資訊整合平台」,

目的為聚合及管理資訊系統,並具備校務研究成果展示及申請資料功能,建置策略為每年於平台上建置新的系統功能。本中心目前已完成中心網站、校務及財務資訊公開專區、數據視覺化系統與校庫資訊公開專區,未來將陸續建置校務資料自動填報、高中學習歷程、資料申請功能、校務資料雲端化等新系統。   三、校務資料加值中心   資料倉儲及資訊平台趨於完善後,就會面臨整合資料庫申請、利用及發表等問題。本中心為遵循《個人資料保護法》、《人體研究法》、《大學法》與資訊安全策略等規範,配合資料不離校原則,於2018 年啟動「校務資料加值中心」規劃。包括簽署個資使用同意書、空間設計、軟硬體規劃、遠端虛擬桌面建置、資料申請流程、

REC 及校務議題委員會技術審查等,皆逐一規範資料使用規則。「校務資料加值中心」已於2019 年10 月完成空間及硬體設備的建置,並於2020 年3 月20 日於校內行政會議中通過「校務資料庫管理及申請使用作業要點」,嚴格規範資料使用辦法,以落實個資保護及資訊安全的策略。   二大議題分析,校務研究動起來   除了積極進行基礎建設,為了促進教職員參與校務研究,本中心也與教研所和統計所教師群合作,在2018 年共執行超過20 個研究議題,依目的可分為二大類:   一、學習評估與評鑑   透過研究設計及評分策略,將學生學習轉化為可觀察、可評量的能力,藉由資料蒐集了解學習進展,達成改善教學與學習

目標。2018 年主要聚焦於創新課程的學習成效評估,包括百川學位學程實施成效、理學院自主愛學習表現、跨域學程學習成效、ICT 創創工坊學習評估、通識跨域選課現況分析、總整性課程學習成效等。   二、決策支援   為支援行政首長作為校內決策或調整現行制度的任務議題,包含國際生獎學金、境外生學習成效、起飛生就學率與學習表現、高中多元學習表現類型與大一修課表現、高中與大學均質化、學生學習特質與學業表現及世界大學排名等。   三大焦點領域,分享成果不藏私   本書的誕生,乃是前述校務研究議題成果的集結彙整,期盼將交大的校務研究經驗與其他大學校務研究工作夥伴分享,彼此切磋、共同精進。全書共分五大部分

,除由本章介紹校務研究宗旨、目標及創新服務概念外,尚包括以下三大單元及結語:   一、學習評估與評鑑   為了落實教學創新及提升教學品質,積極規劃各種教學政策,鼓勵教師教學精進,期盼提升全校教學創意與價值,交大自2015 年起,便以創新、彈性及多元的開課模式,延伸學生自主學習、彈性修課的可能性為目標,推動許多創新學制。   其中,「跨域學程」的設置,即為統籌全校9 個學院的教學資源及重新規劃47個跨域課程模組,協助學生拓展跨域專長。「自主愛學習」則根據理學院推動的「自主愛學習啟航計畫」,製作優良的數位課程,透過「學習彈性」及「學習教練」制度的支持,培養學生處處學習的習慣,和自我規劃、自我監

控的自主學習能力。「百川學位學程」更是特殊選才招生培育試驗,招收具備特殊專長或創新設計力、獨立思考力潛能的高中生,讓學生選擇適合自己的學程就讀,為跳脫傳統學系框架的全新學習體制。   本單元收錄章節,就是針對三種新式學制所進行的學生學習評估研究。張繐礠博士撰寫的〈校務研究助攻破解跨領域成功密碼〉描述高等教育推動跨域學程可能面臨的制度、教學及學習困境。為了解這些困境背後的影響主因,需界定適合的評估指標,如師資及學生人數、跨域學生的學習成績、學術研究力及畢業流向等,並透過校務資料回應評估指標,以獲知初步的實施成效。   〈SAIL 計畫觸動大學教育新未來〉一章,則探討107 學年第一學期參與「

SAIL」計畫學生,參與課程的準備度與學習表現情況,並透過學生在學習平台的學習軌跡,了解不同類型學生在線上課程所展現的學習策略與路徑。吳俊育副教授在〈百川學子引領自學新潮流〉則採用質性與量化研究方法,蒐集結構化與非結構化資料。除以訪談及問卷調查了解學生入學後的學習適應情況外,也從學生入學面談筆試資料中,歸納出學生哪些特質最能影響錄取率,讓未來入學審查流程更加適切精準。   二、決策支援   值得一提的是,透過彙整各種數值證據,協助行政及學術單位從不同層面了解學校現行制度狀況、整體競爭力及學生學習成效,更是校務研究的重要職責。校務研究的主要任務之一,在於提供數據分析所得實證,作為校方政策決定參

考。   對高等教育而言,學生是學校的最大資源,然而大學招生方式卻受到教育部嚴格規範。從1995 年教育部推動的「大學多元入學方案」,到2007 年的「大學繁星計畫」,以及2014 年全面施行的十二年國民基本教育,無不強調大學選才多元化。因此,如何制定並發展精準的招生指標和策略,以招攬優秀適性的學生,便成為各大學的重要課題。   本書第二單元「決策支援」即針對歷年不同管道入學的交大學生之特質、興趣及學習表現進行分析,進一步協助學校制定招生指標,作為各學系選擇適性學生入學的參考。在〈大數據精準招生開展共贏局面〉一文,鄭朝陽助理教授及林珊如特聘教授首先介紹如何使用巨量資料分析,協助交大招生專業

計畫小組針對個人申請入學書面審查,制定符合各學系的審查指標,讓書面評審標準更加科學化,也更具公平性。   洪慧念教授的〈由交大再探大學均質化及不同生源學業表現〉,根據過去數年交大大學部與研究所學生的入學管道與就讀學校來源,了解學生來源是否更趨多元,檢視教育部高中職均質化政策成效。王維菁教授於〈多元入學管道交大生學習成效盤點〉探討過去數年交大學生學習成績表現,是否會因不同入學管道、就讀高中學校類型、性別而有所差異。   而陳思光博士在〈多元學習歷程與招生就學表現初探〉一文,從過去數年交大申請入學書面資料中,檢視高中學員學習活動表現類型與入學後學習表現的關聯性,並提供各學系針對個人申請管道中的

書面審查建議,制定合適的審查尺規。最後,陳瑋真研究助理撰寫的〈正確解讀世界大學排名〉是針對各大學研究論文、教學、師資、服務、設施、成就表現和學術聲譽等資料的綜合評估,也是大學辦學成效指標之一。然而,世界大學排名系統很多,各系統評量指標定義和權重都不同,到底應如何詮釋世界大學排名結果?該文即重點介紹目前較知名的世界大學排名系統,並提供解讀排名結果的建議。   三、資料治理   「校務資料治理」能整合全校各處室部門的資訊,儼然是校務研究的基石,也是校務研究辦公室能否有效運作的關鍵。由楊子奇助理教授、劉育君研究助理及林惠敏助理研究員編寫的「資料治理」單元所收錄之〈淺談校務資料治理〉一文,便從廣義概

念介紹資料治理定義、目的、理念與實踐論起,其次根據本校建立資料倉儲的經驗,描述校務資料倉儲規劃過程,包括資料倉儲建立前的準備工作、系統規劃架構、資料清洗與資料倉儲建立,以及後續資料安全維護,如資料安全使用與適法性。文中分享的交大經驗,實為他校資料治理與實踐的最佳範例參考。   交通大學大數據研究中心自2015 年成立至今,已逐步完成資料倉儲建制與各類校務議題研究。本書收錄文章內容乃摘錄於各校務議題研究專文,可惜篇幅限制,無法完整呈現所有研究議題與內容,未來本中心仍將秉持BEST 服務理念,持續進行更多元的校務議題研究。也期望藉由這本書的拋磚引玉與分享,協助更多大學校務研究工作人員,一起為提升

臺灣校務研究品質而努力。   註1. Saupe, J. L., & Montgmery, J. R. (1970). The nature and role of institutional research: Memo to a college or university. (ED049672)  

資料倉儲建置進入發燒排行的影片

當污染已成習慣,居民生活如何改善?

本日環保局業務報告,森堡首先針對產博園區揚塵空污問題、山外溪上游牛隻養殖污染問題及莒光公園寵物排泄物等三件陳情案,向環保局提出公開檢舉,請環保局依法進行必要的宣導、裁罰等行政措施,藉以改善環境問題。

其中環保局長亦承認山外溪養殖戶問題是陳年舊案,既然是陳年舊案,行政部門又不予處置,這是嚴重的行政怠惰,更是置下游居民飲用水水質安全於不顧,森堡不僅要求環保局即刻改善,後續也會持續追蹤本案。

此外,產博園區因大面積開挖,工地揚塵造成的空汙問題,森堡這邊已受理多位民眾陳情檢舉,質詢過程中楊局長也承認環保局也是受害者。

目前,環保局針對產業園區辦理的環境監測,是基於102年建設處委外的環境影響評估進行,從102年至產博園區開工,環境因子是否已有變化,當初的評估結果是否與現況有所落差,森堡除要求檢討102年環境影響評估,也希望環保局提供環境影響評估資料,並將監測資料上網公告,大家再一起來檢視!

除了上述污染問題外,森堡亦針對「減容貨櫃」、「環境保護基金年度業務」、「土壤及地下水污染調查及查證工作計劃」、「興建廢棄物倉儲貯存廠」、「廚餘製成堆肥」及「建置露燃地圖,推動熱后點管制」提出質詢,詳情請見質詢影片。

應用線上分析處理與資料探勘於生產預算之人力配置策略-以某抽取液體機械公司為例

為了解決資料倉儲建置的問題,作者吳信宏 這樣論述:

因應客製化而產生的少量多樣生產型態,生產人力對此生產型態來說,占了人事成本很大的比例。而為了銷售目標,了解生產訂單型態與生產效率,以建立日常人力配置,使得提升效率及人力配置之調配,以確保達到產銷營運的團隊績效。本研究利用資料倉儲、線上分析處理及資料探勘之研究方法對個案公司生產資料進行探討:(一)訂單生產與庫存生產所占比率;(二)生產高峰月分是否與颱風季節相關;(三)各單位生產工時負荷是否有逐年上升的趨勢;(四)因應銷售目標,人力配置方式為何。最後,本研究針對研究結果,對個案公司提出相關建議,以作為精進之參考。

SQL Server 2005 OLAP線上即時分析(附光碟)

為了解決資料倉儲建置的問題,作者尹相志 這樣論述:

.資料倉儲與OLAP:循序漸進的介紹,將多維度資料倉儲建置與OLAP技術完整呈現。 .動態多維度分析:藉由Cube精靈,進而了解OLAP可依資料庫中不同的構面,分析其關聯性,產生動態且即時的報表,支援管理決策。 .複雜計算快速查詢:透過MDX語法講解,管理者可使用OLAP線上分析模組,根據不同變項的考量,執行資源配置及趨勢分析等複雜計算。 .透析應用模式:以實務演練來充分運用OLAP運算效能、資料模型、資料安全及擴充彈性等特性,來達成企業決策支援的使命。 本書特色   《SQL Server 2005 OLAP線上即時分析》透過SQL Server 2005 Analysis Servi

ces線上即時分析的技術,針對資料倉儲進行快速的複雜分析,可提供企業做為決策的參考與依據。作者以豐富的實務經驗,對多維度倉儲資料分析進行深入探討,使資料庫開發者能夠有效運用OLAP,分析出有價值的資訊,提昇企業競爭力。 作者簡介 尹相志   現任亞洲資採資深採礦顧問、微軟商業智慧講師;曾擔任Microsoft SQL Server 2005、SPSS Clementine、IBM Intelligent Miner等資料採礦工具講師。   有多年資料採礦、資料倉儲、顧客關係管理以及信用評分卡實務經驗,協助過中國信託、萬泰商銀、復華銀行、中華商銀、康健人壽、大都會人壽、和信電訊、HOLA特力和樂

等企業導入商業智慧專案;網路問卷調查系統-ISS及網路收視率即時調查系統-iRate之研發者(SuperPoll數博網)。   第26屆國際化學奧林匹亞世界銀牌、第八屆李遠哲獎學金得主,並獲選為微軟「最有價值專家」(Most Valuable Professional;MVP)。 第01章 資料倉儲與多維度分析 第02章 統一維度模型 第03章 一般維度設計 第04章 時間維度設計 第05章 基礎Cube建置 第06章 設定量值群組與維度關係 第07章 導出成員與MDX Expression 第08章 MDX Statement與MDX Script 第09章 關鍵績效指標K

PI設計與管理 第10章 商務智慧範本 第11章 動作 第12章 設計、處理與管理儲存體 第13章 跨國商業智慧 第14章 權限設定 第15章 多維度分析應用開發 第16章 資料驗證與完整性 第17章 OLAP資料採礦 第18章 轉移升級為 Analysis Services 2005 第19章 Excel 2007商業智慧分析   自資料倉儲的觀念於1988年問世以來,商業智慧已成為現代化企業不可或缺的管理工具,在其中多維度分析正是與前端使用者最密不可分的項目,運用友善而彈性的分析平台,提供了決策者高回應速率以及高品質的營運資訊。   自Microsoft於1998

年推出的SQL Server 7.0首次加入多維度分析功能自今,短短三年的時間就成為全球市場佔有率最高的多維度分析平台,因此睽違五年的SQL Server 2005改版,其全新的物件架構以及彈性的功能,更勢必引起商業智慧界的另一波新高潮。   不過對於初學者來說,熟悉了Analysis Services 2000的設計流程後,難免對於全新的設計概念與實作感到陌生害怕,還記得首次拿到SQL Server 2005 Beta1的那天,那種迫不及待安裝,同時為了改版功能感動莫名的心情,也希望能夠透過本書傳遞給各位讀者。   對於Analysis Services 2005來說,多維度分析已經不再是單

純的資訊工具,同時也賦予它更多管理、分析以及預測的功能。有鑑於目前市面上相關的教材與資源不多,而大多數現存的文件也都是偏重在IT面的教授,因此筆者在撰寫此書的同時,也根據自身過往的實務專案經驗,除了較為枯燥的介面操作與理論之外,添加了更多商務上分析與管理的邏輯與範例,讓商業智慧不但只有資訊系統有「智慧」,更希望能夠更融入各位實際的「商業」場景之中。   本書大體上分為三大部分,首先是從資料倉儲與多維度分析的簡史與市場現況做出發,介紹基礎資料結構與維度設計。   接著,則是從資料面出發,詳述Analysis Services 2005所提供的分析功能,包括量值群組與維度關係、MDX、關鍵績效指標

(KPI)、商務智慧範本一直到跨國商業智慧等。   最後,則是涵蓋多維度分析管理、開發以及前端使用者應用的議題,讓資料庫管理人員、系統開發人員以及前端使用者理解如何透過自身熟悉的方式,享受Analysis Services 2005帶來的新世代分析威力。   本書終於在被專案填滿的時間內完成了,感謝微軟產品經理黃淑翠小姐的協助,提供關於SQL Server 2005許多相關的協助與資源,同時要感謝一起合作的SQL Server 講師群:胡百敬、楊自強、錢曉明以及姚巧玫老師們,沒有大家一起為SQL Server 2005解碼探祕的過程,無法造就本書的豐富內容。   同時也要感謝亞洲資採的所有顧問

們,我們一起並肩作戰完成了許多成效卓著專案,這些輝煌的戰史,有讓我們對於在商業智慧這個領域努力有更堅定的信念,因為你們,本書才能夠朝向完美的目標更邁進一步。 -尹相志

大數據環境下SCADA系統資料前處理機制之研究

為了解決資料倉儲建置的問題,作者謝舜丞 這樣論述:

隨著時代的進步,電腦儲存的空間越來越大,可以蒐集的資料越來越多,隨之出現「大數據」這一詞,在如此龐大的資料中,透過資料探勘便可發現資料潛藏的巨大價值,使得許多企業開始朝著這方向開始研究,不過除了分析資料外,資料的前處理也是十分重要的一環,若資料的品質不好,在分析上會出現許多問題。資料採集與監控(Supervisory Control And Data Acquisition,SCADA)就是一個蒐集數據的系統,透過多個感測器回傳資料,便可在SCADA系統提供的介面觀測到數據變化,也能因應不同的狀況提供使用者進行操作以控制機器。雖然SCADA系統能蒐集到巨量的資料,但所蒐集的資

料內往往因故產生許多離群值(Outlier)以及遺漏值(Missing value)的資料品質問題,若直接使用這些未經過處理的值則會誤導資料分析並產生誤判。此外,在SCADA系統建置後,常會有感測器的新增或替換,此狀況會導致SCADA系統連結的資料庫有許多欄位上的異動。因此,為了結構化管理大規模的數據,其下特定用之資料倉儲(Data warehouse)及資料市集(Data mart)的建立是目前最有效的做法。 綜上所述本研究會以某水處理廠為例,使用其中SCADA系統內的資料為主佐以台灣中央氣象局資料、水質資料等外部資料,為之設計並模擬建置一個資料倉儲或其大數據管理機制。論文研究

中除分析並討論建置此資料倉儲過程中的資料關係、資料前處理機制外,也提供時間序列追蹤的方式,針對各個欄位進行時序的追蹤並重組,以提供使用者不同角度的分析資料。研究中亦嘗試使用關聯式分析尋找資料間的規則,並將有效規則加入至SCADA系統中來改善品質控制。最後,整個研究程序亦從軟體工程管理的角度,提供元資料(Metadata)的格式方便使用者維護,使某水處理廠在建立資料倉儲後便能簡化前處理的步驟,以利於大數據管理機制的持續運作。