基于數(shù)據(jù)倉庫技術(shù)的保險業(yè)統(tǒng)計分析系統(tǒng)設(shè)計論文
基于數(shù)據(jù)倉庫技術(shù)的保險業(yè)統(tǒng)計分析系統(tǒng)設(shè)計論文
保險業(yè)是指將通過契約形式集中起來的資金,用以補償被保險人的經(jīng)濟利益業(yè)務(wù)的行業(yè)。以下是學(xué)習(xí)啦小編今天為大家精心準(zhǔn)備的:基于數(shù)據(jù)倉庫技術(shù)的保險業(yè)統(tǒng)計分析系統(tǒng)設(shè)計相關(guān)論文。內(nèi)容僅供參考,歡迎閱讀!
基于數(shù)據(jù)倉庫技術(shù)的保險業(yè)統(tǒng)計分析系統(tǒng)設(shè)計全文如下:
摘 要:通過分析保險行業(yè)的核心業(yè)務(wù),采用數(shù)據(jù)倉庫技術(shù),對保險企業(yè)中的海量歷史數(shù)據(jù)進行集成和統(tǒng)計分析,得到精確的業(yè)務(wù)運行分析報告,對業(yè)務(wù)及客戶進行趨勢分析,以便及時作出正確決策并根據(jù)自身需要監(jiān)測業(yè)務(wù)運營。
關(guān)鍵詞:數(shù)據(jù)倉庫;保險業(yè);ETL;多維數(shù)據(jù);統(tǒng)計分析
1 數(shù)據(jù)倉庫簡介
數(shù)據(jù)倉庫(Data Warehouse,DW)是隨著關(guān)系數(shù)據(jù)庫、并行處理和分布式技術(shù)的飛速發(fā)展而產(chǎn)生的[1], W?H?Inmon出版了《Building the Data Warehouse》一書,給出了數(shù)據(jù)倉庫的定義:數(shù)據(jù)倉庫是一個面向主題的、集成的、非易失的、隨時間變化的用來支持管理人員決策的數(shù)據(jù)集合[2]。數(shù)據(jù)倉庫包含的是整個企業(yè)視圖的粒度化數(shù)據(jù)。
數(shù)據(jù)倉庫系統(tǒng)通常對多個異構(gòu)數(shù)據(jù)源有效集成,集成后按照主題進行重組[3]。存放在數(shù)據(jù)倉庫中的數(shù)據(jù)通常不再修改,用作進一步的分析型數(shù)據(jù)處理。
數(shù)據(jù)倉庫系統(tǒng)的建立和開發(fā)以企事業(yè)單位的現(xiàn)有業(yè)務(wù)系統(tǒng)和大量業(yè)務(wù)數(shù)據(jù)的積累為基礎(chǔ) [4],其開發(fā)是一個循環(huán)迭代過程,通常需要企業(yè)有一定的業(yè)務(wù)數(shù)據(jù)積累,開發(fā)人員將這些歷史數(shù)據(jù)通過ETL輸入到數(shù)據(jù)倉庫中,進行分析和統(tǒng)計,以建立決策支持輔助系統(tǒng),為企事業(yè)單位管理者提供決策支持。
2 保險業(yè)需求分析
隨著保險業(yè)發(fā)展及保險市場競爭的加劇,保險公司在管理和運營方面面臨著更高的要求,來自監(jiān)管、競爭、技術(shù)更新及全球化等各方面的壓力不斷考驗著保險企業(yè)。保險業(yè)發(fā)展的核心動力表現(xiàn)在以下幾個方面:①進入新分市場及提高業(yè)務(wù)質(zhì)量;②鞏固客戶忠誠度,適應(yīng)客戶多變的需求;③高效的運營;④精確的風(fēng)險及成本控制;⑤消除各種技術(shù)壁壘。
要做到上述目標(biāo)并不容易。對高層管理者來說,由于統(tǒng)計口徑的關(guān)系,很難獲取一致性數(shù)據(jù)進行比對,很難及時監(jiān)控到業(yè)務(wù)狀況,不能有效地進行決策支持。對于業(yè)務(wù)部門主管與業(yè)務(wù)分析員,所需報表難以及時獲取,即使取得的數(shù)據(jù)也難用于多視角、全方位地分析業(yè)務(wù)問題。對于IT部門來說,要不斷幫助業(yè)務(wù)部門制作報表,時間相對較長,而且開發(fā)的報表越多,特別是分析型的報表越多,業(yè)務(wù)系統(tǒng)性能越受影響。
以某人壽保險有限公司為例,該公司的數(shù)據(jù)支持情況如下:
(1)保單管理系統(tǒng)中大致有50張左右的報表在運行,但隨著公司業(yè)務(wù)的發(fā)展,數(shù)據(jù)分析及用于日常管理的制式報表與日俱增,報表數(shù)量將很快無法滿足業(yè)務(wù)發(fā)展需求。
(2)各業(yè)務(wù)管理部門有各自的制式報表及統(tǒng)計需求,但在將數(shù)據(jù)匯總時,時常出現(xiàn)因統(tǒng)計時點不同、指標(biāo)定義的理解差異等原因造成數(shù)據(jù)不一致,導(dǎo)致額外的數(shù)據(jù)校驗工作。
(3)當(dāng)前報表的IT實現(xiàn)基本上是按照單個報表需求來設(shè)計的,造成IT設(shè)計無法復(fù)用,報表開發(fā)缺乏整體規(guī)劃,呈一種臨時性狀態(tài),隨著報表及統(tǒng)計需求的增加,IT相應(yīng)的工作將與日俱增。
(4)因當(dāng)前報表及數(shù)據(jù)統(tǒng)計都在保單管理系統(tǒng)中運行,隨著需求數(shù)量的增加,保單管理系統(tǒng)將面臨沉重的夜間批處理壓力并嚴(yán)重影響日間日常業(yè)務(wù)操作的效率及穩(wěn)定性。
針對上述系統(tǒng)現(xiàn)狀,在建設(shè)中決定采用數(shù)據(jù)建模、ETL、數(shù)據(jù)分析以及數(shù)據(jù)展現(xiàn)等技術(shù),實現(xiàn)風(fēng)險管控分析、客戶服務(wù)分析、客戶維持分析、市場銷售分析、綜合分析和綜合管理6大功能,達到以下目標(biāo):①代替原有手工報表方式,為業(yè)務(wù)人員節(jié)省時間;②提供精細(xì)的分析數(shù)據(jù)。業(yè)績分析可以從營業(yè)部,鉆取到營業(yè)組,甚至每個FC(理財顧問),保全分析可以分析每種保全項目的明細(xì);③統(tǒng)一的分析口徑。各部門統(tǒng)計指標(biāo),可以在統(tǒng)一的時間點上進行公司級匯總;名稱一致的統(tǒng)計口徑,可以唯一定義一種統(tǒng)計方式;④唯一的報表平臺。從報表需求獲取到報表需求分析以及最后的實現(xiàn)都在一個體系下完成,公司數(shù)據(jù)分析工作逐步系統(tǒng)化和實用化。
3 系統(tǒng)設(shè)計
統(tǒng)計分析系統(tǒng)采用靈活架構(gòu),在構(gòu)建一個統(tǒng)一、穩(wěn)定的企業(yè)級數(shù)據(jù)倉庫基礎(chǔ)上,分步構(gòu)建各個獨立的分析應(yīng)用數(shù)據(jù)集市,滿足靈活性、擴展性要求,系統(tǒng)架構(gòu)如圖1所示。
保險數(shù)據(jù)倉庫是一個中央的知識數(shù)據(jù)庫,包含來自壽險系統(tǒng)、團險系統(tǒng)、短期險系統(tǒng)和電話銷售系統(tǒng)等源系統(tǒng)的源數(shù)據(jù),數(shù)據(jù)模型分為3層:
(1)數(shù)據(jù)準(zhǔn)備層(Staging Layer): 采用同源系統(tǒng)相似的數(shù)據(jù)結(jié)構(gòu)存儲源系統(tǒng)的每日增量數(shù)據(jù)。
(2)保險企業(yè)模型層(Insurance Enterprise Models Layer): 作為保險數(shù)據(jù)倉庫的核心,相應(yīng)的保險企業(yè)模型部署在該層。根據(jù)保險行業(yè)的業(yè)務(wù)視圖,保險企業(yè)模型分為10個主題,根據(jù)保險信息的特性而非事務(wù)處理的目的來設(shè)計,企業(yè)級上所有保險業(yè)務(wù)信息根據(jù)歷史版本進行記錄。在數(shù)據(jù)準(zhǔn)備層通過ETL(數(shù)據(jù)抽取轉(zhuǎn)換裝載程序)進行數(shù)據(jù)批處理,采用增量機制裝載進入保險企業(yè)模型。
(3)分析數(shù)據(jù)模型層(Analysis Data Models Layer): 各種各樣的數(shù)據(jù)分析需求歸類到不同的數(shù)據(jù)集市,如市場及銷售數(shù)據(jù)集市、運營效能數(shù)據(jù)集市、風(fēng)險管控數(shù)據(jù)集市等。分析數(shù)據(jù)模型即為滿足數(shù)據(jù)集市需求而采用維度建模方法特別設(shè)計的模型。分析數(shù)據(jù)模型從保險企業(yè)模型衍生而來,數(shù)據(jù)通過ETL 批處理,采用增量機制裝載進入保險企業(yè)模型。
ETL采用增量機制,每日從源系統(tǒng)抽取變更數(shù)據(jù)至Staging層,接著將Staging層數(shù)據(jù)轉(zhuǎn)換至企業(yè)模型和分析模型。在ETL批處理完成后,系統(tǒng)運行報表批處理生成報表并發(fā)布到相應(yīng)的報表文件服務(wù)器上。
OLAP元數(shù)據(jù)管理工具: 提供OLAP 元數(shù)據(jù)管理工具,用于管理所有OLAP 業(yè)務(wù)元數(shù)據(jù),包括指標(biāo)定義、維度層次定義、指標(biāo)與維度的關(guān)系及分析需求。通過使用這個工具可幫助保險企業(yè)統(tǒng)一KPI 定義及促進企業(yè)標(biāo)準(zhǔn)化管理,同時其管理的內(nèi)容可作為統(tǒng)計分析系統(tǒng)所支持的知識庫來使用。 OLAP平臺:選擇微軟的SQL Server 2008作為OLAP平臺。OLAP 工具支持分析的類型包括管理儀表盤、平衡記分卡、制式化管理報表、臨時查詢、數(shù)據(jù)挖掘等。
4 系統(tǒng)實現(xiàn)
4.1 ETL實現(xiàn)
ETL采用SQL Server集成服務(wù)來實現(xiàn)。Microsoft Integration Services 是一個可以生成高性能數(shù)據(jù)集成解決方案(包括為數(shù)據(jù)倉庫提取、轉(zhuǎn)換和加載ETL包)的平臺。Integration Services包括生成和調(diào)式包的圖形工具和向?qū)?執(zhí)行工作流函數(shù)操作和執(zhí)行SQL腳本等任務(wù);提取和加載數(shù)據(jù)的數(shù)據(jù)源和目標(biāo);清除、聚合、合并和復(fù)制數(shù)據(jù)的轉(zhuǎn)換;管理包執(zhí)行和存儲的管理服務(wù),即Integration Services;用于Integration Services對象模型編程的應(yīng)用程序編程接口(API)。
4.2 多維數(shù)據(jù)實現(xiàn)
創(chuàng)建報表之前,需要通過SQL Server分析創(chuàng)建多維數(shù)據(jù)模型。之所以使用SQL Server分析服務(wù)創(chuàng)建多維模型,主要是為了實現(xiàn)對業(yè)務(wù)數(shù)據(jù)的即席查詢。系統(tǒng)開發(fā)人員創(chuàng)建多維數(shù)據(jù)集以支持快速響應(yīng),并提供單個數(shù)據(jù)源以進行業(yè)務(wù)報告。商業(yè)智能的重要性不斷提高,使用單一的分析數(shù)據(jù)源可確保將差異減到最小(如果無法完全消除差異)。
4.3 報表系統(tǒng)實現(xiàn)
報表系統(tǒng)實現(xiàn)使用了SQL Server報表服務(wù),報表服務(wù)包含一整套管理報表的工具。報表工具在微軟的開發(fā)環(huán)境中工作,并與SQL Server無縫銜接。通過報表服務(wù),可以從多種不同的數(shù)據(jù)源創(chuàng)建各種不同樣式的報表。
5 應(yīng)用效果
該系統(tǒng)目前已經(jīng)在某人壽保險有限公司正式投入使用,結(jié)果顯示,該系統(tǒng)使業(yè)務(wù)數(shù)據(jù)的分析效率、分析能力大大提高,在一定程度上簡化了業(yè)務(wù)人員數(shù)據(jù)統(tǒng)計工作,對公司決策支持起到很大的幫助作用,系統(tǒng)良好的應(yīng)用價值體現(xiàn)在以下幾個方面:
①數(shù)據(jù)集成。數(shù)據(jù)倉庫能夠把來自多個不同子系統(tǒng)的數(shù)據(jù)進行有效集成,提供統(tǒng)一的、一站式的業(yè)務(wù)報表系統(tǒng);
?、诓樵冹`活方便。統(tǒng)計分析系統(tǒng)能夠根據(jù)不同的需求進行條件過濾,并支持?jǐn)?shù)據(jù)向上向下鉆取,數(shù)據(jù)查詢方式更加靈活,追溯更加簡單直接,為業(yè)務(wù)分析人員提供了很大的便利;
?、郯踩愿摺榱吮WC數(shù)據(jù)的安全性和可靠性,對數(shù)據(jù)倉庫中的數(shù)據(jù)實行統(tǒng)一管理;
④降低成本。統(tǒng)計分析系統(tǒng)的建立,可以代替原來的手工匯總操作,一次創(chuàng)建,只需要進行簡單的維護就可長期使用。
6 結(jié)語
本系統(tǒng)開發(fā)及系統(tǒng)運行工作得到如下經(jīng)驗及啟示:
(1)理念的轉(zhuǎn)變。在數(shù)據(jù)分析上,需要從清單和簡單匯總上升到數(shù)據(jù)分析,從單個部門分析到全局分析,從數(shù)據(jù)庫到數(shù)據(jù)倉庫進行分析設(shè)計。
(2)平臺統(tǒng)一管理要求。在報表的管理上,一個統(tǒng)一的部門管理面向高管的報表,制定統(tǒng)一的口徑;對沒有報表的部門需要嚴(yán)格確認(rèn)數(shù)據(jù)準(zhǔn)確性;對有報表的部門,不要局限于當(dāng)前的數(shù)據(jù)邏輯。
(3)系統(tǒng)擴展。報表需要不斷擴展和改進,不斷提高深度和廣度,收集更多數(shù)據(jù),提供更多報表;提升界面功能,精確授權(quán),自動分發(fā)報表;提升可用性,全面取代現(xiàn)有的其它報表系統(tǒng);從明細(xì)數(shù)據(jù)到統(tǒng)計數(shù)據(jù),進而分析數(shù)據(jù),最終實現(xiàn)商業(yè)智能、數(shù)據(jù)挖掘的目標(biāo)。