數(shù)據(jù)倉庫與智能卡應(yīng)用系統(tǒng)

文章出處：http://m.botanicstilllife.com 作者：創(chuàng)峰金安公司 楊升   人氣： 發(fā)表時(shí)間：2011年09月18日

1．前言 

    隨著全球一體化進(jìn)程的加劇和我國加入世貿(mào)組織，對我國政府及企業(yè)的管理工作提出了更高的要求。因此，充分利用現(xiàn)代信息科技技術(shù)，自動快速獲取有用的決策信息，為企業(yè)提供及時(shí)、準(zhǔn)確的決策支持，已成為大多數(shù)成功企業(yè)及政府部門的共識。 

    數(shù)據(jù)倉庫是近年來興起的一種新的數(shù)據(jù)庫應(yīng)用?！皵?shù)據(jù)倉庫”一詞最早出現(xiàn)于20世紀(jì)90年代初，目前已趨于成熟。據(jù)IDC調(diào)查，數(shù)據(jù)倉庫的平均投資回報(bào)率（ROI）已超過400%。數(shù)據(jù)倉庫技術(shù)與互聯(lián)網(wǎng)技術(shù)一樣，正在成為最快的IT增長點(diǎn)，并日益緊密地與智能卡應(yīng)用技術(shù)相結(jié)合。 

2．?dāng)?shù)據(jù)倉庫 

    傳統(tǒng)的數(shù)據(jù)庫技術(shù)是以單一的數(shù)據(jù)資源，進(jìn)行事務(wù)處理、批處理、決策分析等各種數(shù)據(jù)處理工作，主要的劃分為兩大類：操作型處理和分析型處理(或信息型處理)。操作型處理也叫事務(wù)處理，是指對數(shù)據(jù)庫聯(lián)機(jī)的日常操作，通常是對一個(gè)或一組紀(jì)錄的查詢和修改，主要為企業(yè)的特定應(yīng)用服務(wù)的，注重響應(yīng)時(shí)間，數(shù)據(jù)的安全性和完整性；分析型處理則用于管理人員的決策分析，經(jīng)常要訪問大量的歷史數(shù)據(jù)。傳統(tǒng)數(shù)據(jù)庫系統(tǒng)優(yōu)于企業(yè)的日常事務(wù)處理工作，而難于實(shí)現(xiàn)對數(shù)據(jù)分析處理要求，已經(jīng)無法滿足數(shù)據(jù)處理多樣化的要求。操作型處理和分析型處理的分離成為必然。 

    隨著數(shù)據(jù)庫技術(shù)的應(yīng)用和發(fā)展，人們嘗試對數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行再加工，形成一個(gè)綜合的，面向分析的環(huán)境，以更好支持決策分析，從而形成了數(shù)據(jù)倉庫技術(shù)。作為決策支持系統(tǒng)，數(shù)據(jù)倉庫系統(tǒng)包括： 

1）數(shù)據(jù)倉庫技術(shù)； 

    數(shù)據(jù)倉庫是適合知識發(fā)現(xiàn)的過程的結(jié)構(gòu)。數(shù)據(jù)倉庫的處理過程是從“數(shù)據(jù)清理/整合——>數(shù)據(jù)倉庫——>數(shù)據(jù)選擇——>數(shù)據(jù)挖掘——>模式評價(jià)——>知識”不斷循環(huán)的過程 

2）聯(lián)機(jī)分析處理技術(shù)； 

    聯(lián)機(jī)分析處理是使分析人員、管理人員或執(zhí)行人員能夠從多角度對信息進(jìn)行快速、一致、交互地存取,從而獲得對數(shù)據(jù)的更深入了解的一類軟件技術(shù)。 

3）數(shù)據(jù)挖掘技術(shù)； 

    從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)有數(shù)據(jù)中，提取出隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。它是在沒有明確假設(shè)的前提下去挖掘信息、發(fā)現(xiàn)知識。 

    數(shù)據(jù)倉庫彌補(bǔ)了原有的數(shù)據(jù)庫的缺點(diǎn)，將原來的以單一數(shù)據(jù)庫為中心的數(shù)據(jù)環(huán)境發(fā)展為一種新環(huán)境：體系化環(huán)境。 


    數(shù)據(jù)倉庫概念始于本世紀(jì)80年代中期，第一次出現(xiàn)是在號稱“數(shù)據(jù)倉庫之父”William H.Inmon的《建立數(shù)據(jù)倉庫》一書中。隨著人們對大型數(shù)據(jù)系統(tǒng)研究、管理、維護(hù)等方面的深刻認(rèn)識和不斷完善，在總結(jié)、豐富、集中各行業(yè)，企業(yè)信息的經(jīng)驗(yàn)之后，為數(shù)據(jù)倉庫給出了更為精確的定義，即“數(shù)據(jù)倉庫是在企業(yè)管理和決策中面向主題的、集成的、與時(shí)間相關(guān)的、不可修改的數(shù)據(jù)集合”。 

    數(shù)據(jù)倉庫并沒有嚴(yán)格的數(shù)學(xué)理論基礎(chǔ)，也沒有成熟的基本模式，且更偏向于工程，具有強(qiáng)烈的工程性。因此，在技術(shù)上人們習(xí)慣于從工作過程等方面來分析，并按其關(guān)鍵技術(shù)部份分為數(shù)據(jù)的抽取、存儲與管理以及數(shù)據(jù)的表現(xiàn)等三個(gè)基本方面。 

1)      數(shù)據(jù)的抽?。?nbsp;

    數(shù)據(jù)的抽取是數(shù)據(jù)進(jìn)入倉庫的入口。由于數(shù)據(jù)倉庫是一個(gè)獨(dú)立的數(shù)據(jù)環(huán)境，它需要通過抽取過程將數(shù)據(jù)從聯(lián)機(jī)事務(wù)處理系統(tǒng)、外部數(shù)據(jù)源、脫機(jī)的數(shù)據(jù)存儲介質(zhì)中導(dǎo)入到數(shù)據(jù)倉庫。 

2) 存儲和管理： 

    數(shù)據(jù)倉庫的真正關(guān)鍵是數(shù)據(jù)的存儲和管理。數(shù)據(jù)倉庫的組織管理方式?jīng)Q定了它有別于傳統(tǒng)數(shù)據(jù)庫，同時(shí)也決定了其對外部數(shù)據(jù)的表現(xiàn)形式。要決定采用什么產(chǎn)品和技術(shù)來建立數(shù)據(jù)倉庫的核心，則需要從數(shù)據(jù)倉庫的技術(shù)特點(diǎn)著手分析。  

3)　數(shù)據(jù)的表現(xiàn)： 

    數(shù)據(jù)表現(xiàn)實(shí)際上相當(dāng)于數(shù)據(jù)倉庫的門面，其性能主要集中在多維分析、數(shù)理統(tǒng)計(jì)和數(shù)據(jù)挖掘方面。而多維分析又是數(shù)據(jù)倉庫的重要表現(xiàn)形式，近幾年來由于互聯(lián)網(wǎng)的發(fā)展，使得多維分析領(lǐng)域的工具和產(chǎn)品更加注重提供基于Web前端聯(lián)機(jī)分析界面，而不僅僅是在網(wǎng)上發(fā)布數(shù)據(jù)。 

    數(shù)據(jù)倉庫技術(shù)應(yīng)用領(lǐng)域非常廣，凡是涉及到數(shù)據(jù)分析，報(bào)表匯總，決策支持等與數(shù)據(jù)有關(guān)的信息系統(tǒng)，都是其應(yīng)用的范圍。 

3．智能卡 

    智能卡即IC卡，就是集成電路卡。它的顯著特征就是自身嵌裝有微處理器及大容量存儲器等集成電路芯片。IC卡是伴隨著半導(dǎo)體技術(shù)的發(fā)展和社會對信息安全性等要求的日益提高而應(yīng)運(yùn)而生的，經(jīng)過近幾十年的發(fā)展，其技術(shù)日趨成熟，目前在國內(nèi)外均已經(jīng)得到了很廣泛的應(yīng)用。由于IC卡采用了當(dāng)今最先進(jìn)的半導(dǎo)體制造技術(shù)和信息安全技術(shù)，相對于其他卡具，如磁卡等，主要有以下優(yōu)點(diǎn)：  
    ① 存儲容量大：因其內(nèi)部有集成電路存儲器芯片，存儲容量可達(dá)幾兆字節(jié)，為磁卡的幾千至幾萬倍。IC卡的存儲器可以分成若干應(yīng)用區(qū)，分別存儲文字、聲音、圖形、圖像等各種信息，便于一卡多用，方便保管。  
    ② 安全性能高：加密IC卡從硬件和軟件等幾個(gè)方面實(shí)施其安全策略，可以控制卡內(nèi)不同存儲區(qū)域的存取特性。IC卡本身具有安全密碼，卡內(nèi)的信息加密后不可復(fù)制。只有密碼核對正確后才能對卡內(nèi)的信息進(jìn)行讀寫操作，對安全密碼核對錯(cuò)誤時(shí)，卡片具有自毀功能；而磁卡等一般只能用功能較弱的軟件加密措施，存儲信息很容易被復(fù)制，安全性較差。 
    ③ IC卡防磁、防一定強(qiáng)度的靜電，一般至少可重復(fù)讀寫十萬次以上，使用壽命長，可靠性比磁卡高。且IC卡體積小、重量輕，便于攜帶，易于使用。 
    ④ IC卡的讀寫機(jī)構(gòu)比磁卡的讀寫機(jī)構(gòu)簡單可靠、造價(jià)便宜，維護(hù)方便，推廣容易。 正是由于這些優(yōu)點(diǎn)，IC卡越來越受重視，其市場迅速遍及世界各地，而其應(yīng)用領(lǐng)域也從最初單一的銀行信用卡領(lǐng)域，滲透到包括稅務(wù)征收、付費(fèi)電話、健康記錄、身份認(rèn)證、賓館旅游等多個(gè)領(lǐng)域。 

    IC卡的使用，應(yīng)該說還有很大的擴(kuò)展空間，上面所說，只是其中一部分，推而廣之，各行業(yè)中的辦公自動化(OA)系統(tǒng)、考勤系統(tǒng)、甚至人員的工資等，均可用IC卡作為身份認(rèn)證、數(shù)據(jù)查詢及數(shù)據(jù)存儲，真正實(shí)現(xiàn)一卡多用。 

    即將開始試驗(yàn)使用的我國第二代身份證采用非接觸IC卡技術(shù)，是最大的IC卡應(yīng)用項(xiàng)目。它的使用，對加強(qiáng)我國人口信息化的安全性和高效性將起到十分重要的作用。 

4．二者的結(jié)合 

    智能IC卡作為與信息系統(tǒng)的接口，大量業(yè)務(wù)數(shù)據(jù)的產(chǎn)生與它有關(guān)。包括銀行，電信，稅務(wù)，海關(guān)等積累了大量的數(shù)據(jù)，業(yè)務(wù)人員與決策人員都希望能夠從中發(fā)現(xiàn)可利用的，有價(jià)值的信息。在這樣的需求下，數(shù)據(jù)倉庫技術(shù)便在智能卡應(yīng)用領(lǐng)域迅速的推廣開來。 

    以煙草行業(yè)為例，基于Sybase（美國數(shù)據(jù)庫供應(yīng)商）數(shù)據(jù)倉庫技術(shù)的煙草商業(yè)信息系統(tǒng)。分為五個(gè)版本：為國家專賣局(煙草總公司)、省煙草公司(省煙草專賣局)、地區(qū)級煙草公司(煙草專賣局)也叫煙草分公司(分公司煙草專賣局)、縣煙草公司(煙草專賣局)、煙草批發(fā)部。數(shù)據(jù)是垂直分布，并且是有關(guān)聯(lián)性的。以便完成購銷業(yè)務(wù)、匯總處理和查詢功能。 

    針對煙草行業(yè)的業(yè)務(wù)特點(diǎn)，系統(tǒng)分為八個(gè)子系統(tǒng)進(jìn)行設(shè)計(jì)：日常業(yè)務(wù)管理子系統(tǒng)、倉儲管理子系統(tǒng)、商品帳核算子系統(tǒng)、專賣管理子系統(tǒng)、價(jià)格管理子系統(tǒng)、通用報(bào)表子系統(tǒng)、綜合查詢子系統(tǒng)、移動訪銷、配送、稽查系統(tǒng)。 

    靈活的IC卡銷售及專賣管理是其中的一個(gè)重要子系統(tǒng)。門店銷售時(shí)系統(tǒng)在商戶IC卡上記錄銷售數(shù)據(jù)，送貨時(shí)通過移動式IC卡讀寫器對商戶作卷煙銷售，銷售記錄同時(shí)記入商戶IC卡和IC卡讀寫器，并自動上傳到MIS系統(tǒng)；專賣檢查人員也可以通過移動式IC卡讀寫器對商戶進(jìn)行專賣檢查，將檢查結(jié)構(gòu)同時(shí)記入商戶IC卡和IC卡讀寫器，自動上傳到MIS系統(tǒng)。并抽取到數(shù)據(jù)倉庫數(shù)據(jù)服務(wù)器供決策支持使用。 

    整個(gè)系統(tǒng)結(jié)合了數(shù)據(jù)倉庫和智能IC卡的特點(diǎn)。充分考慮到系統(tǒng)的融合與獨(dú)立性。實(shí)現(xiàn)了如下的一些特點(diǎn)： 

1．實(shí)現(xiàn)數(shù)據(jù)的采集 

2．高效的IC卡專賣的管理 

3．高效率的存儲和查詢 

    這樣的系統(tǒng)充分集合了數(shù)據(jù)倉庫與智能卡二者的優(yōu)點(diǎn)，使整個(gè)體系有了完整的信息化流程。 

    中國是人口大國，人口的管理一直是國家非常重視的。作為人口系統(tǒng)化的重要部分，我國第一代身份證以其保密性差，易仿造等諸多缺點(diǎn)，已經(jīng)不能滿足未來的需要。即將取而代之的第二代身份證將采用非接觸IC卡技術(shù)，在防偽性、保密性等方面將有質(zhì)的飛躍。 

    人口信息系統(tǒng)最大的特點(diǎn)是數(shù)據(jù)量大，每年的調(diào)查格式不盡相同。以中等城市人口統(tǒng)計(jì)數(shù)據(jù)為例，許多歷年的、大量的人口調(diào)查原始資料多以紙介質(zhì)、軟盤、磁帶等形式存儲在資料庫里，這些寶貴的資料，一方面面臨外部環(huán)境對傳統(tǒng)保存方式數(shù)據(jù)安全性的挑戰(zhàn)，另一方面各業(yè)務(wù)部門和相關(guān)單位也有充分利用、進(jìn)行數(shù)據(jù)挖掘的迫切需求。而數(shù)據(jù)倉庫的應(yīng)用，是一種最佳解決之道。 

    舉例來說，某市人口約900萬，第四次人口普查數(shù)據(jù)加上近十年的人口調(diào)查資料、勞動力情況調(diào)查資料和社區(qū)情況調(diào)查資料，原始數(shù)據(jù)量約10GB。針對人口系統(tǒng)的特點(diǎn)，采用了數(shù)據(jù)倉庫技術(shù)并面向主題設(shè)計(jì)了最佳數(shù)據(jù)模型和數(shù)據(jù)字典。人口數(shù)據(jù)的整理需要一定的時(shí)間，在項(xiàng)目的實(shí)施過程中數(shù)據(jù)整理工作和數(shù)據(jù)加載工作同步進(jìn)行。第四次人口普查900萬條數(shù)據(jù)和1990年至今近十年的抽樣調(diào)查數(shù)據(jù)已全部加載到人口數(shù)據(jù)倉庫。 

    人口信息數(shù)據(jù)大，對數(shù)據(jù)倉庫引擎和數(shù)據(jù)加載工具有極高的性能要求。NCR（作為以硬件為主的的數(shù)據(jù)倉庫解決方案提供商）它的Teradata數(shù)據(jù)倉庫是完全并行的數(shù)據(jù)庫，速度非常之快；NCR的FastLoad數(shù)據(jù)加載工具也是并行的，可以啟動多個(gè)會話進(jìn)程，加載900萬人口數(shù)據(jù)僅需15分鐘，這對其它數(shù)據(jù)庫來說是不可想象的。 

    人口系統(tǒng)的應(yīng)用特點(diǎn)是各年度的絕對調(diào)查指標(biāo)之間缺少可比性，要對原始數(shù)據(jù)進(jìn)行加工整理，在原始數(shù)據(jù)基礎(chǔ)之上派生各種相對分析指標(biāo)，如人口分布、年齡結(jié)構(gòu)、生育結(jié)構(gòu)、家庭結(jié)構(gòu)、婚姻狀況等以滿足各年度之間的分析研究。考慮到通用性和便于統(tǒng)計(jì)業(yè)務(wù)人員進(jìn)行分析，我們設(shè)計(jì)了一個(gè)通用的、功能強(qiáng)大的、靈活的派生數(shù)據(jù)模塊，利用后臺處理和Teradata快速的特點(diǎn)，能將原始數(shù)據(jù)生成相對通用的派生數(shù)據(jù)。派生數(shù)據(jù)已將指標(biāo)代碼轉(zhuǎn)化成漢字屬性，并計(jì)算和產(chǎn)生了許多新的屬性字段，在派生數(shù)據(jù)基礎(chǔ)之上，利用報(bào)表工具（如Brio工具），統(tǒng)計(jì)業(yè)務(wù)人員和人口研究人口可以隨機(jī)產(chǎn)生各種報(bào)表，可以作各種各樣的聯(lián)機(jī)分析處理這將大大提高了工作效率。加上未來第二代身份證采用非接觸IC卡技術(shù)，在安全性、唯一性方面有強(qiáng)有力的保障。使人口信息系統(tǒng)在數(shù)據(jù)識別，信息交互方面以及與底層數(shù)據(jù)通訊速度方面都將有很大的提高。 

5.前景展望 

    數(shù)據(jù)倉庫工程是一個(gè)復(fù)雜的信息集成工程,需要有事先周密的規(guī)劃。通過對數(shù)據(jù)倉庫工程進(jìn)行規(guī)劃， 要明確分析信息的需求和現(xiàn)狀，提出如何通過采用相應(yīng)技術(shù)，實(shí)施可行的工程化步驟，達(dá)到工程項(xiàng)目的預(yù)期目標(biāo)。隨著數(shù)據(jù)倉庫技術(shù)和智能卡在各行業(yè)及企業(yè)的應(yīng)用，二者的結(jié)合也將趨于成熟。為政府，企業(yè)決策提供更先進(jìn)的技術(shù)手段，必將進(jìn)一步加強(qiáng)政府，企業(yè)的管理和決策職能。數(shù)據(jù)倉庫技術(shù)在不遠(yuǎn)的將來，必將在我國的信息化的建設(shè)中發(fā)揮重要作用。