緒論：寫作既是個人情感的抒發，也是對學術真理的探索，歡迎閱讀由發表云整理的11篇數據挖掘論文范文，希望它們能為您的寫作提供參考和啟發。

篇（1）

2模糊集理論的引入

在討論實際問題的時候，需要判定模糊概念涵義，如判斷某個數據在模糊集的定義和歸屬，這時就需要普通集合與模糊集合可依某種法則相互轉換。模糊理論中的截集是模糊集合和普通集合之間相互轉換的一座橋梁。

3基于事務間數值型關聯規則的數據挖掘算法

假設有一就業數據庫，先通過數據整理，將原始數據記錄值區間［0，10］偏置10個單位。由此就得到了經過偏置后的數據庫記錄。再依滑動窗口方法，設maxspan=1(該值可以依實際情況的需要來定),就可將偏置后的數據庫數據整理轉化為擴展事務數據庫。再把擴展事務數據庫記錄通過隸屬度函數轉化為對應的隸屬度。

篇（2）

1.1數據庫環境的異構型

Web上的每個站點就是一個數據源，數據源之間是異構的，外加上各個站點的信息和組織的不同，Web網站就構成了一個巨大的異構數據庫環境。要對這些數據進行挖掘，首先，要解決各個站點之間的異構數據集成，提供用戶統一界面，從復雜的數據源中取得所需的有用的信息知識。其次，有關Web上的數據查詢。

1.2數據結構的半結構化

Web上的數據比較復雜，各個站點的數據都獨立設計，具有動態可變性。雖然Web上的數據形成半結構化數據。這些問題是進行Web數據挖掘所面臨的最大困難。

2XML技術在Web數據挖掘中的優勢

Web數據的異構使Web數據挖掘變得十分困難,通過XML可以解決這個問題。因為XML文檔具有很好的自我描述性，他的元素、子元素、屬性結構樹可以表達極為豐富的語義信息，能夠很好的描述半結構化的數據，因此在網絡數據集成、發送、處理和顯示的方面。開發人員能夠用XML的格式標記和交換數據。XML在三層架構上為數據的處理提供了有用的途徑。利用XML，Web設計人員能夠構建文檔類型定義的多層次互相關聯的系統、元數據、數據樹、樣式表和超鏈接結構。基于XML的Web數據挖掘技術，能夠使不同來源的結構化的數據很容易地結合在一起，解決Web數據挖掘的難題。

2.1XML技術在Web數據挖掘中具體作用利用XML技術我們在Web數據挖掘中可以完成以下幾點：

2.1.1集成異構數據源

XML是一種半結構化的數據模型，可以完成和關系數據庫中的屬性一一對應，從而實施精確地查詢與模型抽取。XML可以搜索多個不同數據庫的問題，以實現集成。

2.1.2和異構數據進行交換

在Web數據挖掘程中，用戶需要和異構數據源進行數據交換，XML通過自定義性及可擴展性來標識各種數據，從而描述從各站點搜集到的Web頁中的數據。XML的出現解決了數據查詢的統一接口。

2.1.3過濾信息并顯示

XML描述數據本身，可以使得定義的數據以不同的方式顯示，對獲取的信息進行裁減和編輯以適應不同用戶的需求。以不同的瀏覽形式提供給不同的用戶。

3基于XML的Web數據挖掘模型

我們通過對XML及Web數據挖掘的分析，設計了一個基于XML的Web數據挖掘模型通過提供一個Web數據挖掘的集成環境，提高數據挖掘系統的整體性能。工作流程如下：系統根據用戶要求搜集Web資源，經數據轉換器處理成相應的XML數據存儲，提供給挖掘器使用；挖掘器則根據要求從選取相應的算法挖掘，輸出挖掘結果；用戶根據自己的滿意度，獲得需要的挖掘結果，調整挖掘要求進入新一輪數據挖掘。通過系統的維護我們可以加入新的挖掘算法，實現升級。

3.1各模塊具體功能

3.1.1數據收集

從Web站點上采集數據并存儲，獲得挖掘內容。針對異構數據源，可以多種方式提出相關需求，挖掘的重點是Web內容和Web使用的數據。把用戶訪問網站留下原始日志數據進行清洗、過濾和轉換處理，轉變成統一處理的數據結構，構建日志數據庫。

3.1.2轉換器

對檢索得到的數據用XML技術進行預處理，建立半結構化數據模型，抽取其特征的元數據，用結構化的形式保存，為挖掘模塊提供所需的數據。

3.1.3挖掘器

不同的挖掘算法有不同適用情況，挖掘綜合器根據具體的需求和挖掘方法的不同選擇策略到挖掘算法庫中去選擇挖掘算法或種組合算法執行挖掘任務。隨著應用的深入，知識庫中的算法和規則不斷的豐富。挖掘算法庫是挖掘分析方法的綜合庫，以插拔的形式組織存放各種挖掘算法。314結果生成與評估以直觀的方式提交挖掘結果，便于用戶的評估。通過模式分析和興趣度度量，若結果使得用戶滿意，數據挖掘結束，輸出用戶感興趣的內容；否則可以在此重新提出挖掘要求，重新挖掘。

3.2系統各模塊實現方法

3.2.1數據收集

數據的收集也涉及數據挖掘的技術，其過程是：通過人工輸入辦法，給出查詢主題，找到相關的Web頁,然后,通過相應的數據挖掘的算法對訓練數據集提煉，利用提煉出的數據模式,進行更大范圍的搜索，以獲取更多的數據源。最終形成較新和有效XML文檔。

3.2.2數據的轉換處理

數據抽取轉換是模型實現一個重要環節,其主要方法是把現有的Web頁面轉換成XML格式,并使用相關工具處理XML結構數據檢要把HTML中含有的與主題無關的標記過濾掉,然后轉化到XML的格式存儲。目前Web頁面到XML文檔的轉換,有兩部分數據構成:一是XML數據，二是非XML數據。XML數據,可以直接將它們提交給下一個模塊。對于非XML數據,本文的實現方法是用到Tidy以改正HTML文檔中的常見錯誤并生成格式編排良好的等價文檔，還可以使用Tidy生成XHTML(XML的子集)格式的文檔。通過構造相應的Java類完成將數據從HTML到XML的轉換。

3.2.3挖掘方法

（1）文本分類：文本分類是指按預先定義的主題類別，把集合中的每個文檔確定一個所屬類別。這樣，用戶能夠方便地瀏覽文檔，并限制搜索范圍來使查找更為容易。利用文本分類技術對大量文檔進行快速、有效地自動分類。有關的算法通常采用TFIDF和NaiveBayes等方法。

（2）文本聚類：文本聚類與分類的不同之處在于，聚類不需要預先定義好的主題類別，它是將把文檔集合分成若干個簇，要求同簇內文檔內容相似度最大，而不同簇間的相似度最小。Hearst等人研究表明聚類假設，即與用戶查詢相關的文檔通常會聚類比較靠近，而遠離與用戶查詢不相關文檔。可以利用文本聚類技術把搜索引擎檢索結果分成若干個簇，用戶只要考慮那些相關的簇，就能夠縮小所需要瀏覽的結果數量。目前，常用的文本聚類算法,分為兩種：以G-HAC等算法為代表的層次凝聚法，以k-means等算法為代表的平面劃分法。

（3）關聯分析：關聯分析是指從文檔集合中發現不同詞語之間關系Brin提出一種從大量文檔中查找一對詞語出現模式算法，在Web上尋找作者和書名的模式，從而發現數千本在Amazon網站上查找不到的新書。

（4）模式評價：Web數據挖掘中十分重要的過程就是模式評價。常用的方法有預留法和交叉實驗法，將數據分成訓練集和測試集兩部分，學習和測試反復進行，最后用一個平均質量模型來確定模型質量的好壞。

（5）預留法：從數據集合隨機抽取預定大小一個子集作為測試集，其他數據則作為訓練集。

（6）交叉驗證法：把整個數據集合按照所要進行的學習測試循環次數分成一定數目的子集，在每次循環中，選取其一個子集作為測試集，其它子集并集則作為訓練集。

篇（3）

2技術關鍵

本系統采用基于營銷目的的商戶聚類，技術關鍵包括三部分內容：數據預處理中的特征選擇、基于限制目標的商戶精確聚類和基于聚類結果的多層關聯規則算法的研究。

2.1特征選擇

假定獲取的數據的維數為n，通常情況下n是很大的一個數，為簡化模型，也為了防止模型陷入過擬合（維數災難），需要進行降維處理，即僅把對項目改造判定起關鍵作用的因素挑選出來。本系統采用PCA算法來進行降維處理，過程如下：

1)計算標準化后的矩陣Z的樣本的協方差矩陣Cov；

2)計算協方差矩陣Cov的本征向量e1,e2,…,en的本征值。本征值按大到小排序；

3)投影數據

到本征矢張成的空間之中，利用貢獻分析取前m個向量Y1,Y2,…,Ym。

2.2基于營銷目標限制的商戶精確聚類算法

現有聚類算法一般沒有約束條件，只根據相似度來進行聚類，為了能夠體現約束條件，需要在聚類相似度或者樣本距離之間把限制條件增加進去，這樣在樣本聚類的時候即可使得具有相同營銷特性的樣本或者客戶被劃分到同一個類中。煙草終端商戶的大部分屬性是分類屬性，例如：地區、類別等，此外還有數字型屬性、日期型屬性，由于存在不同類型的屬性，常規的聚類算法無法使用，為此，采用把數字屬性和日期屬性劃分區間的思路，這樣可以轉化成分類屬性的方式來進行聚類。進而可建立如下商戶模型：分類對象X∈Ω，X=[A1=x1]∧[A2=x2]∧…∧[Am=xm]，其中xj∈DOM(Aj)，1≤j≤m，為簡便起見，將對象X∈Ω用向量（x1,x2,…,xm）表達，如果屬性Aj的值不存在，則Aj=ε。令Χ={X1,X2,…,Xn}為n個分類對象的集合，用集合方式表達分類對象，則Xi={xi,1,xi,2,…,xi,m}，如果屬性Aj的值不存在，則集合中不出現xi,j，容易得到|Xi|≤m。如果存在Xi,j=Xk,j，1≤j≤m，則Xi=Xk。為方便聚類，利用聚類匯總來壓縮原始數據，從而達到提高算法效率的目的。一個類C可以由如下三元組（n,I,S）來表示。其中n為類C中的對象數量，I={i1,i2,…,iu}是C內所有屬性值的集合，S={s1,s2,…,su}，其中sj為ij在類C中的數量，ij∈I，1≤j≤u。集合S按升序排列，即s1≤s2≤…≤su，這同時也暗示集合I的元素按其在C中的數量按升序排列。三元組（n,I,S）被稱作類C的聚類匯總CS，CS的三個成員分別記作CS.n、CS.I和CS.S；對于CS.I的任一元素ij∈CS.I，則記作CS.I.ij，對于sj∈CS.S，則記作CS.S.sj，其中1≤j≤u。

2.3基于煙草營銷的多層關聯規則的研究

針對本項目，對關聯規則定義進行擴展，對形如：XY的關聯規則，不再限定X和Y為一個項目集，而把X和Y定義為條件的合取范式，每個條件Ai=True/False為布爾表達式。此時的Ai為一個項目集，它的含義與原來的X和Y的含義相同，如果把結果中的條件布爾表達式寫成Cj=True/False，則關聯規則有如下形式：（A1=True/False）∧（A2=True/False）∧…∧（An=True/False）（C1=True/False）∧（C2=True/False）∧…∧（Cm=True/False）關聯規則的開采問題可以分解成以下兩個子問題：

①從數據集合或交易集合D中發現所有的頻繁項目集。

篇（4）

二、數據挖掘的方法

1.統計方法。傳統的統計學為數據挖掘提供了許多判別和回歸分析方法，常用的有貝葉斯推理、回歸分析、方差分析等技術。貝葉斯推理是在知道新的信息后修正數據集概率分布的基本工具，處理數據挖掘中的分類問題，回歸分析用來找到一個輸入變量和輸出變量關系的最佳模型，在回歸分析中有用來描述一個變量的變化趨勢和別的變量值的關系的線性回歸，還有用來為某些事件發生的概率建模為預測變量集的對數回歸、統計方法中的方差分析一般用于分析估計回歸直線的性能和自變量對最終回歸的影響，是許多挖掘應用中有力的工具之一。

2.關聯規則。關聯規則是一種簡單，實用的分析規則，它描述了一個事物中某些屬性同時出現的規律和模式，是數據挖掘中最成熟的主要技術之一。關聯規則在數據挖掘領域應用很廣泛適合于在大型數據集中發現數據之間的有意義關系，原因之一是它不受只選擇一個因變量的限制。大多數關聯規則挖掘算法能夠無遺漏發現隱藏在所挖掘數據中的所有關聯關系，但是，并不是所有通過關聯得到的屬性之間的關系都有實際應用價值，要對這些規則要進行有效的評價，篩選有意義的關聯規則。

3.聚類分析。聚類分析是根據所選樣本間關聯的標準將其劃分成幾個組，同組內的樣本具有較高的相似度，不同組的則相異，常用的技術有分裂算法，凝聚算法，劃分聚類和增量聚類。聚類方法適合于探討樣本間的內部關系，從而對樣本結構做出合理的評價，此外，聚類分析還用于對孤立點的檢測。并非由聚類分析算法得到的類對決策都有效，在運用某一個算法之前，一般要先對數據的聚類趨勢進行檢驗。

4.決策樹方法。決策樹學習是一種通過逼近離散值目標函數的方法，通過把實例從根結點排列到某個葉子結點來分類實例，葉子結點即為實例所屬的分類。樹上的每個結點說明了對實例的某個屬性的測試，該結點的每一個后繼分支對應于該屬性的一個可能值，分類實例的方法是從這棵樹的根結點開始，測試這個結點指定的屬性，然后按照給定實例的該屬性值對應的樹枝向下移動。決策樹方法是要應用于數據挖掘的分類方面。

5.神經網絡。神經網絡建立在自學習的數學模型基礎之上，能夠對大量復雜的數據進行分析，并可以完成對人腦或其他計算機來說極為復雜的模式抽取及趨勢分析，神經網絡既可以表現為有指導的學習也可以是無指導聚類，無論哪種，輸入到神經網絡中的值都是數值型的。人工神經元網絡模擬人腦神經元結構，建立三大類多種神經元網絡，具有非線形映射特性、信息的分布存儲、并行處理和全局集體的作用、高度的自學習、自組織和自適應能力的種種優點。

6.遺傳算法。遺傳算法是一種受生物進化啟發的學習方法，通過變異和重組當前己知的最好假設來生成后續的假設。每一步，通過使用目前適應性最高的假設的后代替代群體的某個部分，來更新當前群體的一組假設，來實現各個個體的適應性的提高。遺傳算法由三個基本過程組成:繁殖(選擇)是從一個舊種群(父代)選出生命力強的個體，產生新種群(后代)的過程；交叉〔重組)選擇兩個不同個體〔染色體)的部分(基因)進行交換，形成新個體的過程；變異(突變)是對某些個體的某些基因進行變異的過程。在數據挖掘中，可以被用作評估其他算法的適合度。

7.粗糙集。粗糙集能夠在缺少關于數據先驗知識的情況下，只以考察數據的分類能力為基礎，解決模糊或不確定數據的分析和處理問題。粗糙集用于從數據庫中發現分類規則的基本思想是將數據庫中的屬性分為條件屬性和結論屬性，對數據庫中的元組根據各個屬性不同的屬性值分成相應的子集，然后對條件屬性劃分的子集與結論屬性劃分的子集之間上下近似關系生成判定規則。所有相似對象的集合稱為初等集合，形成知識的基本成分。任何初等集合的并集稱為精確集，否則，一個集合就是粗糙的(不精確的)。每個粗糙集都具有邊界元素，也就是那些既不能確定為集合元素，也不能確定為集合補集元素的元素。粗糙集理論可以應用于數據挖掘中的分類、發現不準確數據或噪聲數據內在的結構聯系。

8.支持向量機。支持向量機(SVM)是在統計學習理論的基礎上發展出來的一種新的機器學習方法。它基于結構風險最小化原則上的，盡量提高學習機的泛化能力，具有良好的推廣性能和較好的分類精確性，能有效的解決過學習問題，現已成為訓練多層感知器、RBF神經網絡和多項式神經元網絡的替代性方法。另外，支持向量機算法是一個凸優化問題，局部最優解一定是全局最優解，這些特點都是包括神經元網絡在內的其他算法所不能及的。支持向量機可以應用于數據挖掘的分類、回歸、對未知事物的探索等方面。

事實上，任何一種挖掘工具往往是根據具體問題來選擇合適挖掘方法，很難說哪種方法好，那種方法劣，而是視具體問題而定。

三、結束語

目前，數據挖掘技術雖然得到了一定程度的應用，并取得了顯著成效，但仍存在著許多尚未解決的問題。隨著人們對數據挖掘技術的深人研究，數據挖掘技術必將在更加廣泛的領域得到應用，并取得更加顯著的效果。

參考文獻:

篇（5）

由于信息技術的迅速發展，現代的檔案管理模式與過去相比，也有了很大的變化，也讓如今的檔案管理模式有了新的挑戰。讓人們對信息即時、大量地獲取是目前檔案管理工作和檔案管理系統急切需要解決的問題。

一、數據挖掘概述

（一）數據挖掘技術。數據挖掘是指從大量的、不規則、亂序的數據中，進行分析歸納，得到隱藏的，未知的，但同時又含有較大價值的信息和知識。它主要對確定目標的有關信息，使用自動化和統計學等方法對信息進行預測、偏差分析和關聯分析等，從而得到合理的結論。在檔案管理中使用數據挖掘技術，能夠充分地發揮檔案管理的作用，從而達到良好的檔案管理工作效果。（二）數據挖掘技術分析。數據挖掘技術分析的方法是多種多樣的，其主要方法有以下幾種：1.關聯分析。指從已經知道的信息數據中，找到多次展現的信息數據，由信息的說明特征，從而得到具有相同屬性的事物特征。2.分類分析。利用信息數據的特征，歸納總結相關信息數據的數據庫，建立所需要的數據模型，從而來識別一些未知的信息數據。3.聚類分析。通過在確定的數據中，找尋信息的價值聯系，得到相應的管理方案。4.序列分析。通過分析信息的前后因果關系，從而判斷信息之間可能出現的聯系。

二、數據挖掘的重要性

在進行現代檔案信息處理時，傳統的檔案管理方法已經不能滿足其管理的要求，數據挖掘技術在這方面確有著顯著的優勢。首先，檔案是較為重要的信息記錄，甚至有些檔案的重要性大到無價，因此對于此類的珍貴檔案，相關的檔案管理人員也是希望檔案本身及其價值一直保持下去。不過越是珍貴的檔案，其使用率自然也就越高，所以其安全性就很難得到保障，在檔案管理中運用數據挖掘技術，可以讓檔案的信息數據得到分析統計，歸納總結，不必次次實物查閱，這樣就極大地提升了檔案相關內容的安全性，降低檔案的磨損率。并且可以對私密檔案進行加密，進行授權查閱，進一步提高檔案信息的安全性。其次，對檔案進行鑒定與甄別，這也是檔案工作中較困難的過程，過去做好這方面的工作主要依靠管理檔案管理員自己的能力和水平，主觀上的因素影響很大，但是數據挖掘技術可以及時對檔案進行編碼和收集，對檔案進行數字化的管理和規劃，解放人力資源，提升檔案利用的服務水平。第三，數據挖掘技術可以減少檔案的收集和保管成本，根據檔案的特點和規律建立的數據模型能為之后的工作人員建立一種標準，提升了檔案的鑒定效率。

三、檔案管理的數據挖掘運用

（一）檔案信息的收集。在實施檔案管理工作時，首先需要對檔案信息數據的收集。可以運用相關檔案數據庫的數據資料，進行科學的分析，制定科學的說明方案，對確定的數據集合類型和一些相關概念的模型進行科學說明，利用這些數據說明，建立準確的數據模型，并以此數據模型作為標準，為檔案信息的快速分類以及整合奠定基礎。例如，在體育局的相關網站上提供問卷，利用問卷來得到的所需要的信息數據，導入數據庫中，讓數據庫模型中保有使用者的相關個人信息，通過對使用者的信息數據進行說明，從而判斷使用者可能的類型，提升服務的準確性。因此，數據挖掘技術為檔案信息的迅速有效收集，為檔案分類以及后續工作的順利展開，提供了有利條件，為個性化服務的實現提供了保證。（二）檔案信息的分類。數據挖掘技術具有的屬性分析能力，可以將數據庫中的信息進行分門別類，將信息的對象通過不同的特征，規劃為不同的分類。將數據挖掘技術運用到檔案管理中時，可以簡單快速地找到想要的檔案數據，能根據數據中使用者的相關數據，找尋使用者在數據庫中的信息，使用數據模型的分析能力，分析出使用者的相關特征。利如，在使用者上網使用網址時，數據挖掘技術可以充分利用使用者的搜索數據以及網站的訪問記錄，自動保存用戶的搜索信息、搜索內容、下載次數、時間等，得到用戶的偏好和特征，對用戶可能存在的需求進行預測和分類，更加迅速和準確的，為用戶提供個性化的服務。（三）檔案信息的整合。數據挖掘技術可以對新舊檔案的信息進行整合處理，可以較為簡單地將“死檔案”整合形成為“活檔案”，提供良好的檔案信息和有效的檔案管理。例如，對于企事業單位而言，培訓新員工的成本往往比聘請老員工的成本要高出很多。對老員工的檔案信息情況進行全體整合，使檔案資源充分發揮作用，將檔案數據進行總結和規劃，根據數據之間的聯系確定老員工流失的原因，然后建立清晰、明白的數據庫，這樣可以防止人才流失，也能大大提高檔案管理的效率。

四、結語

綜上所述，在這個信息技術迅速跳躍發展的時代，將數據挖掘技術運用到檔案管理工作中是時展的需求與必然結果。利用數據挖掘技術，可以使檔案管理工作的效率大大提升，不僅減少了搜索檔案信息的時間，節省人力物力，避免資源的浪費，還能幫助用戶在海量的信息數據中，快速找到所需的檔案數據信息。數據挖掘技術的運用，使靜態的檔案信息變成了可以“主動”為企事業單位的發展，提供有效的個性化服務的檔案管家，推動了社會的快速發展。

作者:于然 單位:揚州市體育局辦公室

【參考文獻】

篇（6）

2增量子空間數據挖掘算法

為了能夠有效地在復雜網絡中挖掘出目的數據流，使用了復雜網絡數據流密度的分析方法在對復雜網絡進行社區劃分后，通過對社區網絡進行無向環路遍歷并得到社區網絡的所有環路。接下來挖掘算法先后挖掘出目的數據流所屬的社區以及環路，最終確定目的數據流的具置。

2.1基于社區網絡遍歷的數據流挖掘

當數據流i與社區k的相關度最大時，說明數據流i位于社區k的可能性就最大。但是當多個數據流的大小區別不大時，以數據流的大小作為指標來定義相關度會導致挖掘精度較低。這里我們也引入數據流的特征集和數據流中的分組隊列長度來計算相關度。

2.2基于多增量空間的數據流挖掘

在采用基于社區網絡遍歷的數據流挖掘方法得到數據流的所屬社區后，我們接著采用基于多增量空間的數據流挖掘方法來挖掘出數據流的所屬環路。先將社區網絡的環路進行多增量空間擴展，即先得到

目標數據流所經過的環路，再得到數據流所經過的節點與時間的相關系數，這樣就可以在時空上確定目的數據流位于環路的哪個節點中。

3實驗結果

為了驗證本文提出的基于復雜網絡數據流密度的增量子空間數據挖掘算法的效果，我們通過matlab7.0軟件進行算法仿真，其中仿真的復雜網絡由多種網絡形式組成，網絡節點有200個，數據流大小為500bytes，節點的接收能耗為10nJ/bit，發射能耗為50nJ/bit，進行信號處理和功率放大的能耗為10nJ/bit。其他節點干擾而產生的能量消耗為5nJ/bit。在對本文算法進行分析的過程中，我們采用了對比分析的方法，Lopez-Yanez等人提出一種基于時間序列數據挖掘的新的關聯模型，該模型是基于伽瑪分類，是一種監督模式識別模型，目的是為了挖掘已知模式中的時間序列，以預測未知的值。由Negrevergne等人提出的一種PARAMINER算法：一個通用的模式挖掘算法的多核架構。多核架構采用的是一種新的數據集縮減技術（稱之為EL-還原），在算法中通過結合新的技術用于處理多核心架構的并行執行數據集。為了驗證本文算法的挖掘有效性，我們分別在增多節點數量和社區網絡數的情況下獲取算法的數據挖掘精度。實驗采用的精度為NMI[16]，實驗結果如圖3和圖4所示。在不同節點數量下基于復雜網絡數據流密度的增量子空間數據挖掘算法的挖掘精度更高，挖掘精度高于85%，而文獻[14]的挖掘精度在77%以上，挖掘精度在76%以上。因為、提出的關聯模型、提出的多核架構沒有準確把握數據流在不同時間段里與環路位置的相關情況。而本文算法采用社區網絡遍歷和多增量空間的方法可以有效地確定這種相關性。圖4為不同社區數下的算法挖掘精度，從圖中可以看出，當社區網絡的種類增多時，會對算法的挖掘精度造成影響，本文算法的挖掘精度在社區數為10時是95.7%，當社區數增加到50時為87.5%。而基于時間序列數據挖掘方法的挖掘精度在社區數為10時是88.6%，在社區數為50時是77.4%，而PARAMINER算法在社區數為10時是86.7%，社區數為50時是78.2%。因此從數據分析來看，本文算法的數據挖掘精度在社區數增多時仍能保持在較高水平。

篇（7）

1.1領域本體對特定專業領域中的概念及之間關系的描述，即為領域本體，它是對一個應用領域的描述，具體來說，分為本體知識庫和領域本體模式兩種成分，進而描述特定的領域知識和信息，即為領域本體模式，此外，模式描述了應用領域的知識構成或靜態信息。而所謂的顧客價值需求領域本體，描述的是邏輯關系、描述的對象是顧客價值需求目標概念機需求行為概念，明確則是指概念及約束是顯式的定義，基于其具有計算機刻度的特點，構成了形式化，研究目的將領域體原語定義的具體情況如下：定義一：顧客價值需求領域本體的概念構成，Concerpts={Concerpts1，Concerpts2，Concerpts3}，式中，顧客機制需求特性概念用Concerpts1表示，顧客的價值需求決策行為概念用Concerpts2表示，如環境約束分析、方略設計、實施等；顧客的基本特征概念則用Concerpts3表示。定義二：顧客價值需求領域本體形式化為三元組：ODomain={Concerpts，Relations，Instances}，式中，領域概念的集合用Concerpts表示，領域概念間的關系集合用Relations表示，而ODomain為領域本體，本體實例的集合則用Instances表示，形成三元組。定義三：顧客價值需求領域本體的關系集合表示的是概念集合中各個概念之間的關系，具體數來，表現為n維笛卡爾積的子集。關系集合中存在5種關系，有Part-of：某個概念是另一個概念的屬性。Means-end：不同需求概念之間因果解構關系。Subclass-of：概念之間的繼承關系。Drive-adjust：不同需求概念之間因果解構關系。Attibute-of：某個概念是另一一個概念屬性。也就是行為感知影響目標調整，且目標驅動行為，二者關系密切。定義四：領域模式在應用域的實例，即顧客價值需求領域本體的實例。如“大學生的移動產品需求”本體、“政府顧客的移動產品需求”本體等。

1.2任務本體對特定任務或行為求解方法的描述即為任務本體，對其的設計，應當以顧客需求管理領域決策信息及問題的需求為基礎，有文獻指出，顧客吸引、識別、保持及發展，為顧客生命周期管理涉及到的4個管理主題，如表1所示，也包括了上述主題的決策分析問題。綜合數據挖掘的任務來看，其囊括了一個或多個挖掘子任務、挖掘算法等，結合本次研究，實施了對該領域的任務本體原語定義的設計，如下：OTaske=（Taskea,Inputsa,Methodsa,Outputsa）上式中，挖掘任務本體用OTaske表示；α管理主題下Taskea挖掘任務的輸出變量用Inputsa表示，如興趣參量、聚類變量、規則前、后件變量；α管理主題下的挖掘任務用Taskea，如顧客細分以及需求特征描述等；挖掘結果輸出表達形式或格式用Outputsa表示，如聚類中心、“類”聚類變量均值、“類”樣本數等；挖掘方法用Methodsa表示，如K-means聚類。另外，α∈（識別顧客，吸引、保留和發展顧客）共同構成了任務本體。

2對本體下顧客需求數據挖掘過程的改進

結合現實發展中的相關問題，在本體的顧客需求數據挖掘過程的改進方面，主要體現了挖掘目和任務、方法的選擇及確定及數據源轉化、約束參數的選擇等。這種方式下，對目標的搜索范圍進行了有效的縮小，進而在此基礎上提高了挖掘質量和效率，如圖1所示。

2．1支持管理決策的挖掘任務首先要進行的是對數據挖掘任務和目標的確定，基于操作中驗證或探索可支持實際管理決策的信息結構，具有較大的價值，其知識內容包括了規則、規律、模式及關系等，結合文中研究主題，依據顧客需求相應決策問題來進行具體數據挖掘任務的設置，在對挖掘任務和目標的完善方面，有效地結合了領域知識的本體模型。在對應概念及關系語義匹配方面，根據該領域需求目標、行為信息的本體模型來進行，繼而確定本次數據挖掘任務。

2.2挖掘數據空間及預處理在具體的實施過程中，以數據挖掘任務和領域本體模型為基礎，指導完成數據集成、選擇以及預處理3個環節，這便是挖掘數據空間及預處理，細分有以下內容：（1）提取、歸并處理多數據庫運行環境中顧客數據，以及遺漏和洗清臟數據等；（2）基于數據來進行數據的選擇方面的需求，應依據數據挖掘任務需要分析的數據來實施，進而有效減少了不相關或冗余的屬性，也得到了符合約束的數據挖掘有限數據基，實現了數據挖掘搜索效率的有效提高，使得相關屬性或遺漏等現象得到了有效避免；（3）基于顧客“需求行為”領域本體的概念語義即為預處理，旨在檢查轉載的數據，確保其合法性，并及時修正其中的錯誤，預處理其中的異常數據。

2.3挖掘方法算法及執行流程依據本次研究的需要，在具體的執行過程中，設定先明確數據挖掘的任務和目的，詳細可分為驗證性、探索性挖兩種，前者由用戶事先給定假設，繼而在挖掘中發現蘊含的某些規則或規律，對所做的假設進行驗證；其次，對操作過程中的挖掘方法和算法進行確定，而挖掘方法和感興趣參數的設置則要根據挖掘任務來進行，如表1所示；最后，確定挖掘結果的表達方式，一般有神經網絡、樹結構以及規則（模板）等[6]。

2.4評價挖掘結果作為整個實施過程的最后一個環節，對于挖掘結果的評價和詮釋，對于整個操作過程具有十分重要的意義，在具體的評價過程中，不能有違背領域本體知識的行為，并要及時參與領域本體的概念關系，且還要采取相應的方法來提高綜合評價的有效性，如置信度、支持度以及興趣度等等，在必要的情況下，實施方應當反饋調整參數或約束等，繼而形成對用戶感興趣知識的重新挖掘，對其進行完善，基于本體用嚴格的邏輯語言表述過程中產生的新知識，需及時在實踐過程中的檢驗與完善，使得整個過程具有較高的可信度，收到良好的執行效益。

篇（8）

二、最小二乘法擬合直線

最小二乘法是一種數學優化技術。它以某一社會、經濟或自然現象為對象，尋找一擬合曲線，以滿足給定對象系統的一組觀測數據。通常要求選擇的擬合曲線會使各觀測數據到擬合曲線的誤差的平方和最小。

本文研究銷售企業(如商場)異常客戶的性質。設一段時期內客戶的累計消費金額為y，對應的消費時期為x。假定測得客戶的n個數據(x1,y1)，…,(xn,yn)，則在XOY平面上可以得到n個實驗點:Pi(xi,yi)（i=1，…n)，這種圖形稱為“散點圖”(如圖1，圖2）。在利用最小二乘法進行分析時，各種非線性關系的擬合曲線均可線性化，因此此處選擇直線y=ax+b作為擬合直線，尋求x與y之間近似線性關系時的經驗公式。其中a為直線的斜率，b為直線在y軸上的截距。

如果Pi(i=1，…n)全部位于同一條直線上，則可認為變量之間的關系為y=ax+b，但一般情況下不會如此。記估計值=axi+b，則各實驗點與擬合直線之間的誤差為εi=-yi=（axi+b）-yi，它反映了用直線y=ax+b來描述(xi,yi)時,估計值與觀測值yi之間的偏差大小。則有：

要求偏差越小越好。但由于εi可正可負，簡單求和可能將很大的誤差抵消掉，只有平方和才能反映二者在總體上的接近程度，這就是最小二乘原則。于是問題歸結為根據這一要求來確定y=ax+b中的a和b，使得最小。因為F(a,b)是關于a、b的二次函數并且非負，所以其極小值總是存在的。根據羅彼塔法則，F取最小值時，有：

于是得到了符合最小二乘原則的相應解：

三、基于斜率的異常客戶挖掘算法

1.問題描述

本文的目的是研究某一消費時期內,異常客戶的消費傾向。取異常客戶一年內各月份的累計消費金額為參考，記錄的數據如下（表1，表2）。根據其散點圖（圖1，圖2）可以看出，客戶的累計消費金額隨時間都呈上升趨勢，所以難以觀察出該客戶是否對商場保持持久的忠誠度，是否有轉向競爭對手的可能。基于斜率的異常客戶挖掘算法正是要解決識別客戶性質這一問題。

2.算法描述

算法:Outlier_Analysis。根據輸出的a值來判斷異常客戶的性質:積極的或消極的。

輸入:客戶數據,即參考點，由有序點對(xi，yi)表示；參考點的個數n。

輸出:a(直線的斜率），b(直線在y軸上的截距）。

方法:

（1)初始化a、b。

（2)對客戶的n個觀測數據(即n個記錄點)進行相關數據計算：

（3)ifa<0then

客戶購買金額呈減少趨勢，為消極客戶

else

篇（9）

2、系統設計與實現

2.1系統開發與運行環境硬件環境：CPUIntelI3380M/RAM2G/硬盤320G軟件配置：操作系統：Windows7SP1開發工具：2005/VisualC#數據庫管理系統：MSSQLServer2008輔助軟件：SPSSClementine11.1；SQLServer2008AnalysisServices（SSAS）

2.2主要技術與系統實現通過對上述對客戶購買數據挖掘系統模型的分析可知，該系統主要由用戶接口模塊、數據清洗模塊、數據格式轉換模塊、數據庫生成模塊和數據挖掘引擎模塊等組成。1）用戶接口模塊本系統最終目的還是為為客戶的決策提供支持，因此友好的界面設計是用戶與系統交互的基礎。簡潔而易于理解的界面有利于提高用戶對系統的使用效率。2）數據預處理模塊客戶訪問數據進入數據預處理模塊進行清洗，去除無關的信息，剝離出對數據挖掘有價值的數據。數據預處理模塊對原始訪問數據進行分析，將用戶購買數據記錄逐條的分割成十個字段，分別為：u_id（訪問者編號），u_date（到訪日期），u_time（到訪時間），u_orderid（訂單編號)，u_product（客戶購買的商品），u_bowser（使用的瀏覽器類型），page（首次到訪頁面），place（客戶所在地區），payment（支付方式），logistic（物流方式），同時刪除訪問數據中與以上字段不相干的數據。然后將經過預處理的數據存入中間文件。3）XML轉換模塊該模塊程序使用.NET的相關的方法編寫，主要功能將預處理過的客戶購買數據轉換成標準化XML格式的數據文件進行存儲。該程序的主要實現原理是對經過預處理的中間文件中的數據記錄逐個分割并存入數組，然后將數組的內容按照XML的格式寫入文件，完成轉換。4）數據庫導入模塊利用.NET的相關方法并結合數據庫管理工具建立支持數據挖掘的客戶購買數據庫，編寫相關程序將已經轉換成XML格式的客戶訪問數據逐條的導入到數據庫并形成日志數據表方便進行后續的數據挖掘。5）數據挖掘引擎模塊數據挖掘引擎是實現客戶購買數據挖掘系統的實現關鍵。優秀的數據挖掘算法不僅可以使數據挖掘的結果更加準確，也可以提高數據挖掘的效率。本系統主要用到的算法是該模塊利用數據挖掘算法對數據進行挖掘，主要包括算法的優化、日志數據表的刪除操作以及挖掘結果集的保存與刪除操作等。這里主要用到的算法是K-Means算法。主要是利用該算法發現最相似的客戶聚類，通過對聚類的分析來得出網店眾多的顧客一般的購買行為模式，從而可以適當地調整網站營銷的策略中的來提高網絡營銷的效果，進而增加銷售量。

篇（10）

1.2分類。它能將數據庫中的數據項，映射到給定類別中的一個。分類[3]定義了一種從屬性到類別的映射關系，給定樣本的屬性值，根據已知的模式將其劃分到特定的類中。

1.3聚類分析。聚類是根據一定的規則，按照相似性把樣本歸成若干類別。在對樣本合理劃分后，對不同的類進行描述。聚類通常用于將客戶細分成不同的客戶群，如有相同愛好的客戶群。

1.4時間序列。按照時間的順序把隨機事件變化發展的過錯記錄下來就構成了一個時間序列。對時間序列進行觀察、研究，找尋它變化發展的規律，預測它將來的走勢就是時間序列分析。

1.5孤立點分析。孤立點在數學上是指坐標滿足曲線方程，但并不落在曲線上的點。它也可以被看作是在數據集合中與大多數數據特征不一致的數據。對孤立點進行分析極有可能發現重要的隱藏信息。

1.6遺傳算法。它是一類借鑒生物界的進化規律（適者生存，優勝劣汰遺傳機制）演化而來的隨機化搜索方法；是一個以適應度為目標函數，對種群個體施加遺傳操作，實現群體結構重組，經迭代而達到總體優化的過程。目前，將數據挖掘技術應用于煙草行業的研究逐步受到重視。歐陽秀君，劉文在《數據挖掘技術在煙草CRM中的應用》一文中[4]，主要探討如何將數據挖掘中的關聯規則、聚類、分類方法應用于煙草CRM中。康江峰，陳輝[5]將基于數據挖掘的技術應用于對煙草精準營銷策略的研究。王辛盟[6]采用數據挖掘技術，利用SPSS統計軟件，以某煙草配送中心的訂單數據和客戶資料數據為數據源，用聚類的方法對客戶群進行細分。鄭陽洋、劉希玉[7]采用基于多層次關聯規則挖掘技術，對2007年山東省內某地級市卷煙商業企業的銷售數據進行分析，得到“消費者在購買品名為紅河（軟甲）的客戶中，有57%會同時購買類名為八喜的卷煙”的規則。但以上對于煙草行業的數據挖掘研究的方法主要集中在關聯規則、聚類分析和分類三種方法上，在接下來的研究中，我將探討如何將更多的數據挖掘方法應用于煙草行業的數據分析上。

2數據挖掘技術在煙草行業中的應用

2.1聚類分析在卷煙銷售中的應用為了便于日常卷煙銷售及統計，通常根據卷煙的屬性對進卷煙行分類，常見的卷煙分類方法如下：一是按照價位段劃分，5元以下、5-10元、10元以上等；二是按照利潤貢獻度，分為一類煙、二類煙、三類煙、四類煙和五類煙；三是按照卷煙品牌劃分，泰山系列、黃鶴樓系列、七匹狼系列等；四是按照產地劃分，魯產煙、滬產煙、外產煙等；五是按照焦油含量劃分，低焦油卷煙和高焦油卷煙。以上就卷煙的某一單一屬性對卷煙類別進行區分，極大的方便卷煙的銷售管理工作，然而，消費者在選擇卷煙時，往往會考慮多方面的屬性，因此單一屬性的卷煙分類無法解釋消費者偏好。因此需要引入基于多屬性的卷煙分類方法，由于卷煙規格多且本身具有多重屬性，基于主觀判別分類方法難以滿足分類要求，需借助統計學的方法對卷煙進行科學分類。聚類分析指將物理或抽象對象的集合分組成為由類似的對象組成的多個類的分析過程，同一類別的樣本表現出較高的相似性。因此，可將聚類分析用于解決上述卷煙分類問題，根據多屬性相似程度將卷煙分成幾個類別，消費者在同一類別中的香煙偏好無顯著差異，即同一類別中的香煙具有較高的替代效應。在實際銷售過程中，當某一牌號的卷煙斷貨、緊俏時，可推薦此牌號所在類別的其它牌號的卷煙給消費者作為有效替代。

2.2時間序列用于卷煙銷售趨勢預測卷煙銷售市場季節性特別顯著，主要表現為兩個方面：一是市場以節假日為節點，節前卷煙銷售迅猛，節后消費趨于平淡；二是夏季是旅游市場的旺盛，旅游業帶動外來人口流動增加，卷煙銷售量也隨同增加。同時，卷煙市場也受經濟、人口結構等方面因素影響，使得卷煙銷售量存在明顯的非線性特征，波動范圍比較大，傳統線性預測模型難以準確預測。為了提高卷煙銷售預測精度，建立一個基于時間序列、能夠精確預測卷煙銷售量的模型已經成為一種必然趨勢。時間序列由四個影響成分所組成，分別是長期趨勢、循環變動、季節變動、不規則變動。這四個影響成分與卷煙銷售市場的變動規律相吻合。通過建立卷煙銷售時間序列模型，對以往銷售的歷史數據進行分析，能夠有效地預測未來卷煙銷售市場的走勢和發展規律，更好地掌握卷煙市場的供需關系。在此基礎上，做好備貨工作，設立合理庫存，實現有效的貨源供應。通過對區域市場變化趨勢的預測并結合客戶實時經營狀況，能夠對客戶的需求總量做出相適應的預測，確保做好客戶的合理定量工作，保障不同零售客戶需求。預測結果還可為制定公平合理的貨源投放政策提供依據，使得各類貨源能夠投放至有相應銷售能力的客戶手中，更好的滿足消費者的需求。

2.3孤立點分析用于煙草專賣執法數據挖掘中的孤立點分析方法可以通過計算數據點之間的距離，稠密度等來模擬用戶之間的屬性差異，由此找到那些屬性特征與正常點差異非常大的用戶數據點。人們普遍認為孤立點的存在極有可能是度量或執行錯誤所導致的，因其不符合數據的一般模型，所以在研究普遍現象時，人們總是試圖使孤立點的影響最小化，而盡可能排除它們。然而，孤立點可能隱藏著比一般的數據更有價值的信息。近些年來，孤立點挖掘作為一個重要的研究課題，已被廣泛用于信用卡詐騙監測、市場內部交易偵測、工業設備故障探測等領域。在已建立的煙草分銷數據庫中儲存著大量客戶訂單信息，這些訂單信息包含多個維度，如用戶ID、商品編號、訂購數量、需求數量、同一品牌訂貨間隔等等。可利用孤立點挖掘算法對客戶訂單數據進行分析，建立客戶評估監測模型，找到以下“孤立點”：訂單金額高的，敏感牌號訂購量大的，敏感牌號訂購頻繁的，以往訂購敏感牌號頻率低但最近一段時間頻繁訂購的，按照商圈不具備高端敏感牌號銷路的卻頻繁訂購等等。這類訂單“異常”的客戶，或者稱為“孤立點”，可以被認為是存在相當大的“違規”可能性，我們的專賣執法人員應該對這一類的零售戶采取進一步的跟蹤調查。孤立點數據分析，勢必成為專賣執法的又一利器。

2.4遺傳算法用于車輛配送線路優化卷煙商業企業的銷售收益主要來自于訂單，銷售成本主要產生在物流配送的環節。所以，在假設銷售量不變的情況下，如何優化線路配置，降低成本，最大化公司利潤，在當前煙草行業面臨巨大的挑戰和壓力下，顯得尤為重要。因此，采用科學的、合理的方法來確定配送線路將是車輛優化調度工作的重中之重，是物流系統優化、物流科學化的關鍵。煙草商業企業已有的線路優化系統中儲存有客戶商店位置、道路情況等信息，可以在此基礎上，利用遺傳算法對配送線路問題進行優化。將一系列實際中車輛配送的約束條件，轉換成二進制編碼（染色體）并隨機產生初始種群，通過模擬達爾文的遺傳選擇和自然淘汰的生物進化過程，并借助于自然遺傳學的遺傳算子進行組合交叉和變異，逐代演化產生出越來越好的近似解，末代種群中的最優個體經過解碼，可以作為最終問題的近似最優解，用以實現對車輛的優化調度，即合理地進行配貨優化、貨物配裝優化，特別是配送路線優化。從而達到提高里程利用率，降低行駛費用，減少車輛空駛里程，增加貨運量，節約燃料，降低大修費等，為企業帶來更大的經濟效益。另外，車輛優化調度在減少廢氣排放量，降低城市空氣污染方面也起到積極作用。

篇（11）

2利用數據挖掘技術建立客戶信用評價模型的實現方法

數據挖掘技術是通過分析大量數據，從中尋找其規律的技術，主要有數據準備、規律尋找和規律表示3個步驟。數據準備是從相關的數據源中選取所需的數據并整合成用于數據挖掘的數據集；規律尋找是用某種方法將數據集所含的規律找出來；規律表示是盡可能以用戶可理解的方式將找出的規律表示出來。數據挖掘的任務有關聯分析、聚類分析、分類分析等。（1）數據挖掘方法。根據客戶信用價值評價指標模型要求，在進行綜合評價前，應先確定指標體系中各個指標的評價值，可采用數據挖掘技術中聚類方法加以分析。聚類分析是將個體或對象分類，使得同一類中對象之間的相似性比與其他類的對象的相似性更強。目的在于使類間對象的同質性最大化和類與類間對象的異質性最大化。通過對聚類算法的分析,針對電力客戶信用分類的特征,提出了電力客戶信用評價算法.得到了不同客戶群的聚類中心以及客戶的隸屬度矩陣,為客戶群的特征分析提供了量化依據，從而得到滿意的客戶聚類及分類結果。（2）數據挖掘算法。首先可采用K-means聚類算法對電力客戶樣本進行分類,利用該算法,給定客戶分類個數k,按照樣本間距離最近的原則,將n個電力客戶劃分到k個分類中去。k個聚類中心代表了聚類的結果；進而采用層次分析法將一個復雜的評價系統,按其內在的邏輯關系,以及評價指標為代表構成一個有序的層次結構,然后針對每一層的指標,運用專家或管理人員的專業知識、經驗、信息和價值觀,對同一層次或同一域的指標進行兩兩比較對比,并按規定的標度值構造比較判別矩陣。從而確定指標權重；最后根據聚類以后得出的各個類的中心點，計算得出的k類電力客戶的信用得分,可以判斷其所屬的信用等級。