數(shù)據(jù)挖掘技術在中等職業(yè)學校管理實踐中的應用研究論文
摘要:我國中等職業(yè)教育的學校規(guī)模、在校生人數(shù)等都有了很大的發(fā)展,高效的數(shù)據(jù)管理對學校發(fā)展起到越來越重要的作用。利用Hash樹和Fp樹對Apriori算法對學生信息、教學信息、后勤信息進行分析和研究,并進行優(yōu)化和實施關聯(lián)規(guī)則挖掘,用遺傳算法對挖掘成果進行優(yōu)化,以此來推動中等職業(yè)教育的發(fā)展。
關鍵詞:數(shù)據(jù)挖掘;關聯(lián)規(guī)則;遺傳算法
1引言
信息時代的計算機數(shù)據(jù)存儲技術等得到了飛速發(fā)展。大量的數(shù)據(jù)與數(shù)據(jù)分析處理方法相互結合產(chǎn)生了數(shù)據(jù)挖掘技術,目前數(shù)據(jù)挖掘是在許多領域和方面得到了廣泛應用的技術。隨著中等職業(yè)教育的發(fā)展,提高職業(yè)教育質量已成為一個系統(tǒng)工程。目前職業(yè)學校已存儲了以學校教學實踐為中心的大量數(shù)據(jù),但是其背后所蘊含的大量有用信息并未得到發(fā)現(xiàn)和利用,主要是因為利用分析方法不適應職業(yè)學校的大量復雜數(shù)據(jù)。利用數(shù)據(jù)挖掘技術從中發(fā)現(xiàn)有價值的信息可以指導職業(yè)學校教學、就業(yè)、后勤等各方面的管理,提高管理效率,降低成本,推動職業(yè)教育更好的發(fā)展。
2關聯(lián)規(guī)則挖掘算法
2.1Apriori算法及改進
Apriori算法是關聯(lián)規(guī)則挖掘的基本算法,它利用項集的先驗性知識和層次順序的循環(huán)搜索方法來發(fā)現(xiàn)頻繁項集,首先產(chǎn)生頻繁1-項集L1;然后利用L1來產(chǎn)生頻繁2-項集L2,不斷循環(huán)下去直到無法發(fā)現(xiàn)更多的頻繁K-項集為止。
從兩個方面對Apriori算法進行改進。
2.1.1利用HASH樹對支持度進行計數(shù)
HASH樹根節(jié)點為空,用HASH函數(shù)來決定內(nèi)部節(jié)點的分支走向,遍歷HASH樹可以對候選項集支持度進行計數(shù),用HASH樹對候選項集的支持度進行計數(shù),避免了窮舉法對事務中的每個項集與候選項集進行比較,而是進行了分類,降低了支持度計數(shù)的任務量。
2.1.2用FP樹提取頻繁項集
FP樹(frequentpatterntree)實現(xiàn)了對數(shù)據(jù)的緊湊表示,可以從該結構中直接提取頻繁項集。FP樹之中的一條路徑所表示的數(shù)據(jù)序列對應一條事務中的數(shù)據(jù),對于不同事務中相同的數(shù)據(jù)項對應的FP樹中的路徑可以重疊,從而實現(xiàn)了事務數(shù)據(jù)的緊湊表示。FP樹的節(jié)點包括數(shù)據(jù)項的標記和計數(shù),計數(shù)表示經(jīng)過該路經(jīng)的事務個數(shù)。
。1)對各數(shù)據(jù)項的數(shù)據(jù)按照它們的支持度計數(shù)的遞減順序排序,從而調整數(shù)據(jù)集中各數(shù)據(jù)的次序。
(2)由數(shù)據(jù)集構造FP樹,對第一個事務創(chuàng)建從根節(jié)點到事務中各數(shù)據(jù)的路徑并進行支持度計數(shù)。
。3)繼續(xù)讀入事務,與創(chuàng)建過路徑的事務進行比較將新事務加入FP樹,如果與創(chuàng)建過的事務有相同的路徑則合并相同的路徑,相應節(jié)點支持度增加,不同路徑增加不同的分支,進行支持度計數(shù)。
(4)繼續(xù)該過程直到所有的事務都映射到FP樹。
。5)由FP樹依據(jù)不同的結尾進行劃分,產(chǎn)生以其為后綴的路徑。
。6)不同的后綴產(chǎn)生相應的頻繁項集。
2.2關聯(lián)規(guī)則的發(fā)現(xiàn)
由頻繁項集可以較為容易地產(chǎn)生相應的關聯(lián)規(guī)則,可以通過計算置信度來獲得強關聯(lián)規(guī)則,關聯(lián)規(guī)則的操作為:
2.2.1對于每個頻繁項集L產(chǎn)生所有的非空子集。
2.2.2對于L的非空子集,如果c(L-)=≥min_s,則產(chǎn)生(L-)的關聯(lián)規(guī)則,min_s為最小置信度閥值。
3學校信息的數(shù)據(jù)挖掘
3.1對學校信息進行關聯(lián)挖掘
下邊以有代表性的學生就業(yè)方面信息為例來進行分析。就業(yè)信息庫中的數(shù)據(jù)項包括:學生的編號、成績、學生干部、操行等級、實踐動手能力、就業(yè)單位,其中編號為學生的唯一標識。為了便于數(shù)據(jù)存取現(xiàn)在對各數(shù)據(jù)項的內(nèi)容進行編號,其中成績項分為:優(yōu)(a1),良(a2),一般(a3);學生干部分為:是(b1)、不是(b2);操行等級程度分為:良(c1)、優(yōu)(c2)、一般(c3);實踐動手能力分為:強(d1)、較強(d2)、一般(d3)。就業(yè)單位分為:大型公有企業(yè)(e1)、大型私企(e2)、一般公有企業(yè)(e3)、一般私企(e4)。
現(xiàn)有部分學生就業(yè)信息:
學生信息庫中共有125條學生就業(yè)方面的信息,應用挖掘軟件對其進行數(shù)據(jù)挖掘,最小支持度選定為0.3,最小置信度選定為0.5。其數(shù)據(jù)信息和挖掘結果如下所示:
在該就業(yè)數(shù)據(jù)庫中就業(yè)信息處于最主要的地位,也最有分析價值和現(xiàn)實意義。為了挖掘就業(yè)方面的關聯(lián)規(guī)則,發(fā)現(xiàn)影響就業(yè)情況的因素,從挖掘結果中提取“結論”含有就業(yè)數(shù)據(jù)項(e1,e2,e3)的規(guī)則,得到的規(guī)則表達式和可信度為:
(1)b1|c2e1confidence=0.84
。2)b1e1confidence=0.62
(3)b1|d2e1confidence=0.62
。4)c2|d2e1confidence=0.58
。5)b2e2confidence=0.52
。6)c2e2confidence=0.56
。7)b2|c2e2confidence=0.91
。8)a2e2confidence=0.64
由1至4式得:學生干部且操行達到優(yōu)、學生干部、學生干部并且實踐動手能力較強、操行達到優(yōu)且實踐動手能力較強到大型公有企業(yè)就業(yè)的可能性分別為0.84、0.62、0.62、0.58。
分析可以得到如下結果:學生干部和操行等級對進入大型公有企業(yè)就業(yè)有著重要影響,同時也應該提高實踐動手能力。
由5到8式得:不是學生干部、操行達到優(yōu)、不是學生干部且操行達到優(yōu)、學習良好到大型私企的可能性分別是0.52、0.56、0.91、0.64。
分析得:操行等級和學習成績對進入大型私企有較大的影響,同時是學生干部對進入大型私企沒有進入大型公有企業(yè)的影響力大。
3.2遺傳算法對挖掘結果的優(yōu)化
遺傳算法是模擬生物的遺傳、變異、選擇、淘汰等自然選擇和遺傳機制,以隨機的形式將最適合目標的種群通過重組產(chǎn)生新的一代。該算法是一種全局優(yōu)化算法,適合于較大空間的優(yōu)化問題,具有并行性、糾錯能力強和可操作性的特點。在數(shù)據(jù)挖掘中會遇到搜索尋求可行解或最優(yōu)解,需要處理海的量數(shù)據(jù)要花費很長時間,遺傳算法的啟發(fā)式解決問題的方法可以應用到這一方面。
由上面得到把各種要素對就業(yè)的.影響可以用數(shù)學函數(shù)來表示,影響作用的大小對應函數(shù)值的大小。下面利用遺傳算法對挖掘結果的優(yōu)化,流程圖如下。
具體應用中就業(yè)情況受多個因素的影響,先抽取最有影響的兩個因素建立模型函數(shù),下邊以函數(shù)y=(x1*x1-x2)*(x1*x2-x2)+(1-x1)*(1-x1)為例來分析,其中y為學生的就業(yè)情況好壞的量化表示,x1、x2分別是操行等級和動手實踐能力。 程序中的類型定義為:
intpopsize;//種群大小
intmaxgeneration;//最大世代數(shù)
doublepc;//交叉率
doublepm;//變異率
doublefitness;//適應度
intgeneration;//世代數(shù)
structindividualbestindividual;//最佳個體
structindividualworstindividual;//最差個體
structindividualpopulation[POPSIZE];
各函數(shù)說明如下:
。1)voidgenerateinitialpopulation()和voidinput()初始化種群和遺傳算法參數(shù)。
input()函數(shù)輸入種群大小,染色體長度,最大世代數(shù),交叉率,變異率等參數(shù)。
。2)voidcalculateobjectvalue()計算適應度函數(shù)值。根據(jù)給定的變量用適應度函數(shù)計算然后返回適應度值。
。3)選擇函數(shù)selectoperator(),在函數(shù)selectoperator()中首先用rand()函數(shù)產(chǎn)生0~1間的選擇算子,當適度累計值不為零時,各個體適應度占總適應度的百分比與選擇算子值比較,達到選擇算子規(guī)定值的那個體被選出,即適應度為fi的個體以fi/∑fk的概率繼續(xù)存在;顯然,個體適應度愈高,被選中的概率愈大。但是,適應度小的個體也有可能被選中,以便增加下一代群體的多樣性。
。4)染色體交叉函數(shù)crossoveroperator()是遺傳算法中的最重要的函數(shù)之一,它是對個體兩個變量所合成的染色體進行交叉,而不是變量染色體的交叉,這要搞清楚。首先用rand()函數(shù)產(chǎn)生隨機概率,若小于交叉概率,則進行染色體交叉,同時交叉次數(shù)加1。這時又要用rand()函數(shù)隨機產(chǎn)生一位交叉位,把染色體的交叉位的后面部分交叉即可;若大于交叉概率,則進行簡單的染色體復制即可。
。5)染色體變異函數(shù)mutation(),變異是針對染色體字符而言的,而不是對個體而言,即個體變異的概率是一樣。隨機產(chǎn)生比較概率,若小于變異概率,則1變?yōu)?,0變?yōu)?,同時變異次數(shù)加1。
。6)longdecodechromosome(char*,int,int),本函數(shù)是染色體解碼函數(shù),它將以數(shù)組形式存儲的二進制數(shù)轉成十進制數(shù),然后才能用適應度函數(shù)進行計算。
。7)voidfindbestandworstindividual(),本函數(shù)是求最大適應度個體的,每一代的所有個體的適應度都要和初始的最佳個體比較,如果大于就賦給最佳個體。
(8)voidoutputtextreport(),本函數(shù)輸出種群統(tǒng)計結果。
運行結果如圖3.4所示為:
設定種群大小為150,最大世代數(shù)為80,交叉率為0.5,變異率為0.05,運行結果如圖3.4所示,由此得到y(tǒng)=(x1*x1-x2)*(x1*x2-x2)+(1-x1)*(1-x1)的最大值約為47.86,即:整體學生操行等級和動手實踐能力對就業(yè)的影響程度為47.86。這為大量數(shù)據(jù)的最優(yōu)求解問題提供一種參考方法,具有很大的借鑒意義。上述分析方法也有很大的局限性,主要是選擇合適的評價函數(shù)即適應度函數(shù)問題。
4結論
目前,數(shù)據(jù)挖掘技術在職業(yè)學校信息管理中的應用還處于起步階段,但是由于其在數(shù)據(jù)處理、分析、組織以及信息挖掘等方面所表現(xiàn)出來的巨大潛力,相信不久的將來,隨著數(shù)據(jù)庫的不斷膨脹和數(shù)據(jù)挖據(jù)技術在職業(yè)學校信息管理中應用的不斷深入,為我國職業(yè)學校的跨越式發(fā)展起到一個科學導向作用。
參考文獻:
[1]陳安,陳寧,周龍驤.數(shù)據(jù)挖掘技術與應用.北京:科學出版社,2006
[2]Pang-NingTanMichaelSteinbachVipinKumar.數(shù)據(jù)挖掘導論.北京:人民郵電出版社,2006
[3]李本貴.數(shù)據(jù)挖掘在高校后勤中的應用.企業(yè)技術開發(fā),2006(2):22~23
[4]錢能.C++程序設計教程.北京:清華大學出版社,1999
[5]張儒良,王翰虎.論數(shù)據(jù)挖掘優(yōu)化教學管理.2004(2):133~155
[6]谷瓊,朱麗,蔡智華,袁紅星.基于決策樹的高校研究生信息庫數(shù)據(jù)挖掘.電子技術應用,2006(1):21~22
【數(shù)據(jù)挖掘技術在中等職業(yè)學校管理實踐中的應用研究論文】相關文章:
數(shù)據(jù)挖掘技術的研究論文09-12
大學圖書館數(shù)據(jù)挖掘技術應用研究論文12-03
數(shù)據(jù)挖掘技術在企業(yè)決策系統(tǒng)中的應用研究12-01
水利工程管理中數(shù)據(jù)挖掘技術的運用論文09-18
數(shù)據(jù)挖掘技術下戰(zhàn)略管理會計探究論文10-06
支持向量機在數(shù)據(jù)挖掘中的應用研究論文09-09