- 相關(guān)推薦
網(wǎng)絡安全分析的大數(shù)據(jù)技術(shù)實踐解析論文
摘要：網(wǎng)絡信息技術(shù)的迅速發(fā)展，使得人們的生活生產(chǎn)變得更為方便，但是面對呈井噴式增長的數(shù)據(jù)，再加上其復雜程度越來越高，都使得網(wǎng)絡安全面臨較大威脅，網(wǎng)絡安全問題已經(jīng)引起了人們的廣泛重視。本文著眼于大數(shù)據(jù)技術(shù)應用于網(wǎng)絡安全分析中的重要性，對其實踐應用進行了分析，并探究了大數(shù)據(jù)技術(shù)背景下網(wǎng)絡安全平臺的建設策略，希望對構(gòu)建安全網(wǎng)絡環(huán)境具有幫助作用。
關(guān)鍵詞：網(wǎng)絡安全分析；大數(shù)據(jù)技術(shù)；重要性；平臺建設
0引言
網(wǎng)絡化、信息化時代背景下，人們對互聯(lián)網(wǎng)的依賴程度越來越高，但是網(wǎng)絡信息安全問題也變得更為嚴峻，近些年所發(fā)生的網(wǎng)絡安全事件屢見不鮮，如2017年老牌信用機構(gòu)Equifax遭攻擊，1.43億用戶信息被盜事件，全球爆發(fā)WannaCrypt勒索病毒等。面對愈發(fā)復雜的網(wǎng)絡環(huán)境以及海量增長的數(shù)據(jù)信息，傳統(tǒng)網(wǎng)絡安全防護技術(shù)已經(jīng)無法滿足實際需求，將大數(shù)據(jù)技術(shù)加以充分應用，構(gòu)建網(wǎng)絡安全平臺，能夠顯著增強網(wǎng)絡安全等級，是當下研究的熱點。
1大數(shù)據(jù)技術(shù)應用于網(wǎng)絡安全分析中的重要性
大數(shù)據(jù)技術(shù)具有有數(shù)據(jù)量大、種類繁多、速度快、價值密度低等特點，在網(wǎng)絡安全分析中有著較高的應用價值，其重要性具體體現(xiàn)在以下幾方面。第一，大數(shù)據(jù)技術(shù)可以拓寬數(shù)據(jù)存儲容量，滿足海量數(shù)據(jù)安全分析需求，并且在對多源數(shù)據(jù)和多階段組合進行分析時，在保證運算效率的同時，還能確保數(shù)據(jù)的完整性。第二，大數(shù)據(jù)技術(shù)能夠?qū)W(wǎng)絡數(shù)據(jù)進行多層級、多精度分析，理清數(shù)據(jù)間的復雜關(guān)系，找出其中潛在的安全隱患和風險，網(wǎng)絡安全分析精度大幅提升。第三，利用大數(shù)據(jù)分析技術(shù)，可以對異構(gòu)數(shù)據(jù)進行存儲和分析，顯著提高了網(wǎng)絡安全分析速率，能夠在更短時間內(nèi)發(fā)現(xiàn)并解決網(wǎng)絡安全問題[1]。第四，傳統(tǒng)網(wǎng)絡安全平臺為結(jié)構(gòu)化數(shù)據(jù)庫，而基于大數(shù)據(jù)技術(shù)的網(wǎng)絡安全平臺為分布式數(shù)據(jù)庫，具有良好的經(jīng)濟效益，設備成本較低且性能良好，減少了系統(tǒng)維修費用，降低了網(wǎng)絡安全平臺構(gòu)建成本。
2網(wǎng)絡安全分析的大數(shù)據(jù)技術(shù)實踐
將大數(shù)據(jù)技術(shù)應用于網(wǎng)絡安全分析方面，可以實現(xiàn)對日志和流量的集中化存儲與分析，深層挖掘數(shù)據(jù)之間的關(guān)系，增強了網(wǎng)絡安全檢測及防防護能力。
2.1數(shù)據(jù)采集
網(wǎng)絡安全分析需要依托全面、完整的信息數(shù)據(jù)，在應用大數(shù)據(jù)技術(shù)時，應先完成數(shù)據(jù)采集。對于每秒數(shù)百兆的日志信息來講，可以利用Chukwa等工具對其進行采集；對于全數(shù)量數(shù)據(jù)來講，可以使用傳統(tǒng)數(shù)鏡向方式對其進行采集[2]。
2.2數(shù)據(jù)存儲
完成數(shù)據(jù)采集后，需依托數(shù)據(jù)庫對其進行集中存儲，在大數(shù)據(jù)技術(shù)的幫助下，數(shù)據(jù)類型存在差異時，可以采用與其相匹配的方式完成存儲，不僅能夠保證數(shù)據(jù)之間的明確分類，又可以方便數(shù)據(jù)查詢。數(shù)據(jù)類型為即時數(shù)據(jù)時，可采用列式存儲方法，先運用流式計算方式進行分析，然后存儲所得結(jié)果。數(shù)據(jù)類型為日志時，為提高數(shù)據(jù)查詢效率，可選用列式存儲方法完成存儲。另外，當數(shù)據(jù)經(jīng)過標準化處理后，需要先對其進行處理，所用方法為分布式計算方法，然后再采用列式存儲方法進行存儲。
2.3數(shù)據(jù)查詢
將大數(shù)據(jù)技術(shù)應用于網(wǎng)絡安全分析中去，就數(shù)據(jù)查詢來講，可依托MapReduce完成[3]。系統(tǒng)發(fā)出查詢指令后，在對應的節(jié)點位置完成處理，并將多種結(jié)果加以整合，然后可以通過檢索得到自己所需數(shù)據(jù)信息。相較于傳統(tǒng)網(wǎng)絡安全分析平臺，這種數(shù)據(jù)查詢方式的指令反應及處理更為迅速，大大提高了查詢效率。
2.4數(shù)據(jù)分析
基于大數(shù)據(jù)技術(shù)的網(wǎng)絡安全分析平臺，當數(shù)據(jù)類型不同時，所用分析處理方法也是不一樣的。首先，如果數(shù)據(jù)類型為實時數(shù)據(jù)時，在對其進行分析和處理時，主要用到了流式計算方式、CEP技術(shù)、關(guān)聯(lián)分析算法等，可以及時發(fā)現(xiàn)潛在的安全隱患及威脅。其次，如果數(shù)據(jù)類型為歷史數(shù)據(jù)、統(tǒng)計結(jié)果時，在實效性方面要求并不嚴格，可對其進行離線處理，完成更為深入、全面的分析，所用方法主要為分布式存儲與計算，既能夠發(fā)現(xiàn)其中的風險隱患，又可以找出攻擊來源。
2.5復雜數(shù)據(jù)處理
面對越來越復雜以及關(guān)聯(lián)性越來越強的數(shù)據(jù)，以大數(shù)據(jù)技術(shù)為依托的網(wǎng)絡安全分析平臺，也可以更加迅速、精準地對其進行處理，包括多源異構(gòu)數(shù)據(jù)、系統(tǒng)安全隱患以及關(guān)聯(lián)性攻擊行為等。以網(wǎng)絡安全問題中常見的僵尸網(wǎng)絡為例，借助大數(shù)據(jù)技術(shù)，不但能夠從流量和DNS訪問特性出發(fā)，而且能進行發(fā)散性關(guān)聯(lián)分析，同時結(jié)合多方面的數(shù)據(jù)信息，可對數(shù)據(jù)進行多維度、深層次、全方位分析，確保了數(shù)據(jù)處理的有效性。
3大數(shù)據(jù)技術(shù)背景下網(wǎng)絡安全平臺建設
基于大數(shù)據(jù)技術(shù)所體現(xiàn)出的多方面優(yōu)勢，已經(jīng)在網(wǎng)絡安全分析方面得到了越來越廣泛的應用，在構(gòu)建網(wǎng)絡安全平臺時，需要科學設計其基礎構(gòu)架，并嚴格把控關(guān)鍵技術(shù)環(huán)節(jié)，充分發(fā)揮其應用價值。
3.1平臺構(gòu)架
以大數(shù)據(jù)技術(shù)為依托，所搭建的網(wǎng)絡安全平臺分為四個層級，包括數(shù)據(jù)采集層、數(shù)據(jù)存儲層、數(shù)據(jù)挖掘分析層、數(shù)據(jù)呈現(xiàn)層，四個層級功能各不相同，需要分別對其進行分析。首先，數(shù)據(jù)采集層主要負責采集各種類型數(shù)據(jù)，包括即時數(shù)據(jù)、用戶身份信息、日志等，實現(xiàn)方式為分布式采集。其次，數(shù)據(jù)存儲層的能夠?qū)崿F(xiàn)海量信息的長期保存，并采用結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化方式對其進行統(tǒng)一存儲，使用均衡算法將現(xiàn)實數(shù)據(jù)均勻分布在分布式文件系統(tǒng)上[4]。另外，網(wǎng)絡安全異常的發(fā)現(xiàn)及溯源，則是在數(shù)據(jù)挖掘分析層完成，具體方法包括特征提取、情境分析、關(guān)聯(lián)分析等，可通過檢索查詢對異常網(wǎng)絡行為進行準確定位。最后，數(shù)據(jù)呈現(xiàn)層則可以通過可視化形式將大數(shù)據(jù)分析結(jié)果呈現(xiàn)出來，通過多種維度展現(xiàn)網(wǎng)絡安全狀態(tài)。
3.2關(guān)鍵技術(shù)
構(gòu)建網(wǎng)絡安全平臺時，所用到的關(guān)鍵技術(shù)主要有數(shù)據(jù)采集技術(shù)、數(shù)據(jù)存儲技術(shù)、數(shù)據(jù)分析技術(shù)等。此次研究所用數(shù)據(jù)采集技術(shù)包括Flume、Kafka、Storm等，F(xiàn)lume能夠采用分布式方式，對來源不同的數(shù)據(jù)進行收集和整理，經(jīng)過處理后將其傳輸至定制方。Kafka中應用了Zookeeper平臺，可實現(xiàn)數(shù)據(jù)的集群配置管理，能夠作為一個高吞吐量的分布式發(fā)布訂閱系統(tǒng)應用，平衡數(shù)據(jù)處理環(huán)節(jié)的系統(tǒng)負荷。完成數(shù)據(jù)采集后，采用HDFS分布式文件系統(tǒng)對其進行存儲，其容錯性和吞吐量都比較高，使用元數(shù)據(jù)管理節(jié)點文件系統(tǒng)對空間命名，數(shù)據(jù)文件保存至數(shù)據(jù)節(jié)點，基本存儲單位為64兆字節(jié)的數(shù)據(jù)塊。數(shù)據(jù)文件會隨著元數(shù)據(jù)節(jié)點的增多而減少，兩者之間呈反比關(guān)系，多個文件同時被訪問時，會對系統(tǒng)性能造成影響，而HDFS分布式文件系統(tǒng)的應用可有效避免這種問題。在數(shù)據(jù)分析環(huán)節(jié)，該平臺所用技術(shù)為Hivc，對于非結(jié)構(gòu)化數(shù)據(jù)的檢索，所用語言為HiveQL，與HDFS和HBase匹配性良好。API的封裝則是采用Hive完成，使用定制的插件開發(fā)和實現(xiàn)各種數(shù)據(jù)的處理、分析與統(tǒng)計。
4結(jié)束語
將大數(shù)據(jù)技術(shù)應用于網(wǎng)絡安全分析領(lǐng)域，不僅能夠提高分析速率、分析精準度，而且還可以降低技術(shù)成本，有著多方面顯著優(yōu)勢，是未來網(wǎng)絡安全防護的必然發(fā)展方向。在實際應用時，應采用層級結(jié)構(gòu)構(gòu)建網(wǎng)絡安全平臺，就數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)分析等關(guān)鍵技術(shù)環(huán)節(jié)進行重點把控，以此來改善當前網(wǎng)絡安全分析中的缺陷與不足，提高網(wǎng)絡安全等級。
參考文獻：
[1]孫玉.淺談網(wǎng)絡安全分析中的大數(shù)據(jù)技術(shù)應用[J].網(wǎng)絡安全技術(shù)與應用，2017.
[2]王帥,汪來富,金華敏等.網(wǎng)絡安全分析中的大數(shù)據(jù)技術(shù)應用[J].電信科學，2015.
[3]賈衛(wèi).網(wǎng)絡安全分析中的大數(shù)據(jù)技術(shù)應用探討[J].網(wǎng)絡安全技術(shù)與應用，2016.
[4]萬明秀,宋秋蓮.網(wǎng)絡安全分析中的大數(shù)據(jù)技術(shù)應用探討[J].無線互聯(lián)科技，2017.
【網(wǎng)絡安全分析的大數(shù)據(jù)技術(shù)實踐解析論文】相關(guān)文章：
網(wǎng)絡安全與大數(shù)據(jù)的關(guān)系論文04-07
數(shù)據(jù)挖掘技術(shù)的研究論文05-02
移動通信網(wǎng)絡優(yōu)化中數(shù)據(jù)挖掘技術(shù)分析論文05-02
大數(shù)據(jù)時代網(wǎng)絡安全研究論文05-02
云計算下網(wǎng)絡安全防范技術(shù)分析論文05-02
無線網(wǎng)絡安全的關(guān)鍵技術(shù)分析論文05-02
移動通信業(yè)大數(shù)據(jù)技術(shù)特點及發(fā)展展望分析論文05-05
云計算資源池數(shù)據(jù)安全防護及保障技術(shù)分析論文08-29