第47卷第2期 西 安 交 通 大 学 学 报 JOURNAL OF XI’AN JIAOTONG UNIVERSITY Vo1.47 NO.2 Feb.2013 2013年2月 DOI:10.7652/xjtuxb2013O2O03 入侵检测系统利用信息熵检测网络攻击的方法 夏秦,王志文,卢柯 (西安交通大学电子与信息工程学院,710049,西安) 摘要:针对传统入侵检测系统报警事件数量多、误报率高的问题,提出了一种基于信息熵的网络攻 击检测方法。该方法利用雷尼熵对报警事件源IP地址、目标IP地址、源威胁度、目标威胁度以及 数据报大小这5个属性香农熵的融合结果来表示网络状态,通过与正常网络状态的对比识别网络 异常。真实攻击和人工合成攻击环境中的实验结果表明,该方法能在保持误报率低于1 的情况 下命中率高于9O ;与基于特征香农熵的攻击检测方法相比,该方法对攻击更敏感,最易检测出 DoS攻击和主机入侵,其次是主机扫描和端口扫描,对蠕虫攻击的检测敏感度稍差。对比测试结果 表明,该方法在提高命中率的同时,还能有效降低误报率。 关键词:网络攻击;入侵检测系统;香农熵;雷尼熵 中图分类号:TP393 文献标志码:A 文章编号:0253—987X(2013)02—0014—06 A Method to Detect Network Attacks Using Entropy in the Intrusion Detection System XIA Qin,WANG Zhiwen,LU Ke (School of Electronics and Information Engineering,Xi’an Jiaotong University,Xi’an,710049,China) Abstract:A method to detect network attacks using entropy is proposed to solve the problem that the existing intrusion detection system(IDS)typically generates large amounts of alerts with high false rate.Rainey cross entropy is employed to fuse the Shannon entropy vector for five properties of alerts.These five properties are source IP address,destination IP address,source threat,target threat and datagram length.Then the fusing result is used to describe the network state,and iS compared with the normal network state to identify the anomalies.The experimenta1 results on actual network attacks data and synthetic attacks show that the proposed approach can detect network attacks with a hit rate more than 9O%whereas the false rate is less 1 . Comparisons with the attack detection method based on the characteristics of the Shannon entropy show that the proposed method is more sensitive to attacks,and is easier to detect in the order Denial of Service(DoS)and hosts intrude attacks,and then the hosts scan and port scan attacks. however,is relatively difficult to worm attacks.The test results also show that the proposed method is better than the compared systems with higher hit rate and lower false positives. Keywords:network attack;intrusion detection system;Shannon entropy;Rainey entropy 入侵检测系统(IDS)是用于监测网络和/或系 统行为中是否存在恶意或违反策略行为,并向控制 台产生检测报告的设备或软件 。虽然目前的IDS 具有强大的攻击监测能力,但多数IDS仍然存在报 收稿日期:2012—04—09。 作者简介:夏秦(1973一),女,博士,讲师。 基金项目:国家自然科学基金资助项目(60970121)。 网络出版时间:2012—10—31 网络出版地址:http://WWW.cnki.net/kcms/detail/61.1069.T.20121031.1103.008.html 第2期 夏秦,等:入侵检测系统利用信息熵检测网络攻击的方法 警事件数量较大和误报率较高的问题。Gina等人 通过Snort对1999 DARPA数据集的测试,得出 ND一{,zD.1, D.2,…, D. } (5) 为了突出报警事件威胁程度对异常检测的影 响,使用t 一5“ 表示a 的威胁度,其中q 表示a 的报警程度优先级的属性值。若所有来自P。 的报 警事件威胁度之和为t 所有发向Po 的报警事件 威胁度之和为t。 则源和目标IP地址的威胁度表 示为 丁s一{ts。1,ts,2,…,ts, } TD一{tD-1,tD,2,…,tD. } (6) (7) 69 的报警事件都是误报 ]。解决这个问题的方法 主要分为2类:一类是合理配置入侵检测系统的规 则[3 ;另一类是以事后处理的方式加强报警管理或 者挖掘报警关联l_4。]。与前一类方法相比,后一类方 法人工参与较少,适用面更广。 熵理论目前被广泛应用于信息安全领域的数据 分析和异常检测。与传统信息熵相比,相对熵和互 雷尼信息熵对异常检测往往具有更好的检测效 若z是不同长度数据报的个数,则报警事件集 合A对应的数据报长度集合表示为 L一{Z1,l2,…,Z } (8) 果l8]。本文从事后处理的角度出发,针对Snort产 生的报警事件集,利用互雷尼信息熵对5个报警事 件的特征香农熵进行融合,并以该结果反映网络状 态,并通过与正常网络状态的比较,能够较准确地判 断是否存在网络异常。测试实验分别在真实和合成 攻击环境中进行,通过改变5种不同合成攻击的强 度,比较了本文方法与基于特征香农熵检测方法以 若数据报长度为z 的报警事件数为m ,则不同 数据报长度对应的报警事件数为 M一{ l,m2,…,m } (9) 在时间窗口 中,源和目标IP地址的香农熵表 示为 H /‘\ 及与文献E6]中系统的检测效果。 丁 D 1报警事件特征 1.1报警事件特征选取 H(Ps( ))===一∑( , /n)lg(n /n)(10) i一1 H(P。( ))一一∑( DIf/n)lg(n。, /n)(11) 一i—l 一 传统的基于流量分析的网络攻击检测方法大都 采用IP地址、端口和网络流大小分布作为网络流量 源和目标IP地址威胁度的香农熵表示为 ∑ 特征l_】]。本文的数据对象是Snort产生的报警事 件,每条报警事件都有表示事件严重程度的优先级 属性,其值从1到4,威胁程度依次减弱(high,medi— Llm,low,info)。因此,本文选取的报警事件特征包 括每个源和目的IP地址对应的报警事件数、报警事 件的威胁度以及能够反映网络流大小并触发报警规 则的数据报字节数。由于报警事件相对于原始流量 较为精简,相关端口变化较小,随机性较强,统计特 征较差,因此没有选取端口作为报警事件特征。 1.2报警事件特征分析 H(T ( ))一一∑( ,/∑t )lg(ts'J/∑t ) / J一1 i一1 i—l 幻 ∑ 、I, /, (12) / 数据报长度的香农熵表示为 Z ∑ 3 H(L( ))一一> (m /n)lg(m /n) (14) 由式(10)~式(14)可得到时间窗口 关于报警 事件特征的香农熵值向量V(6)一[H(P ( )), H(PD( )),H(Ts( )),H(TD( )),H(L( ))],该 向量反映了时间窗口 的网络状态,熵值向量的时 (1) 假设在时间窗口 内产生了 条报警事件,则 该报警事件集合表示为 A一{a1,a2,…,a ) 间序列V(1),V(2),…,V( )能够反映一段时间的 网络状态。 若所有报警事件的源和目标IP地址的数量分 别为m和忌,则源和目标IP地址的集合表示为 Ps一{Ps,1,Ps.2,…,Ps. } PD一{PD,l,PD,2,…,PD,t} (2) (3) 香农熵向量V( )单位化的结果表示为 ( )一[耳(P ( )),再(P。( )), H(Ts( )),H(TD( )),H(L( ))] (15) 式中:H(Ps( ))一H(P ( ))/H ;H(PD( ))一 H(PD( ))/H…;H(Ts( ))一H(Ts( ))/H…; H(T。( ))一H(T。(艿))/H…;H(L( ))一 若来自Ps, 的报警事件数为 。 发向P。. 的报 警事件数为 。 则每个源和目标IP地址对应的报 警事件数分别为 Ns一{ s.】, s.2,…, s. } (4) H(L( ))/H…;H 一H(Ps( ))+H(PD( ))+ http://www.jdxb.cn http://zkxb.xjtu.edu.cn 西安交通大学学报 第47卷 H(Ts( ))+H(TD( ))+H(L( ))。 7 570个目标IP地址;测试数据的采集时间从14:O0 到23:30,共包含578 389条报警事件,来自29 327个 源IP地址,发向10 590个目标IP地址。 2 检测算法 本文提出的检测算法,能够避免网络终端用户 数和攻击程度对报警事件特征香农熵的影响,该方 法将5维检测指标的香农熵融合于1维。当网络处 于正常状态时,互雷尼信息熵总是接近于0,与终端 3.2关键参数 本文使用ROC(receiver operating characteris— tic)曲线描述检测结果,其横坐标表示命中率(hit rate,HR),即命中次数(hit time,HT)占总攻击次 数的比率;纵坐标表示误报率(false positive rate, FPR),即误报次数(false positive time,FPT)占全 部正常时间窗口数的比率。当检测结果具有较高的 用户数无关;当网络遭受攻击时,其值将发生突变, 此时对检测指标采用固定阈值,可以取得较好的检 测效果,具体步骤如下。 (1)采用手工选取最初 个正常时间窗口的香 HR和较低的FPR时,ROC曲线接近于左上角,此 农熵值的均值作为初始正常时间集合T,其香农熵 时ROC曲线下方的面积(area under ROC curve, 向量为 AUC,用符号S 表示)将增大,据此进一步确定正 1 " 常时间集合大小 和基础阈值仉 的最佳值。 v(T)一 v ( ) (16) 基于文献E9]的假设,本文采用一种半自动化网 式中:V ( )是正常时间窗口的香农熵向量; 取固 络流标定方法剔除真实报警事件。首先通过分析报 定值,由实验方法确定。 警事件统计值、香农熵值及互雷尼信息熵值,确定异 (2)利用式(17)计算 ( )和 (T)的互雷尼信 常时间窗口;然后查看异常时间窗口中贡献最大的 息熵,其中 (丁)是V(T)单位化后的熵值,P(T)和 源IP与目标IP地址,剔除与其相关的可疑报警事 ( )分别是 (T)和 ( )的概率分布函数。 件;最后重新计算报警事件统计值、香农熵值及互雷 I。. ( (T), ( ))===21bE( (丁) ( )) / 尼信息熵值,查看异常是否消失。在训练数据中采 用本文方法可以剔除真实报警事件,得到常规训练 (17) 数据。 式中:r表示报警事件特征维数。 (3)利用式(18)对时间窗口 的网络状态变化 在常规训练数据中,由于不存在网络攻击,相邻 时刻 和 ~1的网络状态变化相对较小,时刻 和 进行合法性判定,当计算结果大于检测阈值74 一时,则认为发生了网络攻击(r/d 与网络相关,由管 1的互雷尼信息熵接近于o,所有熵值都处于正 理员根据基础阈值仇 和经验设置) 常范围内。利用式(19)可以计算出时间窗口 和时 间窗口 一1的互雷尼信息熵,其中V( 一1)和V( ) 是分别单位化的互雷尼信息熵值,P( 一1)和P( ) (T ( (18) 分别是 ( 一1)和 ( )的概率分布函数。图1表示 了每个时间窗口 和其之前的时间窗口 一1的互 (4)当最新时间窗口与正常时间集合的互雷尼 雷尼信息熵,时间窗口为5 S。 信息熵小于基础阈值 ( 由实验方法确定)时, (V(3—1),V( ))一21b>:( ( 一1)P(艿))l/ 则认为该时间窗口正常,并对T进行更新。 r (19) 3 攻击测试 堡0 3.1实验环境 霎。 实验利用Snort对西安交通大学学生宿舍区32 嚣。 0 个C网,约3 000台主机进行了为期4周的监测,取 10:00 1():30 ll:00 1 l:30 12:00 12:30 l3:O0 1 3:3()t4:00 时刻 2010年l2月6日的862 284条报警事件作为实验 图1 常规训练数据互雷尼信息熵 数据,这些报警事件共包含65种报警事件签名,来 自42 473个源IP地址,发向11 790个目标IP地址。 互雷尼信息熵值大小的分布如图2所示,可以 训练数据的采集时间从10:0O到14:O0,共包含 看出:互熵值分布范围在一0.07到0之间,几乎所 170 516条报警事件,来自13 148个源IP地址,发向 有的互熵值都大于一0.04,因此设置基础阈值qb— http }}WWW. dxb.cn httptff zkxb.xjtu.edu.CD 第2期 夏秦,等:入侵检测系统利用信息熵检测网络攻击的方法 IP数和数据报长度均为一个时间窗口内的统计值, 报警事件数随机分布在各个源IP、目标IP和数据 辐 餮 爨 报长度上。由于水平扫描和块扫描和主机扫描相 似,本文只考虑垂直扫描,即对特定目的主机的多个 端口进行扫描。 表1合成攻击分类 图2互雷尼信息熵分布 的取值范围为{一0.001,一0.002,一0.003,…, 一0.04),Yt的取值范围为{5,10,15,…,200},即将 和 的每种组合计算s 值,图3中最深色 正常时间集合的长短从25 S到1 000 S逐渐增大。 由 区域是出现最大S 值的地方。当 一95,r/ 一 0.022时,SAuc取最大值0.996 2,此时全部训练数 据和常规训练数据的互雷尼信息熵如图4所示。 4测试效果 4.1攻击测试 当Yt一95,rla 一一0.016时,对于真实的测试 数据,220次攻击检测出211次,误报8次,检 图3 AUC曲面 测命中率为95.9 ,误报率为0.12 。203次主机 扫描命中197次,7次端口扫描命中4次,6次DoS、 3次主机入侵和1次蠕虫攻击全部命中。 L —呵 { O.4I F 时刻 阿 0 常规训练数据 全部训练数据 该检测方法对合成攻击的总体误报率为 0.45 9/6,其中对主机扫描、DoS、蠕虫及主机入侵的 检测率在95 以上,对端口扫描命中数相对较小, 这与该类攻击触发的报警事件数较少且威胁度低有 关,13次漏报中6次都发生在22:3O到23:3O之 一一图4 常规训练数据和全部训练数据互雷尼信息熵 问,该段时间活动用户较多,报警事件数量较大,当 端口扫描报警事件较少时,容易被常规报警淹没。 真实攻击和合成攻击环境中的实验结果表明该 3.3合成攻击 由于真实数据中攻击事件数量较少且各类攻击 分布不均,采用人工合成攻击可以进一步验证参数 选择的合理性及该方法的有效性,合成攻击检测的 实验数据是在剔除真实报警事件后的背景数据中, 方法利用5个报警特征表现出较好的检测效果,命 中率大于9O ,误报率小于1 。 4.2敏感度测试 加人人工合成的攻击报警事件。 发动合成攻击时,利用工具SuperScan按照表 文献[8]提出的传统特征分析法主要是基于各 特征香农熵的。测试时,针对5种特定类型攻击,重 新合成攻击报警事件,通过调整合成攻击报警数占 当前窗口内总报警数的比例R,设置不同的报警事 件数量级,每个数量级各包含100次合成攻击。 1描述的攻击方式对被测网络进行扫描,人工产生5 种攻击各100个,并将报警事件随机分布在常规测 试数据中。在表1中,报警事件数、源IP数、目标 http://WWW.jdxb.cn http://zkxb.xjtu.edu.cn http:∥www.jdxb.cn http://zkxb・x tu・ed ・。“ 第2期 夏秦,等:入侵检测系统利用信息熵检测网络攻击的方法 攻击的检测敏感度稍差。 4.3对比测试 2种方法的实验对比结果如表2所示,可以看 出:文献[6]除了对端口扫描合成攻击的命中率略高 于本文的检测方法外,其对真实攻击和其他几种合 文献[6]面向报警事件集构造的过滤器基于以 下3个观察结果:真实报警通常会产生大量源或者 成攻击的命中率均不如本文算法。同时,文献[6]的 误报率也明显偏高,其原因主要在于:NRA是基于 相似的IP地址识别攻击的,当数据中出现大量相似 IP地址时,一方面对攻击的识别效果越好,另一方 面误报率也越高。文献[6]在设计NRA时,分别为 IP或端口扫描攻击设计了2种算法,使用不同的参 目的IP地址相同的报警,攻击会增加相同特征真实 报警出现的频率,无攻击时段的报警特征可用于分 辨真实和误报警,据此设计了相邻报警(NRA)、高 报警频率(HAF)和一般误报(UFP)这3个检测部 件,并融合各检测部件的输出以提高攻击检测命 中率。 对比实验仍然在真实攻击和合成攻击环境中进 数,这在实际应用中很难确定。HAF依赖报警频率 识别真实报警的方式适用于攻击相对密集的情况, 行,由于文献E6]是通过不断试探确定关键参数和阈 值的,因此本文实验将按照其对DARPA 1999数据 集设置的参数执行,合成函数取3个算法结果的最 大值,判断攻击的阈值b 为1。 只有对相同特征频繁出现的攻击命中率才会较高; 由于在实际应用中很难收集完整无攻击状态的特征 信息,因此UFP依据历史特征频率和瞬时特征频率 ∞ 9 9 9 8 9 识别真实报警的做法并不完全可行。 6 O 9 3 8 表2攻击对比结果 命中次数 实验环境—— 本文算法文献E6] 命中率/ 误报次数 误报率/ 本文算法文献E6] 本文算法文献E6] 本文算法O.15 0.09 O.O9 O.O9 O.O8 0.09 0 O O O O 文献E6] 真实环境 主机扫描 端口扫描 DoS攻击 蠕虫攻击 主机入侵 O 5 结束语 本文提出的网络攻击检测方法在抽取报警特征 时,综合考虑了传统入侵检测系统报警事件的属性 以及报警工具Snort自身的特点,利用雷尼信息熵 对报警事件特征属性的香农熵进行融合,通过与正 常网络状态的比较是能够较准确地感知网络安全态 参考文献: ” 勰 r 1] SCARFONE K,MELL P.Guide to intrusion detec— tion and prevention systems E M].Gaithersburg,MD, USA:NIST Special Publication,2007:9. E2] TJHAI G,PAPADAKI M,FURNELL S,et a1.The problem of false alarms:evaluation with snort and DARPA 1999 dataset[c]//Proceedings of 5th Inter— nationa1 Conference on Trust,Privacy and Security in 势变化的。与基于特征香农熵的攻击检测方法相 比,该方法对攻击更敏感,最易检测出DoS攻击和 主机入侵,其次是主机扫描和端口扫描,对蠕虫攻击 的检测敏感度稍差。与对比系统的实验表明该方法 能大量减少Snort的报警次数,提高命中率,降低误 报率。 Digital Business.Berlin,Germany:Springer-Verlag, 2008:139—15O. [3] ABIMBOLA A A,MUNOZ J M,BucHANAN w J. Investigating false positive reduction in http via proce— dure analysis[C]//Proceeding of the International Conference on Networking and Services.Los Alami— tos,CA,USA:IEEE Computer Society,2006:87— 93. 入侵特征的抽取一直以来都是入侵检测的难点 之一,目前现有的入侵特征抽取大都是基于专家知 识和实际测试的,因此本文下一步的工作将会从理 论上分析该检测方法对特征信息的抽取是否合理。 [4]TIAN Zhihong,ZHANG Weizhe,YE Jianwei,et a1. Reduction of false positives in intrusion detection via (下转第46页) http://www.jdxb.cn http://zkxb.xjtu.edu.cn 46 西安交通大学学报 第47卷 detection:a survey and comparative evaluation of re— chine Intelligence,2008,30(11):2055—2063. MARTEL—BRISSON N。ZACCARIN A.Kernel—based [1O] learning of cast shadows from a physical model of light cent methods EJ].Pattern Recognition,2012,45(4): 1684—1695. a1.Shadow [3] HSIEH J W,HU W F,CHANG C J,etsources and surfaces for low—level segmentation[C]// Proc of the IEEE Conference on Computer Vision and elimination for effective moving object detection by Gaussian shadow modeling[J].Image and Vision Computing,2003,21(6):505—516. Pattern Recognition.Piscataway,NJ,USA:IEEE, 2008:1-8. M,et a1. [4] CUCCHIARA R,GRANA C。PICCARDICELIK H,ORTIG0SA A M,HANJALIC A,et a1. [11] Autonomous and adaptive learning of shadows for sur— Detecting moving obj eets,ghosts,and shadows in vid— eo streams FJ].IEEE Transactions on Pattern Analy— sis and Machine Intelligence,2003,25(10):1337-I342. shadow detection E51 HUANG J B,CHEN C S.Moving castveillance[c]//Proc of the 9th International Workshop on Image Analysis for Multimedia Interactive Services. Piscataway,NJ,USA:IEEE,2008:59—62. using physics-based features[C]//Proc of the IEEE Con— ference on Computer Vision and Pattern Recognition.Pis— CH0I J,Y00 Y J,CH0I J Y.Adaptive shadow esti— [12] mator for removing shadow of moving obj ect[J]. Computer Vision and Image Understanding,2010,114 cataway,NJ,USA:IEEE,2009:2310—2317. Shadow detection for [6] LEONE A。DISTANTE C.(9):1017-1029. KIM K,CHALIDABHONGSE T H,HARW00D D, [13] moving objects based on texture analysis[J].Pattern Recognition,2007,40(4):1222—1233. L0VELL B C. E7] SANIN A,SANDERS0N C,Im— et a1.Real—time foreground—background segmentation using eodebook model[J].Real—Time Imaging,2005, 11(3):172一l85. proved shadow removal for robust person tracking in surveillance scenarios[C]//Proc of the 20th Interna~ tional Conference on Pattern Recognition.Piscataway, 刘宏,李,刘群,等.融合颜色和梯度特征的运 [1l4] 动阴影消除方法[J].计算机辅助设计与图形学学报, 2007,19(10):1279-1285. NJ,USA:IEEE,2010:141-144. Shadow detection for [8] LE0NE A,DISTANTE C.LIU Hong,LI Jintao,LIU qun,et a1.Moving cast shadow elimination based on color and gradient fea— moving objects based on texture analysis I-j].Pattern Recognition,2007,40(4):1222—1233. tures[J].Journal of Compute—Aided Design and Graphics,2007,19(10):1279—1285. [9] JOSHI A J,PAPANIK0L0POUL0S N P.Learning to detect moving shadows in dynamic environments (编辑荆树蓉武红江) [J].IEEE Transactions on Pattern Analysis and Ma一 (上接第19页) adaptive alert classifier[C]//International Conference on Information and Automation.Piscataway,NJ USA:IEEE,2008:1599—1602. sampling and application signatures[J].Journal of Computer Research and Development,2008,45(2): 227-236. [5] ALSHAMMARI R,S0NAMTHIANG S,TEIM0URI M,et a1.Using neuro—fuzzy approach to reduce false [8] 牛国林,管晓宏,龙毅,等,多源流量特征分析方法 及其在异常检测中的应用[J].理工大学学报, 2009,10(4):350—355. NIU Guolin,GUAN Xiaohong,LONG Yi,et al, Analysis method of multi—source flow characteristics positive alerts[C]∥Proceeding of the Fifth Annual Conference on Communication Networks and Services Research.Los Alamitos,CA,USA:IEEE Computer Society,2007:345—349. se [6] SPATH0ULAS G P,KArSIKAS S K.Reducing faland its application in anomaly detection[J].Journal of PLA University of Science and Technology:Nature Science Edition,2009,10(4):350—355. positives in intrusion detection systems[J].Comput— ers&Security,2010,29(1):35—44 [9] NYCHIS G,SEKAR V,ANDERSEN D G,et a1.An empirical evaluation of entropy-based traffic anomaly [7] 郭振滨,裘正定.应用高速网络的基于报文采样和应 用签名的BitTorrent流量识别算法[J].计算机研究 与发展,2008,45(2):227—236. GUO Zhenbing,QIU Zhengding.Identification of Bit— Torrent traffic for high speed network using packet detection[c]∥Proceedings of the 8th ACM SIG— C0MM Internet Measurement Conference. New York,USA:ACM,2008:151-156. (编辑 刘杨) http://www.jdxb.cn http://zkxb.xjtu.edu.cn