网站地址栏图标文字,搜索微信公众号平台,海南省城乡和建设厅网站首页,注册qq空间申请打开微信扫一扫#xff0c;关注微信公众号【数据与算法联盟】 转载请注明出处#xff1a;http://blog.csdn.net/gamer_gyt 博主微博#xff1a;http://weibo.com/234654758 Github#xff1a;https://github.com/thinkgamer前言 由于业务关系#xff0c;最近一段时间一直在… 打开微信扫一扫关注微信公众号【数据与算法联盟】 转载请注明出处http://blog.csdn.net/gamer_gyt 博主微博http://weibo.com/234654758 Githubhttps://github.com/thinkgamer 前言 由于业务关系最近一段时间一直在关注入侵检测技术方面的知识经过了最近一天的学习与调研在大体上还是有了一定的了解与研究下面就分享一下我得学习成果当然大部分知识都是从网上进行收集和整理的当然加上了自己的一些想法 本文永久地址http://blog.csdn.net/gamer_gyt/article/details/53876659 什么是入侵检测       入侵检测(Intrusion Detection )是对入侵行为的检测。它通过收集和分析计算机网络或计算机系统中若于关键点的信息检查网络或系统中是否存在违反安全策略的行为和被攻击的迹象。入侵检测作为一种积极主动的安全防护技术提供了对内部攻击、外部攻击和误操作的实时保护在网络系统受到危害之前拦截和响应入侵入侵检测技术虽然也能够对网络攻击进行识另拼作出反应但其侧重点还是在于发现而不能代替防火墙系统执行整个网络的访问控制策略。       入侵检测系统intrusion Detection System ,IDS是对计算机和网络资源的恶意使用为进行识别的系统它的目的是监测和发现可能存在的攻击行为包括来自系统外部的入侵行为和来自内部用户的非授权行为并且采取相应的防护手段。 入侵检测系统的分类 一按检测分析方法分类 1异常检测       基于异常的入侵检测方法主要来源于这样的思想任何人的正常行为都是有一定的规律的并且可以通过分析这些行为的日志信息型总结出这些规律而入侵和滥用行为规则通常和正常的行为存在严重的差异通过检查这些差异就可以判断是否为入侵。总之一场检测基于这样的假设和前提用户活动是有规律的而且这种规律是可以通过数据有效的描述和反映入侵时异常活动的子集和用户的正常活动有着可以描述的明显的区别。       异常监测系统首先经过一个学习阶段总结正常的行为的轮廓成为自己的先验知识系统运行时将信息采集子系统获得并预处理后的数据与正常行为模式比较如果差异不超出预设阀值则认为是正常的出现较大差异即超过阀值则判定为入侵。       异常检测系统有如下特点       1)检测的效率取决于用户轮过的完备性和监控的频率因为不需要对每种入侵行为进行定义而能有效检测未知的入侵因此也称为一个研究热点       2)系统能针对用户行为的改变进行自我调整和优化但随着检测模型的逐步精确异常检测会消耗更多的系统资源 2误用检测        又称为基于特征的检测基于误用的入侵检测系统通过使用某种模式或者信号标示表示攻击进而发现同类型的攻击其实现过程是先收集非正常操作的行为特征系统就认为这种行为是入侵系统处理过程如同       这种方法可以检测到许多甚至是全部已知的攻击行为如果入侵特征与正常的用户行为能匹配则系统会发生误报如果没有特征能与某种新的攻击行为匹配则系统会发生漏报。       特点采用特征匹配模式能明显降低错报率但漏报率随之增加攻击特征的细微变化会使得滥用检测无能为力。 二按数据源分为 1基于主机的入侵检测       基于主机的入侵检测是入侵检测的最初期形式这种入侵检测系统通常运行在被检测的主机或者服务器上实时检测检测系统的运行通常从主机的审计记录和日志文件中获得所需的主要数据源并辅之以主机上的其他信息在此基础上完成检测攻击行为的任务。特别的从主机入侵检测技术中还可以单独分离出基于应用的入侵检测模型这是特别针对于某个特定任务的应用程序而设计的入侵检测技术采用的输入数据源是应用程序的日志信息。       基于主机的入侵检测悉尼型来源主要包括       1系统信息几乎所有的操作系统都提供一组命令获得本机当前激活的进程的状态信息他们直接检查内核程序的内存信息。       2记账通常指由操作系统或操作员所执行的特定操作记录计算机资源的使用情况例如CPU占用时间内存硬盘网络使用情况。在计算机未普及之前记账是为了向用户收费的。        3系统日志可分为操作系统日志和应用程序日志两部分。操作系统日志从不同方面记录了系统中发生的事情对于入侵检测而言具备重要的价值当一个进程终止时系统内核为每个进程在进程日志文件中写入一条记录。        4C2安全审计记录所有可能与安全性有关的发生在系统上的事情。      基于主机的入侵检测能够较为准确的检测到发生在主机系统高层的复杂攻击行为其中许多发生在应用进程级别的攻击行为是无法依靠基于网络的入侵检测来完成的基于主机的入侵检测系统巨头检测效率高分析代价小分析速度快的特点能够迅速并准确的定为入侵者并可以结合操作系统和应用程序的行为特征对入侵进行进一步的分析响应。比如一旦检测到有入侵行为我们可以立即使该用户的账号失效用户的进程中断。他可以帮助发现基于网络的入侵检测无法检测的加密攻击。基于主机的入侵检测系统尤其对于独立的服务器及应用构造简单易于理解也只有这种检测方式能检测出通过控制台的入侵活动。目前许多是基于主机日志分析的。        同时基于主机的入侵检测系统也有若干显而易见的缺点由于他一定程度上依赖于特定的操作系统平台管理困难必须按照每一台机器的环境配置管理。同时主机的日志提供的信息有限有的入侵手段和途径不会在日志中有所反映日志系统对网络层的入侵行为无能为力。在数据提取的实时性充分性可靠性方面基于主机日志的入侵检测系统不如基于网络的入侵检测系统。他通常无法对网络环境下发生的大量攻击行为作出及时的反应他在所保护主机上运行这也会影响宿主机的运行性能。 2基于网络的入侵检测系统       通过监听网络中的数据包既抓包技术来获取必要的数据来源并通过协议分析特征匹配统计分析等手段当前发生的攻击行为。        基于网络的入侵检测的优点是一个安装在网络合适位置NIDS系统可以监视一个很大范围的网络他的运行丝毫不影响主机或者服务器的运行效率因为基于网络的入侵检测系统通常采取独立主机和被动监听的工作模式他对网络的性能影响也很小。NIDS能够实时监控网络中的数据流量并发现潜在的攻击行为和作为迅速的响应而使攻击者难以发现自己已被监视另外他的分析对象是网络协议一般没有移植性的问题。        同事基于网络的入侵检测系统的主要问题是监视数据量过于庞大并且他不结合操作系统特征来对网络行为进行准确的判断在网络通讯的高峰时刻难以检查所有数据包如果网络数据被加密NIDS就不能扫描协议或内容NIDS不能判断一个攻击是否已经成功对于渐进式合作式的攻击难以防范。 常用的入侵检测技术 1基于统计分析技术的入侵检测       他试图建立一个对应”正常活动”的特征原型然后把与所建立的特征原型中差别”很大”的所有行为都标志为异常。显而易见当入侵集合与异常活动集合不完全相等时一定会存在漏 报或者误报的问题为了使漏报和误报的概率较为符合实际需要必须选择一个区分异常事件的阀值而调整和更新某些系统特征度量值的方法非常复杂开销巨大在实际情况下试图用逻辑方法明确划分正常行为和异常行为两个集合非常困难统计手段的主要优点是可以自适应学习用户的行为主要问题是其可能被入侵者逐渐训练以致最终将入侵事件误认为是正常并且阀值设置不会当导致大比例的误报与漏报此外由于统计量度对事件顺序的不敏感性事件间的关系会漏掉。 2基于模式预测异常检测        基于模式预测异常检测方法的假设条件是事件序列不是随机的而是遵循可辨别的模式这种检测方法的特点是考虑了事件的序列和相互关系。而基于时间的推理方法则利用时间规则识别用户行为正常模式的特征通过归纳学习产生这些规则集能动态的修改系统中的规则使之具有高的预测性准确性和可信度。如果规则大部分时间是正确的并能够成功的运用预测所观察到的数据那么规则就具有高的可信度根据观察到用户的行为归纳产生出一套规则集来构建用户的轮廓框架如果观测到的事件序列匹配规则的左边而后续事件显著的背离根据规则预测到的事件那么系统就可以检测出这种偏离这就表明用户操作是异常。如果能预测出不着呢刚才的后继事件的片段则一定程度上断定用户行为的异常性这种方法的主要优点是        1能较好地处理变化多样的用户行为具有很强的时序模式。        2能够集中考察少数几个相关的安全事件而不是关注可疑的整个登录会话过程        3对发现检测系统遭受攻击具有良好的灵敏度因为根据规则的蕴含语义在系统学习阶段能够更容易的辨别出欺骗者训练系统的企图        预测模式生成技术的问题在于未被这些规则描述的入侵会被漏检 3基于神经网络技术的入侵检测       神经网络用给定的n个动作训练神经网络去预测用户的下一步行为。训练结束之后神经网络使用已出现在网中的用户特征匹配实际的用户行为标志统计差异较大的事件为异常或者非法。使用神经网络的优点是可以很好的处理噪声数据因为他只与用户行为相关而不依赖于任何底层数据特性的统计但同样有入侵者能够在其徐诶阶段训练网络的问题。 4基于机器学习异常检测       这种异常检测方法通过机器学习实现入侵检测其主要的方法有死记硬背式、监督、学习、归纳学习、类比学习等。 5基于数据挖掘异常检测       数据挖掘也称知识发现通常记录系统运行日志得数据库都非常大如何从大量数据中“浓缩”出一个值或者一组值来表示对象得概貌并以此进行行为的异常分析和检测这就是数据挖掘技术在入侵检测系统的应用数据挖掘中一般会用到数据聚类技术。 6专家系统       用专家系统对入侵进行检测经常时针对具有明显特征的入侵行为即所谓的规则即时知识专家系统的建立依赖于知识库的完备性知识库的完备性又取决于审计记录的完备性和实时性。        基于专家系统无用入侵检测方法是通过将安全专家的知识表示城IF-THEN规则形成专家知识库然后运用推理算法进行入侵检测编码规则说明攻击的必需条件作为IF的组成部分当规则的左边的全部条件都满足时规则的右边的动作才会执行入侵检测专家系统应用的实际问题时要处理大量的数据和依赖于审计跟踪的次序其推理方式主要又以下两种        1)根据给定的数据应用符号推理出入侵的发生情况需要解决的主要问题时处理序列数据和知识库的维护不足之处就是只能检测已知。        2)根绝其他的入侵证据进行不确定性推理这种推理的局限性就是推理证据的不精确和专家知识的不精确。 入侵检测的技术关键       入侵检测技术对于网络安全方面来说是一项重要的技术而提高入侵检查的一项根本方法就是提高模式匹配效率提高模式匹配的效率也就是等于提升了网络安全。 一模式匹配技术 1模式匹配       入侵检测系统对重要的网段进行监控对网段中没个数据包进行模式匹配和分析。如果数据包内容和入侵检测系统规律相符就会发出警报并切断网络由此可见模式匹配是影响入侵检测的关键技术。        模式匹配定义为设有给定的连哥哥串T和P则在T中寻找P的子串的经过成为模式匹配。T称为正文P称为模式通常T的长度远远大于P的长度若在T中找到等于P的子串则匹配成功否则匹配失败。 2模式匹配的原理       在入侵检测中模式匹配可以理解为给定入侵规则库中的一个特定的模式字符串P在网络数据包T中进行查找确定P是否在T中出现。 3模式匹配的规则       网络入侵检测以网络中采集的数据包为数据源使用模式匹配方法对数据包进行检测从而发现网络中可能存在的入侵事件其中对数据包的检测就是要在网络数据包中检测是否存在可以代表入侵行为或者入侵企图的一些字符串即查找出某些入侵规则中规则选项中所标识的字符串由于规则数较多模式匹配过程是入侵检测系统中时间小号最大的环节之一。如果没有高效的模式匹配算法作为保障检测过程中就会产生超时溢出错误此时为了保证正常工作状态系统将主动的丢弃一些数据包形成漏检。        所以一个好的高效的模式皮匹配算法对入侵检测效率的提升至关重要。 二模式匹配算法 参考http://dsqiu.iteye.com/blog/1700312 案例说明 1介绍       以企业入侵日志为例假设攻击者要攻击某个企业那么必需使用进入到该企业的网络已知该企业的网络分为内部用户和访客每次登陆都会产生一系列的日志那么如何根据这些wlan的访问日志来进行登陆用户的异常行为检测呢 2分析       根据访问日志我们并不能确定使用网络的用户哪个是进行入侵的即我们没有一个明确的结果来判断入侵者和非入侵者那么这里我们可以采用的入侵检测技术便可以是基于统计的入侵检测技术 3实现        首先我们可以对访问者进行比例划分例如91利用90%的数据进行构建用户肖像统计分析出用户肖像数据继而利用10%的数据进行数据测试主要依据的便是90%数据构建的用户模型。统计处测试用户产生的异常值。并可以根据实际情况设置一个阀值来判定是否是入侵用户。       其次如果我们能明确知道哪些是入侵者即数据产生方已经积累了一定的入侵用户那么我们可以针对入侵者的入侵手段进行建模比如说这些入侵者都喜欢在凌晨3点进行网络认证且他们在线的时间较短那么我们便可以收集这两个特征作为入侵者的特征继而针对网络认证用户进行判断。       当然我们也可以结合其他的一些辅助手段进行异常用户的检测比如说黑名单可以根据入侵者的行为模式构建哥规则列表即符合该规则库中的任意一条规则几位入侵者。 文章推荐以企业入侵检测日志分析为场景谈大数据安全 个人微信公众号欢迎关注