一、利用URL Cache提升网络入侵检测系统性能(论文文献综述)
刘立坤[1](2021)在《深度报文检测的性能提升与安全增强》文中提出网络与信息安全技术深刻地改变着人类生活生产方式,与此同时,世界上大国间的博弈日趋激烈,跨主权犯罪团伙、黑产组织等活动日益猖獗,各种网络渗透与入侵的强度和严重程度不断飙升,严重影响各国国家安全与社会稳定。深度报文检测作为网络防御的核心技术,在网络信息安全保障中发挥着不可替代的作用,大模式集和大流量是其性能关键,影响各个环节的效率,针对每个环节的攻击也会影响和制约其发挥作用。因此,深度报文检测面临着性能和安全两方面挑战。不断增大的攻击特征规模增加了核心功能模式匹配算法的时空资源消耗,不断增长的网络流量增加了单机性能压力,不断涌现的具有针对性的攻击增加了安全威胁。国家级大流量深度报文检测技术亟待进一步优化改造。本文针对深度报文检测面临的挑战,研究基于模式特征和流量特征的模式匹配算法,面向算法复杂度攻击和网络渗透的深度报文检测安全防御能力,主要贡献如下:首先,从模式特征适应性的角度,研究深度报文检测系统的并行模式匹配算法。模式规模与模式特征是影响模式匹配性能的关键因素之一。真实环境下大模式集长度分布具有范围广、动态变化特征,现有模式匹配算法对长度敏感,仅在特定模式长度下具有高效性,缺少适应不同长度分布的高效匹配算法。为了解决这个问题,本文提出了一种基于千万模式特征优化的并行模式匹配技术,细粒度地对模式集进行重组、调度、评估与优化。本文采用不易陷入局部最优的遗传退火算法对模式划分的结果进行多核调度。根据模式长度的适应性,本文提出了评估与优化方案,通过建立评估标准衡量调度结果,通过模式集优化对不满足评估条件的结果再进行重组与调度。实验表明,当模式数量为10时,该算法比动态规划划分算法提高了43%,并且模式集规模越大,提升越明显。其次,从非命中流量特征分析的角度,研究深度报文检测系统的模式匹配性能提升算法。在实际工作中,流量内容命中模式集的概率不足万分之一,常用模式匹配算法并未考虑流量内容特征,如何提高非命中流量处理性能是提高系统性能的一个突破口。本文提出了一种基于非命中流量特征的模式匹配技术,通过增加对非命中流量中大量重复字符串的特殊处理,提高检测速度。首先,提取在一定时间窗口内网络流量中的重复字符串,通过k-grams法构建重复字符串库,然后,构建模式匹配框架,对常规内容和重复字符串采用不同模式匹配算法构建匹配子模块,并建立映射关系。实验表明,该算法比双路径方法提高了10%-30%。然后,从模式匹配算法脆弱性的角度,研究提高深度报文检测安全防御能力的方法。算法复杂度攻击(Algorithmic Complexity Attacks)是一种典型的利用模式匹配算法脆弱性消耗系统时空资源的攻击技术,攻击者通过掌握的先验知识伪造攻击数据,使算法一直运行在最坏时间复杂度上。本文从攻击流下的攻击检测算法、模式匹配算法和基于多核的流调度算法进行防御,提出了一种基于I级和II级两级阈值的算法复杂度攻击检测方法,基于自定义索引顺序的模式匹配算法,基于多核的流调度算法。实验表明,在攻击强度超过10%后,性能上,两级阈值检测法比无阈值提高11%-60%,比I级阈值提高4%-14%。当攻击强度为30%时,自定义索引顺序算法比常用算法提升79%,多核流调度算法受攻击影响较小,比自定义索引顺序算法提升21%。最后,从协议漏洞的角度,研究提高深度报文检测防御网络渗透的方法。网络渗透严重威胁深度报文检测系统的安全,如TCP状态机攻击和多路径传输攻击。TCP状态机攻击是攻击者通过伪造报文干扰系统的TCP状态机,误导其丢弃攻击流量,本文设计了TCP还原辅助缓冲区和TTL表识别此类攻击,实验表明,检测攻击成功率为96%。多路径传输攻击是攻击者通过将攻击数据分片,利用MPTCP协议将每个分片经过单独网络向目标传输,由于深度报文检测缺少分布式检测MPTCP协议,导致对攻击数据分片出现误判。本文定义了邻接内容,将多个深度报文检测系统相同流的内容关联起来,提出了分布式异步并行检测算法。从攻击强度和恶意特征分片数目两个方面进行的实验结果表明,攻击强度是影响整体性能的因素,随着攻击强度的增强,性能均呈下降趋势,平均检测攻击成功率达到98.8%。在相同的攻击强度下,比现有分布式检测算法性能提升4%-22%,且性能提升空间随着恶意特征分片数量的增加而增大,平均检测成功率提高到98.7%。
朱忠栋[2](2021)在《基于HTTP流量的SOL注入攻击检测研究》文中认为丰富的Web服务极大的方便了日常生活,同时也引入了更多基于HTTP协议的攻击。SQL注入攻击作为Web服务的主要威胁是入侵检测系统的防御重点。为了应对日益提升的检测技术,SQL注入攻击形式也在不断的升级变异,攻击者采用编码、变形等手段绕过现有的检测方法。如何在复杂的HTTP请求中检测出变异的SQL注入攻击,并且能够定位攻击位置是亟待解决的问题。本文为解决上述问题,以检测出更多的SQL注入攻击形式和快速定位SQL注入攻击的位置为研究目标,开展相关研究,并取得如下成果:1.提出了一个低漏报率的SQL注入攻击检测框架。该框架包含数据收集、数据清洗、特征表示、模型构建四个阶段。数据清洗阶段通过降低无关信息的干扰,提高了复杂流量环境下的SQL注入攻击的检测能力。特征表示阶段提出了包含特殊符号的词汇特征的生成方式。模型构建阶段讨论了检测模型应具备的特性。2.提出了检测变异SQL注入攻击的模型,即vSQL-CNN。该模型在本文检测框架的基础上,通过提取字符维度和词维度的特征,提升了对变形SQL关键字的表达能力。在20万条流量的实验数据集上,vSQL-CNN可以有效检出变异的SQL注入攻击,精确率达到99.02%,召回率达到97.53%。同时在变长输入的条件缩减了训练时间。3.提出了 Locate-SQL可解释化检测模型,可以在复杂流量中自动定位SQL注入攻击的位置,以帮助安全人员快速获取攻击特征。Locate-SQL通过对注意力权重的可视化,直观地展示出输入对于预测结果的重要的部分。在实际的流量环境下,Locate-SQL可以准确的识别出SQL注入攻击的分布位置。
吴俊鹏[3](2021)在《基于DBN-GrC网络入侵检测模型研究》文中进行了进一步梳理随着互联网和人工智能的普及与发展,互联网已经成为万物互联的媒介,它为世界的发展提供了强劲的动力。对于互联网,人们在分享它带来无限便利与体验感的同时,也因恶意网络入侵攻击面临着威胁与损失。提高现有网络入侵检测系统效果和挖掘未知网络入侵行为能力,提高网络信息安全技术是当下亟待解决的难题。其中针对算法效率与检测准确性的研究是该领域突破的重点。本文将当今热门的深度学习和粒计算理论应用于网络入侵检测系统,通过改善传统算法的部分缺陷,提高了现有网络入侵检测系统效果和挖掘未知网络入侵行为能力。在建立智能化的入侵检测系统体系结构中,研究设计了数据特征抽象与训练、智能网络主体行为判断引擎两个处理模块;在数据降维方面,用基于BP误差反馈的深度信念网络DBN较好的将高维特征向量在保留数据集特征的情况下转化为低维向量;在提升DBN网络的入侵检测效率并达到发现小规模未知异常网络特征方面,将粒计算理论与聚类算法相结合,并提出DBN-Gr C模型,通过高效的聚类算法快速准确的发现未知异常流量。本文使用改进过的CIC-IDS-2017数据集作为样本测试数据集,通过实验分析,得出DBN-Gr C模型明显优于一般DBN模型的结论。在检测已知特征的小规模入侵方面,能够提升2%-3%的发现效率,并且增加了对未知异常流量的发现能力(样本数据集的未知异常的检出率为0.2%左右),获得了相对较好的异常检测效果,有效填补了DBN模型的检测功能空白。
孙伟明[4](2020)在《基于网络数据流的信息安全态势感知技术研究》文中研究表明信息化网络化快速发展的今天,互联网的使用越来越频繁。同时,网络安全状况不容乐观,网络诈骗、网页篡改、后门植入等网络事件时有发生。网络安全态势感知对于个人财产安全和国家安全来讲,都有着现实且重要的意义。网络安全态势感知一般分为态势要素提取、态势理解与态势预测三个阶段。态势要素的提取是态势感知的首要环节,要素来源的好坏关系着态势理解预测的优劣。本文从网络数据流的角度开展态势要素提取技术的研究,主要研究内容分为两个方面:基于软件定义网络(SDN)蜜网的感知要素提取系统设计与实现;基于主动探测的No SQL数据库感知要素提取系统设计与实现。1、基于软件定义网络(SDN)蜜网的感知要素提取系统设计与实现。本系统在设计上以DPDK、Open v Switch(OVS)、Docker容器技术为基础,主要实现了三个功能:探测消息的应答、利用OVS和Docker容器快速部署的特性实现蜜网的实时生成、攻击数据流的实时存储统计。论文的核心工作在于:提出对网络攻击者基于ARP及PING协议的信息应答欺骗机制,诱使攻击者对蜜网中的蜜罐采取进一步攻击行动;针对全流量数据包存储问题,提出并实现了一种基于环形队列的快速数据存储方法,避免了大流量攻击条件下因存储速度跟不上而导致数据丢包情况的发生;提出并实现了一种数据库快速查询读写的缓存方法,通过减少数据库缓存失效的方式提升了数据库存储性能。论文最后以一个SSH攻击的实际抓包例子验证了本文设计系统的有效性。2、基于主动探测的NoSQL数据库感知要素提取系统设计与实现。论文首先针对当前流行的几种No SQL数据库Mongo DB、Redis、Memcached、Elastic进行抓包分析默认安装情况下存在的漏洞风险,并对Memcached数据库存在的DDOS放大攻击进行相应的验证研究。结合Shodan官网上可探测的No SQL数据库进行实验分析,得出No SQL数据库默认安装下安全风险高的结论。接着,论文以Elastic为例对存在风险的No SQL数据库作进一步研究,设计并实现了Elastic风险感知系统。论文详细介绍了风险感知系统的总体设计思想、多线程模块的实现、IP探测的方法流程、敏感数据检测算法的实现等。实验结果表明本文提出的敏感数据检测算法准确率在96%以上。然后以Shodan官网可探测的Elastic数据库为实验来源进行了该风险感知系统的功能测试,测试结果说明了系统的有效性。论文最后针对No SQL数据库默认安装情况下存在的风险提出了相应的防范对策。
刘文祺[5](2020)在《基于机器学习的网络安全关键技术研究》文中指出近年来,受益于通信、大数据及云计算等技术的成熟应用,“互联网+”已在民生、经济、政务等方面被广泛普及;但随着信息技术不断发展,难以计数的网络设备、应用以及爆发膨胀的网络数据,使网络环境变得日益复杂,给网络安全带来巨大的隐患。面对互联网数据海量、业务多样、演变迅速的特点,传统网络安全技术效率低下且呆板固化,在性能、自适应性和泛化性方面已经不能有效应对当前网络安全的形势,因此研究新的网络安全技术具有非常重要的意义。目前,基于机器学习的网络安全研究已取得了很多成果,展现了能够处理海量数据、检测识别以及自动学习的强大能力,给网络安全领域拓宽了发展思路,成为了当下热门研究之一。但现有方法由于依赖于公开标记的安全数据集以及经验知识,在实际网络数据采集、安全特征提取以及检测模型构建的环节上存在局限,难以适应于真实网络环境的特点并对实际网络攻击进行检测,造成现有研究较难在实际网络中进行部署实施。基于此,本文首先对现有基于机器学习网络安全的研究现状进行梳理,包括研究范畴、研究方法和相关工作;然后集中对现有研究存在的主要问题及其原因进行分析,为后文的研究提供支撑;随后着重对实际安全信息采集、未知协议特征提取、自适应增量模型构建三个关键技术进行研究,通过从实际网络中收集真实的安全信息、从未知网络协议数据中提取特征、构造自适应及增量式的检测模型,提升基于机器学习的网络安全技术的检测性能、自适应和泛化能力,使其适应于实际网络数据海量、业务多样、演变迅速的特点,并能对其中已知和未知网络攻击进行检测,以实现在真实网络环境中的应用。本文研究的具体内容如下:1、为了收集实际的网络安全数据,提出统一安全信息采集模型;首先,对异构安全设备上产生的各种类型的安全信息进行收集,并以标准格式进行封装;然后,利用过滤和整合方法,根据信息过滤标准和事件相似度,对初始信息中存在的错误和冗余内容进行处理;随后,通过基于事件相异度的关联方法,利用Bayes算法将相似行为的混合型安全事件进行关联;最后,研究事件的管理方式,对安全信息进行有序存放;实验结果表明,该模型通过信息采集、处理和关联的操作,在整合压缩比、关联正确性、完备性和处理效率指标上取得了较好结果,能为后续研究提供有效的安全数据。2、为了在无先验知识条件下提取未知网络数据的特征,以未知协议报文作为研究实例,提出一种未知协议解析方法Rebuilder;首先,构建基于隐半马尔可夫的未知协议报文模型,对协议字段内的变化规律和字段间的状态转移关系进行描述;然后,研究未知报文的解析方法,利用Baum-Welch方法对报文模型进行训练,根据最大似然准则对协议关键词、字段长度进行估计;最后,研究基于未知报文分段的特征提取方法,将频繁出现的关键词或关键词序列作为报文特征;实验结果表明,Rebuilder在无先验知识条件下对文本、二进制协议报文格式进行解析,相较于对比方法提高了字段划分的准确度、覆盖度等指标,能为提取未知协议报文特征提供有用信息。3、为了克服内容2,需要依赖于通用报文结构来构建未知协议报文模型的问题,提出基于模式发现理论的未知协议解析方法ReSight,仅利用报文数据本身对未知协议格式进行解析;首先,根据信息论原理对协议解析过程进行分析,提出模式发现的衡量标准和重构规则;然后,提出报文格式ε状态机的模式重构算法,挖掘报文格式的隐含模式;最后,实验在无先验知识条件下,利用ReSight对二进制类型报文格式进行解析,为提取未知协议报文特征提供有用信息。4、为了构建自适应和增量式检测模型,提出基于混合高斯模型的入侵检测系统ENID;首先,采用基于粗糙集理论的特征选择方法,以特征的信息增益为度量标准,实现最优特征子集的选取;然后,根据相似相离原则提出自适应的高斯混合聚类算法,自动确定最优聚类簇数,对正常和异常的网络特征进行学习,通过特征匹配实现入侵识别;最后,提出增量更新方法,利用原有聚类结果和增量样本进行增量聚类,通过挖掘频繁特征对未知攻击模式进行即时更新;实验结果表明,ENID相较于对比方法提高了特征选取的有效性、针对已知和未知攻击检测的准确率、误报率及漏报率等指标,可以适应真实环境中网络数据维度高、成分复杂和动态变化的特点,能够应对已知和未知的实际网络攻击。最后将各部分研究内容进行融合,设计混合型的入侵检测系统MixID,并搭建仿真的网络拓扑对该系统进行测试,以验证各关键技术的效果;通过综合对比各项测试指标,MixID在已知、未知攻击检测的准确率、误报率及漏报率等结果上体现了一定优势,其性能、自适应性和泛化性都取得了较好的进步;同时也表明,通过利用关键技术间的互补特性,可以更好的将基于机器学习的网络安全研究应用于实际网络环境。但考虑到目前工作还有很多限制,在大规模网络流攻击、加密流量攻击等方面,依然存在问题值得后续研究。
金磊[6](2020)在《网络认知下基于机器学习的智能化安全态势研究》文中认为随着互联网,物联网等大规模网络的发展,海量用户接入网络,网络数据量呈爆发式增长,隐藏在其中的安全问题也威胁着越来越多的网络用户。本文重点关注于因网络拓扑或网络异常行为导致的安全隐患或一系列损害。基于机器学习的人工智能算法的发展使得非平稳数据分析成为可能,海量数据为智能算法提供基础支持,高性能计算芯片的发展为算法提供平台支撑,系统的算法研究大大提升了安全数据分析的可靠性。从而,大数据场景下的安全分析具有高准确率、高性能等特点。本文以复杂网络为理论基础,研究网络行为认知,从而发现其中的异常用户,并结合最新的机器学习研究基础,在大数据的场景中分析研究网络异常。现阶段,针对网络异常发现主要通过日志和流量两种主要方式,本文针对日志和流量分别使用不同的方案,为网络安全研究的发展提供支持。主要工作如下:1.提出了一种基于级联失效的网络模型,研究网络中节点与节点间的关系,并针对无标度网络和随机网络进行具体分析,发现具有鲁棒性的网络结构,为组网提供研究支持。利用日志行为数据构建用户行为双层网络模型,利用级联失效模型来分析日志数据上的异常行为。2.设计了一种以复杂网络为基础的社团划分算法,以发现网络上的异常用户团体。通过对网络中心性和独立性的定义,发现社团中心节点,然后基于节点距离对网络上的节点进行聚类。网络的聚类可以进一步用于异常行为团体的发现,通过对现有数据的可视化可以清楚地发现网络上的异常行为具有团体现象。3.在分析网络日志数据方面,利用机器学习算法设计基于无监督的异常日志发现框架,设计了有效的日志向量化方法,再结合基于神经网络的稀疏自编码器或PCA算法得到日志异常值,最终发现异常日志。同时,提出了一种基于生成对抗网络的日志异常检测算法,为异常日志的生成提供研究基础,实验结果发现可以有效提升日志分类器的鲁棒性。4.在流量数据分析方面,利用深度学习方法,将流量数据矩阵化,提出了一个模型轻量化部署方案。此外,设计了一种基于遗传算法流量分类网络搜索框架,为现有流量网络设计多样性提供方向,实验证明了搜索出来的网络比现有网络在分类准确率和算法复杂度上均有较大提升。
于海峰[7](2020)在《基于PU学习的Web入侵检测技术研究》文中指出入侵检测是网络安全中的重要工作。近年来,随着攻击手段的发展,对网站入侵检测技术和方法提出了更高的要求。Web入侵检测技术主要有URL识别、规则匹配和日志分析,存在着泛化能力差、入侵行为特征难以提取、以及异常信息难以检测等局限。入侵行为的标注专业度要求高,需要大量人工成本。基于正样本和无标记样本的机器学习方法(Positive and Unlabeled Learning,简称PU学习),能够在标注样本少的情况下充分利用大量无标注样本中的信息提高系统检测性能。本文从Web入侵行为特征提取和异常行为检测入手,提出了一种引入代价敏感策略的PU学习入侵检测模型,设计并实现了入侵检测可视化系统,取得了较好的效果。主要研究成果如下:(1)提出了一种特征提取和异常行为检测方法。针对入侵检测技术不能有效提取样本特征和发现异常行为等问题,本文提出了一种异常行为检测方法,基于统计学方法对网站的页面结构和用户访问行为分析提取网站请求数据中的攻击行为,对相似的访问行为进行迭代计算识别出异常行为。在CSIC 2010数据和某门户网站的访问数据上实验,检测率达到了98.99%。(2)提出了一种引入代价敏感策略的PU学习入侵检测模型。针对入侵行为标注样本少和入侵检测系统泛化能力差等问题,本研究基于PU学习“两阶段”法建立入侵检测模型,在模型中引入代价敏感策略,将用户请求行为与用户IP地址相关联为异常用户赋予权重,优化第一阶段RN(Reliable Negative Documents)的求解过程;在第二阶段中对异常行为特征进行相似度计算,以减小在分类过程中因样本分布不均衡带来的偏差问题。实验结果证明,本文的入侵检测模型可以有效提高入侵检测系统的识别能力和泛化能力。(3)基于上述研究内容,本文设计并实现了入侵检测可视化系统,该系统充分地考虑了真实的网络环境,融合来自网站防火墙和网站请求日志中的数据,通过预处理模块和入侵检测模块分析数据包中是否存在入侵行为,最后通过可视化界面直观展示系统分析结果,实现了网络安全事件统计、攻击行为报警等功能。本系统扩展了现有网络安全可视化展示系统的功能。
马晓亮[8](2019)在《基于Hadoop的网络异常流量分布式检测研究》文中进行了进一步梳理随着计算机科学和网络技术的高速发展,互联网的开放性和共享性等优点越来越明显,网络信息技术被运用到诸多领域,应用范围遍及世界每个角落的政治、经济、金融、教育和军事等领域。由于计算机及网络的脆弱性、网络协议的缺陷和隐藏的安全漏洞,给网络安全带来极大威胁。网络流量数据和网络日志蕴含着丰富的有价值信息,在用户行为分析、上网行为管理、入侵检测和网络管理等许多领域具有非常高的价值,最初的网络数据处理方式是使用单台计算机对数据进行计算分析,单台处理设备在CPU、I/O与存储方面的性能受到硬件当时硬件发展水平的限制且没有扩展性。面对当今高速发展的高性能硬件设备,导致系统产生数据量和网络中传输的流量呈现几何级数级别增加,传统检测方法无法满足大规模数据分析对时间和效率的要求,在实际应用中对数据分析的处理时间要求越来越高,具备高吞吐和低时延的并行计算成为了数据处理的重要指标,分布式异常检测的研究成为异常检测研究领域的新风向标。针对网络安全形势日趋严峻和海量网络数据快速增长的背景下,本文设计并实现基于云计算的分布式异常网络流量检测的实验,通过云计算对大规模数据的存储和计算能力,解决入侵检测、网络流量分析及日志数据的采集、存储和分析面临的主要瓶颈问题,运用Hadoop的MapReduce分布式并行计算模型,能够高效和可靠地并行处理大规模数据集。本文有关网络异常流量分布式检测的主要研究内容如下:(1)分布式异常检测平台架构研究通过需求分析完成分布式入侵检测平台架构设计,整体架构分为网络采集、分布式存储和异常检测分析三个层次,按照需求完成网络数据采集、数据存储和数据异常检测的实验环境的搭建,通过训练样本训练建立异常检测模型,使用历史特征形成特征异常检测特征库,可以提高异常检测系统的数据处理能力,提高检测效率和检测准确率,可以扩展系统的学习能力挖掘分析更深层次的信息。(2)网络数据采集和网络日志收集研究采用Flume从多源前端服务器中采集日志和告警信息等网络日志数据存储到HDFS分布式文件系统中,使用Sniffer技术采集网络流量并对网络流量进行特征提取,采集端运用WinPcap与LibPcap采集网络数据,实现会话连接重构方式提取网络流量并存储特征值,将KDD99格式特征数据传送到分析处理系统的HDFS文件系统中,对入侵告警信息进行相关性融合分析。(3)数据分析算法研究将模糊C-均值聚类算法、词汇分割分类算法和统计学方法应用到采集的网络流量和网络日志数据,验证算法的可行性和检验分析结果的准确率。通过预处理网络数据和使用基于网络流量相关性的模糊C-均值聚类算法完成聚类分析,提出网络流量相关性四关键要素和基于权值的目标函数计算方法,从训练样本数据获取聚类簇中心值和聚类类型,使用异常方差统计的方法,检测分布式拒绝服务攻击行为,并构建历史特征库满足对未来数据快速分析的需求。(4)基于分布式的网络异常检测研究将机器学习算法和MapReduce分布式计算模型结合在Hadoop平台上进行并行化处理,将存储在HDFS分布式文件系统中网络采集数据、日志和告警信息,采用MapReduce和Flume等分布式计算技术完成分布式异常检测实验、融合告警信息,通过聚类算法和分类算法深入挖掘数据中的异常信息和异常网络流量,对分布式异常检测的时间效率、准确率、漏报率和误报率进行了分析。综上所述,本论文构建的网络异常流量分析实验有效地解决了网络数据的采集、存储与异常分析等问题,融合了Hadoop与数据挖掘各自的优势,充分发挥了Hadoop分布式计算框架的高扩展性和高吞吐性等特性,利用数据挖掘算法深入检测网络事件中的异常信息,形成一整套比较完整且准确度较高的采集、存储、分析和特征建立过程。
张文肖[9](2019)在《基于改进CANN算法的入侵检测系统设计与实现》文中认为随着网络技术的飞速发展,网络攻击技术也得到了提高,给互联网的安全带来了巨大的挑战,加强网络安全的建设迫在眉睫。传统的入侵检测技术难以应对层出不穷的网络攻击,无法对未知的攻击进行检测,机器学习技术在入侵检测中发挥了越来越重要的作用,是应对新型网络攻击的重要手段。在海量的网络数据背景之下,针对已有入侵检测方法漏检率较高的问题,本文设计并实现了一套网络入侵检测系统,提高了对未知网络攻击的检测效果,能够实时检测网络流数据中的疑似攻击并进行告警,系统主要包括以下几个部分:(1)针对网络数据的特征提取问题,对采集到的网络数据进行解析并提取URL部分的基本特征、统计特征和语义特征作为初始特征,基于改进的CANN算法对初始特征进行重构,得到用于模型检测的新数据特征。(2)针对现有算法没有考虑特征权重而导致识别率不够高的问题,通过计算灵敏度给特征赋予权重的方法对K-NN算法进行了改进。采用基于K-D树的方法替换原始遍历过程进行近邻搜索,并通过Spark引擎实现了模型的分布式计算,进一步提高了K-NN算法的计算效率。(3)针对海量数据的实时处理问题,本文基于CDH环境搭建了分布式平台,设计了一套分布式入侵检测系统。通过Kafka传输Flume采集解析后的实时数据,使用Spark Streaming对数据进行拉取,使用预训练的检测模型对数据进行检测,检测结果存储到HBase中以备前端调用。(4)系统使用Echarts工具实现了数据可视化,对疑似攻击进行告警弹窗,以多种图表的方式对给定时间段内的攻击行为进行统计展示,同时实现了数据检索和关联分析功能。
李宗仁[10](2019)在《基于Spark+技术的入侵检测研究》文中认为随着计算机及互联网技术的快速发展,互联网已经成为人们日常生活中不可或缺的部分,由于互联网的开放性,共享性等特性,各种网络入侵行为日益频繁。而我国作为全球互联网使用大国,网络入侵等行为已经成为危害我国信息产业持续健康发展的重要阻碍因素。如何对入侵行为进行分析研究,从而保护个人隐私和商业机密,是信息安全领域目前亟需解决的问题。入侵检测技术作为防止网络攻击行为的有效途径,是目前国内外本研究领域的研究热点之一。部分研究者将Adaboost算法等机器学习算法应用于入侵检测领域。然而由于传统Adaboost异常检测算法训练模型耗时较长、样本权值调整时没有对分类样本权值调整范围进行明确划分,致使算法在异常检测时检测效率较低、检测准确率较低、误判率较高,不能有效应对未知攻击行为。鉴于此,本文结合Spark+CUDA平台提出了改进Adaboost算法的入侵检测系统。论文主要研究内容如下:第一,论文分析了入侵检测领域国内外研究现状及目前研究存在的问题,综述了入侵检测的攻击类型、入侵检测系统的分类方式,之后研究设计了基于Spark+ELK框架的web日志采集系统。第二,针对传统Adaboost异常检测算法样本权重调整没有设定调整幅度及阈值,致使异常检测准确率较低且容易产生噪声数据的问题,设计了改进的Adaboost算法。从样本点权重和弱分类器权重两个方面对算法进行改进。在样本点权重改进中引入样本点前t-1轮分类正确率T(i)的判断,在样本点迭代更新权重时结合正确率T(i)对分类错误的样本权重值增加及分类正确的样本权重值减少的幅度进行明确划分;弱分类器改进中根据弱分类器分类特定样本点的优势,在组合分类器时适当调整该弱分类器权重,通过样本点误判率参数控制,实现了组合分类器中弱分类器权重的优化。通过KDD CUP 99数据集实验证明,改进算法的异常检测准确率高于传统算法并且误报率低于传统算法。第三,为进一步提升改进算法的运行效率,本文基于Spark+CUDA架构对改进Adaboost算法的并行化展开研究。将改进Adaboost算法中的样本点权重值计算、样本点前N轮正确率T(i)与错判率F(i)计算、弱分类器权重计算等复杂计算交由GPU执行,同时利用Spark集群技术对数据集进行分块处理。最后通过KDD CUP 99数据集及自采集的web日志数据集实验表明,该方法有效提高了改进Adaboost算法的运行效率。
二、利用URL Cache提升网络入侵检测系统性能(论文开题报告)
(1)论文研究背景及目的
此处内容要求:
首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。
写法范例:
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
(2)本文研究方法
调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。
实证研究法:依据现有的科学理论和实践的需要提出设计。
定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。
定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。
跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。
模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、利用URL Cache提升网络入侵检测系统性能(论文提纲范文)
(1)深度报文检测的性能提升与安全增强(论文提纲范文)
摘要 |
ABSTRACT |
第1章 绪论 |
1.1 课题背景和意义 |
1.2 深度报文检测概述 |
1.2.1 深度报文检测简介 |
1.2.2 深度报文检测关键技术 |
1.2.3 深度报文检测面临的安全威胁 |
1.3 相关研究综述 |
1.3.1 面向深度报文检测的性能提升技术 |
1.3.2 面向深度报文检测的安全威胁 |
1.3.3 面向绕过深度报文检测的网络渗透技术 |
1.4 研究内容与组织结构 |
1.4.1 本文研究内容 |
1.4.2 本文组织结构 |
第2章 基于千万模式特征优化的并行模式匹配算法 |
2.1 引言 |
2.2 相关工作 |
2.3 基于千万模式特征优化的并行模式匹配算法 |
2.3.1 模式重组 |
2.3.2 模式重组结果评估 |
2.3.3 模式集优化 |
2.4 基于千万模式特征优化的并行模式匹配算法分析 |
2.5 实验结果与分析 |
2.5.1 实验平台 |
2.5.2 实验环境 |
2.5.3 实验结果 |
2.6 本章小结 |
第3章 基于非命中流量特征分析的模式匹配算法 |
3.1 引言 |
3.2 相关工作 |
3.3 基于重复字符串的模式匹配算法 |
3.3.1 基于重复字符串的模式匹配算法框架 |
3.3.2 重复字符串匹配模块 |
3.3.3 基于重复字符串的模式匹配算法扫描 |
3.4 基于重复字符串的模式匹配算法分析 |
3.5 实验结果与分析 |
3.5.1 实验环境 |
3.5.2 实验结果 |
3.6 本章小结 |
第4章 面向算法复杂度攻击的DPI安全增强 |
4.1 引言 |
4.2 相关工作 |
4.3 算法复杂度攻击模型 |
4.4 基于I级和II级阈值的算法复杂度攻击检测算法 |
4.5 基于自定义索引顺序模式匹配算法 |
4.5.1 基于自定义索引顺序模式匹配算法的自动机构建 |
4.5.2 基于自定义索引顺序模式匹配算法的自动机扫描 |
4.5.3 基于自定义索引顺序模式匹配算法分析 |
4.6 基于多核的流调度算法 |
4.7 实验结果与分析 |
4.7.1 实验环境 |
4.7.2 实验结果 |
4.8 本章小结 |
第5章 面向绕过行为检测的DPI安全增强 |
5.1 引言 |
5.2 相关工作 |
5.2.1 TCP状态机攻击 |
5.2.2 MPTCP协议 |
5.2.3 多路径传输攻击 |
5.3 TCP状态机攻击检测 |
5.3.1 TCP状态机攻击模型 |
5.3.2 TCP状态机攻击检测 |
5.4 多路径传输攻击检测 |
5.4.1 邻接内容 |
5.4.2 算法状态机 |
5.4.3 分布式异步并行检测算法 |
5.5 TCP状态机攻击检测实验结果与分析 |
5.5.1 实验环境 |
5.5.2 实验结果 |
5.6 多路径传输攻击检测实验结果与分析 |
5.6.1 实验环境 |
5.6.2 实验结果 |
5.7 本章小结 |
结论 |
参考文献 |
攻读博士学位期间发表的论文及其它成果 |
致谢 |
个人简历 |
(2)基于HTTP流量的SOL注入攻击检测研究(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 研究背景 |
1.2 研究现状 |
1.3 论文主要工作 |
1.4 论文的组织结构 |
第二章 相关知识及理论介绍 |
2.1 SQL注入攻击 |
2.1.1 SQL注入攻击原理 |
2.1.2 SQL注入攻击分类方法 |
2.2 深度学习 |
2.2.1 Word2vec |
2.2.2 卷积神经网络 |
2.2.3 循环神经网络 |
2.3 本章小节 |
第三章 基于HTTP流量的SQL注入攻击检测框架 |
3.1 问题分析 |
3.2 检测框架 |
3.2.1 数据收集 |
3.2.2 数据清洗 |
3.2.3 特征表示 |
3.2.4 模型构建 |
3.3 效果总结 |
3.4 本章小节 |
第四章 vSQL-CNN:针对变异的SQL注入攻击的检测模型 |
4.1 总体思想 |
4.1.1 变异的SQL注入攻击 |
4.1.2 方案设计 |
4.2 模型构建 |
4.2.1 词汇特征 |
4.2.2 模型结构 |
4.2.3 变长序列训练方式 |
4.3 模型评估 |
4.3.1 实验环境与评价指标 |
4.3.2 参数配置 |
4.3.3 实验分析 |
4.4 本章小节 |
第五章 Locate-SQL:可解释化SQL注入攻击检测模型 |
5.1 总体思想 |
5.2 模型构建 |
5.3 实验结果 |
5.4 注意力权重可视化 |
5.5 实验分析 |
5.5.1 网络结构对比 |
5.5.2 不同attention机制下的实验效果 |
5.6 本章小节 |
第六章 总结和展望 |
6.1 总结 |
6.2 展望 |
参考文献 |
致谢 |
攻读学位期间发表的学术论文 |
(3)基于DBN-GrC网络入侵检测模型研究(论文提纲范文)
摘要 |
Abstract |
1 绪论 |
1.1 引言 |
1.2 研究背景 |
1.2.1 互联网发展的新特点 |
1.2.2 互联网的安全现状 |
1.2.3 互联网所面临的挑战 |
1.3 网络入侵检测的基本现状与研究意义 |
1.4 深度学习理论的研究意义与现状 |
1.4.1 深度学习理论的研究意义 |
1.4.2 深度学习理论的研究现状 |
1.5 粒计算的研究意义与现状 |
1.5.1 粒计算的研究意义 |
1.5.2 粒计算的研究现状 |
1.6 论文研究内容、组织结构及创新点 |
1.6.1 研究内容 |
1.6.2 论文组织结构 |
1.6.3 论文创新点 |
2 相关技术及理论 |
2.1 入侵检测的基本理论 |
2.1.1 经典入侵检测系统的分类 |
2.1.2 几种异常检测的经典模型 |
2.2 深度学习的基本理论 |
2.2.1 深度学习的研究流程 |
2.2.2 深度学习的经典理论模型 |
2.3 粒计算的基本理论 |
2.3.1 粒计算的定义与研究模型 |
2.3.2 商空间粒度原理 |
2.3.3 商空间的表达模型 |
2.3.4 商空间的粒度特性 |
2.4 本章小结 |
3 入侵检测优化设计 |
3.1 传统入侵检测缺陷 |
3.2 智能化的网络未知异常入侵检测模型 |
3.3 基于粒计算的聚类分析 |
3.3.1 粒聚类的设计思路 |
3.3.2 粒聚类数据的表示方法和相似度的确定方式 |
3.3.3 基于粒度的变换法则 |
3.3.4 粒度聚类算法的基本流程 |
3.3.5 粒度聚类算法的实现伪代码 |
3.3.6 粒聚类算法的评价分析 |
3.4 本章小结 |
4 基于DBN-GrC网络入侵检测模型的实现 |
4.1 研究思路 |
4.2 DBN-GrC入侵检测系统的总体设计思路 |
4.2.1 DBN-GrC入侵检测模型详细设计 |
4.2.2 DBN-GrC网络入侵检测模型的特色 |
4.3 网络数据流的获取与预处理 |
4.3.1 数据包分析的基本过程 |
4.3.2 网络数据包预处理系统的工作流程 |
4.3.3 网络数据流的获取 |
4.3.4 网络数据包特征的选择 |
4.3.5 特征数据预处理 |
4.4 构建基于反馈型深度信念网络的多维数据降维模型 |
4.4.1 基本模型设计 |
4.4.2 伪代码算法设计 |
4.5 构造商空间粒度的特征向量聚类算法 |
4.5.1 粒聚类实验环境 |
4.5.2 粒度聚类算法的实现过程描述 |
4.5.3 聚类实验的粒度过程分析 |
4.5.4 本实验的粒度的变换方式 |
4.6 未知异常流量的分析方法 |
4.6.1 未知异常的挖掘 |
4.6.2 参数异常模型 |
4.6.3 结点异常模型 |
4.6.4 未知加密异常流量的检测 |
4.7 本章小结 |
5 实验数据与对比分析 |
5.1 基于DBN-GrC的入侵检测实验 |
5.1.1 测试对象 |
5.1.2 性能评价指标 |
5.1.3 实验过程 |
5.1.4 实验结果 |
5.2 实验评价和论证 |
6 结论与展望 |
6.1 结论 |
6.2 展望 |
参考文献 |
致谢 |
附录1 攻读硕士学位期间参与的项目和发表的论文 |
(4)基于网络数据流的信息安全态势感知技术研究(论文提纲范文)
摘要 |
ABSTRACT |
1 绪论 |
1.1 研究背景及意义 |
1.2 国内外研究现状 |
1.2.1 态势提取 |
1.2.2 态势理解和预测 |
1.3 论文的研究内容 |
2 基于SDN蜜网的感知要素提取系统设计与实现 |
2.1 相关技术介绍 |
2.1.1 DPDK |
2.1.2 OVS |
2.1.3 Docker容器 |
2.2 总体架构设计 |
2.3 关键技术 |
2.3.1 构造ARP应答包 |
2.3.2 构造ICMP应答包 |
2.3.3 数据包同步存储 |
2.3.4 数据库缓存设计 |
2.4 捕获数据分析 |
2.5 本章小结 |
3 基于主动探测的NoSQL数据库感知要素提取系统设计与实现 |
3.1 常见的NoSQL数据库 |
3.2 NoSQL数据库默认安装漏洞分析思路 |
3.3 实验 |
3.3.1 Mongo DB |
3.3.2 Redis |
3.3.3 Memcached |
3.3.4 Elastic |
3.3.5 实验结果分析 |
3.4 Elastic数据库风险感知系统设计与实现 |
3.4.1 整体架构设计 |
3.4.2 配置模块设计 |
3.4.3 日志模块设计 |
3.4.4 多线程模块设计 |
3.4.5 IP探测模块设计 |
3.4.6 敏感数据检测模块设计 |
3.4.7 实验结果 |
3.5 防范对策 |
3.6 本章小结 |
4 总结与展望 |
4.1 总结 |
4.2 展望 |
参考文献 |
学位期间的研究成果 |
致谢 |
(5)基于机器学习的网络安全关键技术研究(论文提纲范文)
摘要 |
abstract |
第一章 绪论 |
1.1 背景与意义 |
1.2 现状及问题 |
1.2.1 研究现状 |
1.2.2 主要问题 |
1.3 本文工作 |
1.4 结构安排 |
第二章 统一安全信息采集模型 |
2.1 引言 |
2.2 相关研究 |
2.3 采集模型 |
2.3.1 目标及要求 |
2.3.2 模型结构 |
2.4 关键技术 |
2.4.1 信息收集 |
2.4.2 信息处理 |
2.4.3 信息关联 |
2.4.4 信息管理 |
2.5 实验 |
2.5.1 实验环境 |
2.5.2 模块实现 |
2.5.3 性能测试 |
2.6 本章小结 |
第三章 基于HSMM的未知协议解析方法 |
3.1 引言 |
3.2 相关背景 |
3.2.1 相关前提 |
3.2.2 理论基础 |
3.3 未知报文解析 |
3.3.1 HSMM未知报文模型 |
3.3.2 报文模型训练 |
3.3.3 报文分段和特征提取 |
3.4 实验 |
3.4.1 评估指标 |
3.4.2 字段提取 |
3.4.3 性能分析 |
3.4.4 参数影响 |
3.5 本章小结 |
第四章 基于模式发现的未知协议解析方法 |
4.1 引言 |
4.2 相关背景 |
4.2.1 相关前提 |
4.2.2 理论基础 |
4.3 模式测度 |
4.3.1 全局测度 |
4.3.2 局部测度 |
4.4 未知报文格式重构 |
4.4.1 报文格式ε机重构 |
4.4.2 格式重构和特征提取 |
4.5 实验 |
4.5.1 评估指标 |
4.5.2 字段提取 |
4.5.3 ε机构建 |
4.5.4 参数影响 |
4.5.5 状态数对比 |
4.5.6 全局测度分析 |
4.6 本章小结 |
第五章 增量更新的自适应网络入侵检测系统 |
5.1 引言 |
5.2 相关研究 |
5.3 相关背景 |
5.3.1 网络流量分析 |
5.3.2 粗糙集理论 |
5.4 ENID系统 |
5.4.1 特征选择 |
5.4.2 GMM聚类 |
5.4.3 增量更新 |
5.4.4 检测响应 |
5.5 实验 |
5.5.1 实验数据集 |
5.5.2 评估指标 |
5.5.3 特征选择 |
5.5.4 自适应聚类 |
5.5.5 增量聚类 |
5.5.6 参数影响 |
5.5.7 性能分析 |
5.6 本章小结 |
第六章 混合型的入侵检测系统仿真与测试 |
6.1 MIXID结构 |
6.2 仿真与测试 |
6.2.1 评估指标 |
6.2.2 拓扑设计 |
6.2.3 系统仿真 |
6.2.4 测试方案 |
6.2.5 测试结果 |
6.3 本章小结 |
第七章 总结与展望 |
7.1 总结 |
7.2 展望 |
致谢 |
参考文献 |
攻读博士学位期间取得的成果 |
(6)网络认知下基于机器学习的智能化安全态势研究(论文提纲范文)
摘要 |
Abstract |
第一章 绪论 |
1.1 论文研究背景与意义 |
1.1.1 研究背景 |
1.1.2 面临的挑战 |
1.1.3 研究意义 |
1.2 国内外研究现状 |
1.2.1 基于级联失效模型的安全态势研究 |
1.2.2 基于社团划分理论的安全态势感知 |
1.2.3 基于样本受限条件下的安全检测分析 |
1.2.4 基于网络结构搜索的流量分类研究 |
1.3 本文的工作及创新点 |
第二章 网络及安全理论综述 |
2.1 复杂网络理论基础 |
2.1.1 概述 |
2.1.2 网络表示 |
2.1.3 网络基本度量 |
2.1.4 常见网络类型 |
2.1.5 日志行为网络构建 |
2.2 神经网络理论基础 |
2.2.1 概述 |
2.2.2 全连接神经网络 |
2.2.3 卷积神经网络 |
2.2.4 循环神经网络 |
2.3 网络搜索研究基础 |
2.3.1 搜索空间 |
2.3.2 搜索策略 |
2.3.3 性能评估策略 |
第三章 基于级联失效模型的安全态势研究 |
3.1 问题描述 |
3.1.1 面临的挑战 |
3.1.2 级联失效的定义 |
3.1.3 解决方案 |
3.2 多层网络级联失效模型 |
3.2.1 模型构建 |
3.2.2 模型分析 |
3.2.3 仿真实验 |
3.2.4 耦合偏好分析 |
3.3 本章小结 |
第四章 基于社团划分理论的安全态势感知 |
4.1 问题描述 |
4.1.1 面临的挑战 |
4.1.2 社团划分的定义 |
4.1.3 解决方案 |
4.2 社团划分算法 |
4.2.1 中心性的性质 |
4.2.2 算法设计 |
4.2.3 仿真实验 |
4.3 异常用户社团划分可视化 |
4.4 本章小结 |
第五章 基于样本受限条件下的安全检测分析 |
5.1 问题描述 |
5.1.1 面临的挑战及问题分析 |
5.1.2 解决方案 |
5.2 基于无监督分类器的日志异常检测算法 |
5.2.1 分析框架 |
5.2.2 特征工程 |
5.2.3 无监督分类器 |
5.2.4 实验分析 |
5.3 基于生成对抗网络的日志异常检测 |
5.3.1 整体流程 |
5.3.2 网络结构 |
5.3.3 日志数据处理和训练 |
5.3.4 日志分类模型 |
5.4 本章小结 |
第六章 基于网络结构搜索的流量分类研究 |
6.1 问题描述及建模 |
6.1.1 网络安全的攻击 |
6.1.2 面临的挑战 |
6.1.3 解决方案 |
6.2 流量数据处理 |
6.2.1 流量类型 |
6.2.2 数据清洗 |
6.2.3 数据切分与向量化 |
6.3 基于遗传算法的网络结构搜索模型 |
6.4 仿真验证 |
6.4.1 实验设置 |
6.4.2 架构搜索 |
6.4.3 架构评估 |
6.4.4 模型轻量化 |
6.4.5 优化算法对比 |
6.5 本章小结 |
第七章 总结与展望 |
7.1 本文工作总结 |
7.2 下一步工作 |
参考文献 |
致谢 |
攻读学位期间的学术成果 |
(7)基于PU学习的Web入侵检测技术研究(论文提纲范文)
致谢 |
摘要 |
ABSTRACT |
序言 |
1 引言 |
1.1 研究的背景和意义 |
1.2 国内外研究现状及面临挑战 |
1.2.1 国内外研究现状 |
1.2.2 入侵检测技术面临的挑战 |
1.3 研究内容 |
1.4 本文的组织结构 |
2 相关技术与理论 |
2.1 入侵行为分析 |
2.1.1 跨站脚本攻击 |
2.1.2 注入攻击 |
2.1.3 网站后门 |
2.1.4 敏感信息泄露 |
2.2 PU学习方法 |
2.3 其他机器学习方法 |
2.3.1 半监督学习 |
2.3.2 支持向量机 |
2.3.3 逻辑回归 |
2.3.4 最大期望 |
2.4 本章小结 |
3 数据分析与特征提取 |
3.1 数据集选取 |
3.2 数据分析与预处理 |
3.3 特征提取算法 |
3.3.1 聚类算法 |
3.3.2 TF-IDF算法 |
3.3.3 词频统计算法 |
3.3.4 异常行为检测算法 |
3.4 特征提取结果对比 |
3.5 本章小结 |
4 基于PU学习的入侵检测模型 |
4.1 PU学习入侵检测模型 |
4.2 PU学习两阶段中的算法优化 |
4.2.1 优化RN求解算法 |
4.2.2 引入代价敏感策略的分类算法 |
4.3 实验结果分析 |
4.3.1 实验环境 |
4.3.2 实验结果分析 |
4.3.3 模拟入侵测试 |
4.4 本章小结 |
5 入侵检测可视化系统设计与实现 |
5.1 需求分析 |
5.2 入侵检测系统设计 |
5.2.1 功能设计 |
5.2.2 技术框架 |
5.2.3 数据库设计 |
5.3 入侵检测系统实现 |
5.3.1 事件统计 |
5.3.2 入侵行为分析 |
5.3.3 态势地图 |
5.3.4 事件处置 |
5.4 本章小结 |
6 总结和展望 |
6.1 总结 |
6.2 展望 |
参考文献 |
作者简历及攻读硕士学位期间取得的研究成果 |
学位论文数据集 |
(8)基于Hadoop的网络异常流量分布式检测研究(论文提纲范文)
摘要 |
ABSTRACT |
第1章 绪论 |
1.1 研究背景与意义 |
1.2 国内外研究进展 |
1.3 研究切入点 |
1.4 研究方案 |
1.5 本文结构组织 |
第2章 相关技术研究 |
2.1 网络安全主要威胁 |
2.2 入侵检测系统概述 |
2.3 分布式基础架构HADOOP研究 |
2.4 异常网络流量检测方法 |
2.5 入侵检测数据集 |
2.6 本章小结 |
第3章 网络数据采集算法和系统研究 |
3.1 数据采集系统分析 |
3.2 网络日志采集与存储 |
3.3 网络流量采集与数据格式转换 |
3.4 实验与结果分析 |
3.5 本章小结 |
第4章 网络异常数据分析方法研究 |
4.1 基于聚类算法的特征分析研究 |
4.2 基于词汇分割的分类方法研究 |
4.3 基于关联性的入侵有效性分析 |
4.4 实验与结果分析 |
4.5 本章小结 |
第5章 分布式并行化网络异常流量分析研究 |
5.1 分布式处理需求分析 |
5.2 分布式WEB日志异常网络访问并行化检测 |
5.3 分布式集群的聚类网络异常流量检测 |
5.4 实验与结果分析 |
5.5 本章小结 |
第6章 结论与展望 |
6.1 结论 |
6.2 进一步研究展望 |
参考文献 |
致谢 |
攻读硕士期间发表论文及科研工作 |
(9)基于改进CANN算法的入侵检测系统设计与实现(论文提纲范文)
摘要 |
ABSTRACT |
缩略语对照表 |
第一章 绪论 |
1.1 研究背景和意义 |
1.2 入侵检测系统的研究现状 |
1.2.1 传统的入侵检测方法 |
1.2.2 基于机器学习的入侵检测方法 |
1.2.3 基于深度学习的入侵检测方法 |
1.3 研究内容 |
1.4 论文组织结构 |
第二章 入侵检测系统相关技术 |
2.1 机器学习算法 |
2.1.1 聚类 |
2.1.2 分类 |
2.2 Spark分布式计算框架 |
2.2.1 Spark概述 |
2.2.2 Spark运行架构 |
2.2.3 RDD弹性分布式数据集 |
2.3 流式计算 |
2.3.1 流式计算概念 |
2.3.2 流式计算处理过程 |
2.3.3 Spark Streaming |
2.4 数据可视化 |
2.5 本章小结 |
第三章 基于改进CANN算法的入侵检测模型构建 |
3.1 模型架构 |
3.2 CANN算法分析与改进 |
3.2.1 CANN算法 |
3.2.2 ICANN算法 |
3.3 ICANN算法的实现 |
3.3.1 寻找聚类中心 |
3.3.2 查找N近邻 |
3.3.3 分类器的选择 |
3.4 数据预处理 |
3.4.1 构造均衡训练集 |
3.4.2 数据清洗 |
3.5 特征提取 |
3.5.1 基本特征 |
3.5.2 统计特征 |
3.5.3 语义特征 |
3.6 入侵检测模型测试 |
3.6.1 评价指标 |
3.6.2 模型评估与实验对比 |
3.7 本章小结 |
第四章 基于Spark的网络入侵检测系统的设计与实现 |
4.1 需求分析 |
4.1.1 系统用户角色分析 |
4.1.2 用户功能性需求分析 |
4.1.3 其他需求 |
4.2 系统设计 |
4.2.1 系统框架 |
4.2.2 系统的模块设计 |
4.3 模块详细设计与具体实现 |
4.3.1 采集流量模块 |
4.3.2 流数据计算模块 |
4.3.3 存储模块 |
4.3.4 可视化模块 |
4.4 本章小结 |
第五章 系统测试与结果分析 |
5.1 测试环境 |
5.1.1 系统信息 |
5.1.2 相关技术栈信息 |
5.2 数据处理测试 |
5.2.1 数据实时传输测试 |
5.2.2 数据实时处理测试 |
5.2.3 数据存储测试 |
5.3 可视化模块测试 |
5.4 本章小结 |
第六章 总结与展望 |
6.1 工作总结 |
6.2 研究展望 |
参考文献 |
致谢 |
作者简介 |
(10)基于Spark+技术的入侵检测研究(论文提纲范文)
摘要 |
Abstract |
1 绪论 |
1.1 选题背景及研究意义 |
1.2 国内外研究现状 |
1.2.1 入侵检测研究现状 |
1.2.2 入侵检测研究存在的不足 |
1.3 本文研究内容及创新点 |
1.4 本文组织结构 |
2 入侵检测基本概念及理论 |
2.1 网络攻击类型 |
2.2 入侵检测基本概念 |
2.3 入侵检测系统的分类 |
2.3.1 基于检测技术的入侵检测系统 |
2.3.2 基于审计对象的入侵检测系统 |
2.3.3 基于工作方式的入侵检测系统 |
2.4 数据挖掘理论及在入侵检测系统中的应用 |
2.4.1 数据挖掘算法的起源与发展历程 |
2.4.2 数据挖掘的研究内容和本质 |
2.4.3 数据挖掘在入侵检测系统的应用 |
3 基于Spark+ELK的 web日志采集框架 |
3.1 web日志安全日志概述 |
3.2 web日志入侵检测模块 |
3.2.1 基于单分类的web日志入侵检测模块 |
3.2.2 基于关联规则的web日志入侵检测模块 |
3.3 Spark+ELK日志采集框架 |
3.3.1 ELK日志采集框架 |
3.3.2 ElasticSearch日志采集 |
3.3.3 Spark基本内容 |
3.4 web日志数据集采集及处理过程 |
3.4.1 Spark+ELK环境 |
3.4.2 web日志采集过程 |
3.4.3 数据集预处理 |
3.5 小结 |
4 改进Adaboost算法的异常检测模型 |
4.1 概述 |
4.2 Adaboost算法改进 |
4.2.1 传统Adaboost算法 |
4.2.2 改进Adaboost算法过程 |
4.3 实验结果分析 |
4.3.1 数据集平衡化处理 |
4.3.2 数据集平衡处理实验分析对比 |
4.3.3 改进算法实验对比分析 |
4.4 小结 |
5 基于Spark+CUDA平台的改进Adaboost算法并行化 |
5.1 基于Spark平台的改进Adaboost算法并行化策略 |
5.1.1 Spark平台 |
5.1.2 Spark平台并行化算法设计方案 |
5.1.3 Spark平台改进Adaboost算法并行化处理流程 |
5.2 基于CUDA平台的改进Adaboost算法并行化策略 |
5.2.1 CUDA平台 |
5.2.2 CUDA并行计算特点 |
5.2.3 改进Adaboost在 CUDA平台的并行算法设计方案 |
5.3 实验结果分析 |
5.3.1 实验平台及数据 |
5.3.2 数据集预处理 |
5.3.3 实验对比 |
5.3.4 实验结果分析 |
5.4 小结 |
结论 |
致谢 |
参考文献 |
攻读硕士期间的研究成果及参加的科研项目 |
四、利用URL Cache提升网络入侵检测系统性能(论文参考文献)
- [1]深度报文检测的性能提升与安全增强[D]. 刘立坤. 哈尔滨工业大学, 2021(02)
- [2]基于HTTP流量的SOL注入攻击检测研究[D]. 朱忠栋. 北京邮电大学, 2021(01)
- [3]基于DBN-GrC网络入侵检测模型研究[D]. 吴俊鹏. 武汉邮电科学研究院, 2021(01)
- [4]基于网络数据流的信息安全态势感知技术研究[D]. 孙伟明. 浙江理工大学, 2020(06)
- [5]基于机器学习的网络安全关键技术研究[D]. 刘文祺. 电子科技大学, 2020(11)
- [6]网络认知下基于机器学习的智能化安全态势研究[D]. 金磊. 北京邮电大学, 2020
- [7]基于PU学习的Web入侵检测技术研究[D]. 于海峰. 北京交通大学, 2020(03)
- [8]基于Hadoop的网络异常流量分布式检测研究[D]. 马晓亮. 西南大学, 2019(01)
- [9]基于改进CANN算法的入侵检测系统设计与实现[D]. 张文肖. 西安电子科技大学, 2019(02)
- [10]基于Spark+技术的入侵检测研究[D]. 李宗仁. 兰州交通大学, 2019(04)