一、基于Web日志的数据挖掘研究(论文文献综述)
张倩[1](2021)在《数据流聚类算法在Web访问日志分析中的应用研究》文中进行了进一步梳理近年来互联网技术取得了惊人的发展成绩,各类使用也日益普及,在使用互联网的过程中产生了大量的Web数据,如何从这些海量数据中统计和分析出有价值的信息,挖掘日志数据中蕴藏的访问行为是一个值得研究和关注的热点问题。对这一问题的研究有助于网站管理员及时发现网站安全风险,修复网站漏洞,不断提升网站运维人员的网络安全意识,也有助于管理员及时了解用户关注的网站内容,及时更新维护相关内容,更好发挥网站的作用。本文针对Web访问日志分析的问题,对数据流相关的概念及算法进行研究,提出数据流聚类算法优化方法,对现有的基于密度网格的数据流聚类算法进行改进。然后在充分研究Storm框架基本原理的前提下,将改进算法基于Storm进行分布式并行化设计,提高改进数据流聚类算法的处理效率。最后将改进的分布式数据流聚类算法在实际采集的Web访问日志的分析上加以应用。本文的主要研究内容如下:(1)选择基于密度网格的数据流聚类算法作为Web访问日志分析的基础算法。针对现有算法在阈值参数设置和簇边界判定两个方面的不足,对现有算法进行改进,以提高现有算法聚类性能为目的,提出改进的基于密度网格的数据流聚类算法。(2)针对无法在单机环境下高效处理Web访问日志这类实时、海量数据的问题,搭建分布式流处理平台Storm,以并行化分布式的方式来设计数据流聚类算法,并且基于Storm来实现该算法。(3)将基于Storm实现的分布式数据流聚类算法在Web访问日志分析中应用,设计Web访问日志分析模型。基于实际采集的校园网站Web访问日志进行实验,结果表明,改进的算法聚类效果更优,并行化的计算更好地适应了Web访问日志的数据特点,算法具有分布性、实时性和准确性。得出的分析结果对网站的管理具有一定的参考价值,可以为网站管理中的类似问题提供参考依据。
王颖[2](2020)在《基于Web日志的并行化聚类算法研究及应用》文中提出信息技术快速发展的同时带来了网络上信息含量的猛增。从大量冗余信息中快速准确获取目标内容变得不那么容易了。然而用户最期望可以直接略过自己不感兴趣的信息,快速直接的获取需要的内容。网站经营者则希望通过用户的访问记录挖掘用户的行为模式,然后对站点结构做出调整,更好进行商务推广活动。无形中加深了信息获得和供给的矛盾。本文正是基于这种矛盾提出以Web日志数据为基础对用户群体的行为模式进行聚类分析。为解决存在的矛盾冲突提出了一些方案。在仔细研读关于Web日志数据的聚类挖掘文章,分析和理解被提出的各种相关理论和方法后。本文提出了一种并行化的聚类算法,而且应用在现实Web日志数据上取得了极佳的聚类效果。因为实际中的日志数据质量并不能满足聚类要求,所以在聚类前有必要执行预处理步骤。预处理中比较重要的部分是能够利用提出的多条件约束法去准确识别用户。然后通过实验设置STT值进行用户会话的识别。为了后续聚类方便,需要识别用户的事务,采用改进的事务识别算法可以很好的区分导航页和内容页,进行有效事务识别。接下来针对K-Means需要人为随机给出聚类的个数K,以及每个类的中心数据点的缺陷。本文首先改进Canopy算法,克服阈值T1、T2的缺陷获得Canopy个数,成为K-Means算法所需的k值,所有Canopy中心点都成为K-Means初始聚类中心。然后通过实验验证将算法并行化到Hadoop集群上能在提高平均准确率到94.67%的基础上,降低了算法的执行时间。最后以Web日志数据为基础设计了能对用户行为进行分析聚类的系统,验证了理论上的研究也可以运用到实际操作中。图32表9参82
苏星[3](2020)在《基于大数据与机器学习的Web日志分析系统的设计与实现》文中认为随着互联网Web技术的快速发展,互联网的用户人数在成指数型级别增长。在互联网服务用户的同时,产生了海量的Web日志信息,这些信息构成了大量的数据,隐藏着庞大的商业资源和利用价值。同时,呈爆炸式的用户人群在浏览互联网Web页面时,通过自身的经验与搜索去主动查询自己所需的资料,往往在繁琐的操作后得不到想要的目标,好像湮没在这海量的信息之中。因此,大数据技术与数据挖掘在很大程度上解决此问题。本文基于大数据技术与数据挖掘技术,研究内容主要有以下几个方面:对大数据和分布式技术进行了研究。主要深入的研究了Hadoop/Spark大数据平台。Google公司在大数据时代引领了潮流,其开发的大数据分布式平台Hadoop已经生成了完整的生态系统,得到了广泛的应用,其中MapReduce(MR)编程模型与HDFS最为常用。Spark是UC Berkeley AMP 1ab(加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是——Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的的算法。对基于深度学习的n1p/Word2Vec算法技术衍生的预测模型进行了研究。首先,word2vec算法可以在百万数量级的词典和上亿的数据集上进行高效地训练;其次,该工具得到的训练结果——词向量(word embedding),可以很好地度量词与词之间的相似性。在日志挖掘过程中,我们可以选择利用其组成的会话序列探究各个日志的相似性。对于具体的会话序列的生成方法和序列中上下文的选择、训练方法,本文在研究了相关的词频加权算法之后,在word2vec的基础上做了改进,从而具备了对每个日志有相似性运算与结论预测的理论基础。对于基于Spark/HDFS的日志分析平台进行了详细的设计。根据对相关大数据分布式平台与算法的深入学习与研究,本文将涉及一个基于Spark/HDFS的日志挖掘与分析平台。该平台的组成模块有以下几个:日志预处理模块,日志存储模块,日志挖掘模块。日志预处理模块采用Spark平台实现;日志存储模块使用Hadoop中的HDFS实现。日志挖掘模块采用改进后的Word2Vec算法进行实现,由于是分布式处理,对算法流程设计使其能在分布式平台运行。最后对基于大数据平台的Web日志分析平台进行功能与性能的测试,通过对单机系统以及其他模型的对比,证明了该系统在处理大数据量的Web日志方面具有优势。
林玲[4](2020)在《基于主题搜索的校园用户行为挖掘系统的设计与实现》文中研究指明随着网络技术和业务的发展,网络用户数量逐年增加,网络中蕴涵的大量的用户行为信息成为了相关人士关注的重要分析来源。在高校中通过数据挖掘手段对校园网的用户行为信息进行分析,可以克服高校中传统的管理模式不够精细和深入的弊端。传统校园用户行为分析系统中主要包含主题模型建立和关联模式挖掘两个部分,现有的主题模型提取出的用户主题词对于语义的表示能力较弱,且传统关联模式挖掘的可定制性不高,容易提取到较大众但无用的关联特征。本文在已有的校园用户行为分析系统中加入主题提取改进算法和关联模式挖掘改进算法,设计并实现了一套基于主题搜索的校园用户行为分析系统。具体研究内容如下:1.提出一种基于结构协同的向量化隐含狄利克雷分布的主题词提取算法。该方法使用结构得分作为基于文本排序的关键词提取算法中的边权重,在该算法的基础上加入算法提取的主题语义信息作为权重参数,使得提取出的关键词具有主题语义表示能力。2.提出基于改进的警示线索词频繁树的两极多支持度算法。该方法加入了事务项的负向关联以增加分析中的潜在项集,使用多重最小支持度提高关联模式的准确性,在基于频繁模式树的关联模式分析算法基础上加入预设警示线索词的筛选,使得系统可以将管理者预设的敏感信息识别并提取出来。3.设计并实现了一种基于主题搜索的用户行为分析系统。系统包括数据存储,数据处理,算法分析和UI展示四大模块,其中算法分析模块包含了主题提取和特征向量关联算法。算法分析的结果通过归类和处理后在UI展示层进行结果的展示。实验结果表明,该系统能够有效的提取用户访问记录中页面链接对应的主题,且能正确地与用户其他特征向量进行关联。算法分析的结果能在Web的UI界面中进行展示,为校园网的网络管理者提供重要的分析依据。
刘澍[5](2020)在《基于用户访问序列模式的Web性能测试模型研究与应用》文中指出Web应用系统因其易部署、高扩展、低维护的特性成为现今软件系统开发的趋势,成为互联网发展中最具生命力的一部分。Web性能测试作为保障系统稳定性、定位性能瓶颈的重要手段,逐步发展为软件生命周期中不可缺少的环节。但是,传统的性能测试模型在Web系统上还面临三个主要问题:没有给出设计测试方案的指导性意见;缺少对性能测试指标的明确要求;忽略了测试后的性能迭代调优。这些问题成为影响Web性能测试可靠性的重要难点。针对上述问题,本文在传统的PTGM性能测试模型上,面向Web应用系统,提出一种改进的基于用户访问序列模式的性能测试模型UASP-PTGM(Performance Testing General Model based on User Access Sequential Pattern),该模型通过挖掘Web系统运行时产生的日志文件,生成用户访问序列模式,指导性能测试场景设计,模拟系统的真实负载情况;筛选出用户行为特征指标、基本性能指标这两方面的性能评价指标,以考察用户实际体验与系统使用情况;引入了回归测试,使Web系统在迭代调优过程中,实现系统的测试目标。其中,本文重点阐述了用户访问序列模式的生成方法,在日志文件预处理、序列模式挖掘、用户画像构建这三个阶段,提出了对应的改进方法:(1)在日志预处理阶段,提出一种基于构造网站结构树填补缺失路径的方法,通过Check访问序列中,邻近内容项对应节点是否满足网站结构树中的约束关系,来进行最短路径补充;(2)针对序列模式挖掘算法PrefixSpan在面对数据规模过大时,每次投影占用过多资源的问题,提出了改进的SP-PrefixSpan算法。通过提前剪枝序列非频繁项,支持度末位判断,后缀指针伪投影的方法,优化了序列在内存中的存储方式,减少了投影数据库规模,提高了算法效率;(3)通过对日志的挖掘与分析,结合用户画像八要素,提取出满足基本性、独特性、目标性、数量性及应用性的用户属性,为构建虚拟用户画像提供依据。最后,使用性能测试工具LoadRunner11,对具体项目案例进行测试。通过监控场景运行中的资源使用状况、事务响应时间等参数,对模型进行评估。测试结果表明,本文提出的用户访问序列模式性能测试模型(UASP-PTGM)能够有效模拟真实用户负载,提高场景设计的可靠性,最终提高测试结果的准确性。
高伟伟[6](2020)在《基于ELK的WEB日志安全分析平台实现及分析》文中指出本文主要围绕日志采集处理技术和分布式数据处理技术这两个大数据处理技术进行分析,在此基础上搭建了安全日志分析平台,专门用来处理海量网络日志数据。并对服务器端获取到的网络安全日志进行了数据处理、导入、分析,展示,将安全日志中的网络攻击信息通过Kibana进行可视化分析、展示,为用户提供了一种高效率、易使用的网络安全日志分析的解决措施。本文的主要内容如下:1、设计ELK分布式平台。在深入研究了ELK技术的基础之上,总体设计了ELK平台,对于平台需要满足的要求和目标进行分析,在此基础上规划与设计了平台的整体结构和模块。2、ELK分布式平台的详细设计与实现。基于ELK,搭建起完善的日志分析平台,其中实现了分布式数据存储模块、采集模块、日志攻击数据处理分析模块、日志原始数据处理模块等模块。3、基于ELK分布式平台的网络安全日志分析。在日志数据处理阶段,已将日志根据攻击规则进行了匹配分析,将结果数据储存于分布式数据存储模块Elasticsearch,通过Kibana可视化分析模块,运用聚合、过滤等技术对网络安全日志进行分析、统计和可视化展示,得出网络安全日志的分析结果,发现系统的潜在漏洞,并给出了合理化的建议。
夏烈阳[7](2019)在《大数据背景下基于Web日志的用户访问模式挖掘研究》文中研究说明随着互联网的快速发展,网络用户规模不断扩大,网络用户比例不断增加,网络用户行为也变得越来越复杂。尽管许多学者对Web挖掘技术和用户行为挖掘进行了深入研究,但仍存在一些问题。传统的数据挖掘算法在大数据处理效率方面并不令人满意。与此同时,对于电子商务领域,随着网购越来越流行,网民的不断增加以及新的商品出现,大量的商品和用户没有发生交互数据,系统更倾向于给用户推荐热门商品,导致大多数电子商务平台中都存在重复推荐的情况,无法提供更精准的个性化服务,以及长尾物品的发现和物品的权重调整。同时大量的中小型企业想完成数据驱动服务的升级,包括用户行为挖掘、个性化推荐等。这些问题迫切需要解决。因此,本文选择电子商务领域,基于电子商务后台日志的数据特征,重点分析和研究电子商务用户行为,构建用户行为挖掘的基本模式。本文研究内容主要包括以下几点:首先,在深入了解Web用户行为理论的基础上,基于交互的内容对用户的行为进行分类,同时基于大数据背景,在介绍了传统的一些数据挖掘算法的基础上,做了进一步的优化,以符合现实的商业化需求,对于Web日志来说,在大数据环境以及多样的用户行为的影响下,其采集方法与处理方法变得更加的复杂,本文在此基础上深入研究和理解Web用户的行为特征以及Web日志的数据表示并总结出了互联网用户行为所具有的特征。其次,基于上述研究成果,针对大数据时代的应用场景,在对传统算法改进的基础上进行并行化处理,大幅提高算法的运行效率,同时采用分布式的文件存储结构,提高了系统数据处理的容错性。同时,深入研究了协同过滤推荐算法的优缺点。协同过滤当前有着非常广泛的应用,在不改变协同过滤算法的基础上,引入迁移学习,提出了基于标签共享和用户兴趣的跨域迁移的推荐。实验结果表明,与现有的协同过滤推荐算法相比,基于迁移学习的推荐模型的准确率有一定程度的提高,也有助于解决数据稀疏性引起的冷启动问题。同时对原来系统中已存在的推荐算法,对其算法本身的侵入性非常的小。最后,基于上述研究内容和结果,本文构建的Web用户行为挖掘系统,可进行多维度高效率的挖掘。它通过精准的营销和准确的建议,帮助电子商务商家、内容提供商等了解他们的用户并实现更好的商业价值,完成数据驱动服务的升级。
陈洲[8](2019)在《一种改进K-Means算法的Web日志挖掘技术的研究》文中研究指明随着互联网和信息技术的快速发展,从云服务上获取知识成为了人们学习的重要途径,同时,不断涌现出的各种云服务应用使得服务器存储的数据量急剧增加。Web日志作为云端应用的重要组成部分,大量有用的知识和待挖掘的信息被存储在其中,人们既可以根据日志文件获取该应用的用户访问情况,也可以对日志文件进行预处理之后运用数据挖掘算法进行深度知识挖掘,获取人们需要的有价值的信息。Web日志作为服务器的记录文件,记录了网站最重要的信息,随着数据量的增加,找出一种应对大数据量的数据挖掘算法,以更有效的分析日志文件迫在眉睫。本文主要分析的Web日志用户聚类是在对日志文件进行数据预处理的基础上,建立用户会话序列矩阵,进而对其进行聚类分析,最终进行相关应用。对于此类研究,国内外学者主要集中在对数据挖掘算法的改进研究上,而大多方案不具备大数据环境下并发处理数据的能力,因此针对海量数据的挖掘算法并发化问题也是本文研究的重点。针对上述问题,本文重点研究了一种结合密度参数与坐标旋转算法的ICKM(Improve cordic K-Means)算法,借助MapReduce原理及分布式理论,在解决传统算法缺陷的同时使算法具备了在大数据环境下处理数据的能力。本文的主要研究内容如下:(1)研究了Web挖掘技术的相关背景知识,通过了解Web挖掘的概念和过程着重分析了在挖掘过程中占重要地位的数据预处理过程,预处理过程的结果好坏直接影响到挖掘算法的结果,针对会话识别理论和传统的时间阈值对预处理输出的影响,给出了一种利用页面链入链出权重比得到时间阈值的解决方案。(2)针对K-Means算法在选取初始中心点上存在的问题,以及在Web日志挖掘应用中,用户构建会话矩阵后存在的孤立点对结果产生的影响,重点研究了一种密度参数与坐标旋转算法相结合的ICKM算法,该算法利用密度参数最大的对象作为第一中心点,利用KCR(K-Means Cordic)算法寻找下一个中心点,在一定程度上避免了孤立点对数据样本的影响,充分考虑用户聚类过程中建立的会话矩阵孤立点的影响,同时运用马氏距离改进了类簇内数据的相似程度。(3)为了提高大数据环境下的计算速度,通过借助MapReduce计算模型实现算法的并行计算,通过框架承载数据的计算压力在一定程度上提高运算速度与准确度。最后,通过实验分析,改进后的算法较传统聚类算法有较高的准确性与稳定性。
陈雄[9](2019)在《网络用户异常行为数据挖掘方法研究》文中研究表明随着大数据、物联网等技术的迅速发展,用户访问信息也呈现出快速的增长。然而,社会各界在享受巨大技术红利的同时,也面临着信息安全所带来的问题。对用户访问日志数据进行异常检测分析是学术界的研究热点之一。但传统针对大规模分布式数据的异常检测方法存在一些缺点。第一,收集到Web日志数据集具有时效性,而在传统异常检测算法中却很少关注;第二,对已有的历史正常用户访问数据进行训练需要大量成本,而且异常检测效率低;第三,大数据时代网络流量呈现数据量大,特征属性维度高,而且属性之间的相关性大等特点,利用传统异常检测方法,会出现检测效率低,检测时间长的问题。因此,如何快速和高效率地对大数据平台收集到的大规模网络用户行为数据进行异常检测已经成为一个巨大的挑战。针对以上问题,本文分析了各类异常检测方法的优缺点,提出了两种基于数据挖掘的异常检测方法,实现了高效率的异常检测,最后并设计与实现了系统。本文的主要贡献如下:(1)针对正常用户访问模式的训练和更新需要大量成本,当Web日志数据量较大时,提取正常用户访问模式时具有时间效率低、检测率低和误报率高等问题,提出了一种基于序列模式挖掘异常的方法。利用基于改进的分布式最大频繁序列提取算法提取正常用户访问模式,通过模拟包含攻击的用户序列与正常用户访问规则库进行序列比对,检测和定位出异常情况;(2)针对网络流量数据量大,数据维度高等特性,提出一种改进GRU的异常检测方法。首先,利用主成分分析对大规模网络流量数据集进行降维,提取有效的属性;然后,对处理过的训练数据集用来训练GRU-SVDD分类器模型;最后,将要检测的实际流量输入到GRU-SVDD比较器,检测出流量中的异常。(3)针对大数据平台上面收集到的网络用户行为数据集,构建从应用层和网络层的多层保护模型。可以有效地保护大数据平台的安全,并在本项目系统中设计与实现了相应的算法。
马成平[10](2019)在《商务网站行为分析系统的设计与实现》文中研究表明用户的点击和浏览行为记录在Web网站日志中,挖掘Web网站日志,分析用户的行为,进而优化电子商务网站,是近些年的研究热点。用户行为分析通常包含访问偏好分析、转化率分析等等,业界有大量的访问偏好分析的研究,并将其应用于个性化推荐领域,但针对转化率分析和网站信息结构分析的研究较少,本文设计和实现的用户行为分析系统侧重这两个方面的研究,并解决了大型电子商务网站大规模日志处理的可扩展性问题。本文主要工作包括如下三个方面:(1)用户的点击路径是电子商务网站用户行为分析的基础,本文设计了从非结构化的原始日志中构造用户点击路径的算法,并使用MapReduce编程模型来解决大规模Web日志分析的可扩展性问题。(2)单一的依赖漏斗模型分析转化率存在缺点,即只能发现薄弱点,不能根据用户点击路径来分析出转化率低的原因。本文提出将漏斗模型和频繁模式挖掘相结合的转化率分析方法,即将通过漏斗模型发现的单步转化率低的节点的点击数,作为阈值输入给频繁模式挖掘程序,从而最大限度的挖掘关联的频繁路径,为企业优化网站提供参考依据。(3)提出了一种使用神经网络模型来分析网站信息结构是否合理的方法。先使用word2vec将用户点击路径向量化,再通过LSTM神经网络模型学习和预测用户的点击分布,并与网站的预期进行比较,以优化网站的信息结构。
二、基于Web日志的数据挖掘研究(论文开题报告)
(1)论文研究背景及目的
此处内容要求:
首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。
写法范例:
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
(2)本文研究方法
调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。
实证研究法:依据现有的科学理论和实践的需要提出设计。
定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。
定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。
跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。
模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、基于Web日志的数据挖掘研究(论文提纲范文)
(1)数据流聚类算法在Web访问日志分析中的应用研究(论文提纲范文)
摘要 |
Abstract |
第一章 绪论 |
1.1 研究背景与意义 |
1.2 国内外研究现状 |
1.2.1 Web日志分析 |
1.2.2 数据流聚类算法 |
1.3 研究内容 |
1.4 论文结构 |
第二章 相关理论与技术 |
2.1 Web日志挖掘 |
2.1.1 Web挖掘概述 |
2.1.2 Web日志挖掘概述 |
2.1.3 Web日志挖掘过程 |
2.2 数据流聚类算法 |
2.2.1 数据流 |
2.2.2 数据流模型 |
2.2.3 数据流挖掘 |
2.2.4 数据流聚类算法 |
2.3 分布式流处理技术 |
2.3.1 分布式流处理技术 |
2.3.2 分布式流处理平台Storm |
2.4 本章总结 |
第三章 改进的密度网格数据流聚类算法研究 |
3.1 基于密度网格的数据流聚类算法D-Stream |
3.1.1 D-Stream算法概述 |
3.1.2 D-Stream算法基本定义 |
3.1.3 时间周期gap与网格检查 |
3.1.4 算法描述 |
3.1.5 D-Stream算法的不足 |
3.2 改进算法设计 |
3.2.1 改进算法基本思想 |
3.2.2 改进算法基本定义及相关概念 |
3.2.3 算法描述 |
3.3 实验与结果分析 |
3.3.1 实验数据与实验环境 |
3.3.2 算法参数的设置 |
3.3.3 实验结果分析 |
3.4 本章总结 |
第四章 算法并行化设计及其基于Storm的实现 |
4.1 算法并行化设计 |
4.1.1 算法并行化设计基本思想 |
4.1.2 分布式数据流聚类算法概述 |
4.2 算法基于Storm的实现方案 |
4.3 实验与结果分析 |
4.3.1 实验数据与实验环境 |
4.3.2 实验结果分析 |
4.4 本章总结 |
第五章 基于Storm的改进算法在Web日志分析中的应用 |
5.1 Web访问日志格式说明 |
5.2 基于Storm的Web访问日志分析模型设计 |
5.3 模型应用结果及分析 |
5.4 本章总结 |
第六章 总结与展望 |
6.1 总结 |
6.2 展望 |
参考文献 |
在学期间取得的科研成果和科研情况说明 |
致谢 |
(2)基于Web日志的并行化聚类算法研究及应用(论文提纲范文)
摘要 |
Abstract |
1 绪论 |
1.1 研究背景和意义 |
1.2 国内外研究现状 |
1.2.1 国内研究现状 |
1.2.2 国外研究现状 |
1.3 论文内容和结构 |
1.3.1 研究内容 |
1.3.2 组织结构 |
2 Web日志挖掘相关理论与方法 |
2.1 Web日志挖掘 |
2.1.1 Web日志挖掘概述 |
2.1.2 Web日志数据说明 |
2.2 数据预处理 |
2.3 聚类分析 |
2.3.1 概述 |
2.3.2 聚类方法分类 |
2.3.3 K-Means聚类算法 |
2.4 Hadoop分布式技术 |
2.4.1 Hadoop简介 |
2.4.2 HDFS文件系统 |
2.4.3 MapReduce计算框架 |
2.5 本章小结 |
3 Web日志数据预处理 |
3.1 Web日志的数据清洗 |
3.2 多条件约束的用户识别 |
3.3 设置STT值识别用户会话 |
3.4 有效事务识别 |
3.4.1 问题的提出 |
3.4.2 改进的有效事务识别 |
3.5 实验分析 |
3.6 本章小结 |
4 算法研究与实验 |
4.1 Web日志聚类数据表示 |
4.1.1 用户事务兴趣度量矩阵 |
4.1.2 相似性度量 |
4.1.3 用户事务相似性度量 |
4.2 改进的聚类算法 |
4.2.1 问题的提出 |
4.2.2 Canopy+K-Means聚类算法 |
4.2.3 改进Canopy+K-Means聚类算法 |
4.2.4 聚类初始中心的选择实验 |
4.2.5 聚类准确性实验 |
4.3 并行化的聚类算法 |
4.4 算法实际应用实验分析 |
4.5 本章小结 |
5 系统设计与实现 |
5.1 总体设计 |
5.1.1 系统总体框架 |
5.1.2 模块结构设计 |
5.2 系统设计 |
5.2.1 日志数据存储 |
5.2.2 数据预处理 |
5.2.3 聚类分析 |
5.2.4 聚类结果分析 |
5.3 本章小结 |
6 总结与展望 |
6.1 总结 |
6.2 展望 |
参考文献 |
致谢 |
作者简介及读研期间主要科研成果 |
(3)基于大数据与机器学习的Web日志分析系统的设计与实现(论文提纲范文)
摘要 |
Abstract |
第一章 绪论 |
1.1 课题背景 |
1.2 前人研究现状 |
1.2.1 分布式技术研究现状 |
1.2.2 数据挖掘研究现状 |
1.2.3 前人成果综述 |
1.3 论文结构 |
1.4 本章小结 |
第二章 基础理论与关键技术 |
2.1 分布式存储与运算技术的研究 |
2.1.1 Hadoop系统 |
2.1.2 HDFS |
2.1.3 MapReduce编程模型 |
2.1.4 Spark系统 |
2.2 数据挖掘方法研究 |
2.2.1 数据挖掘的定义与必要性 |
2.2.2 数据挖掘的流程 |
2.2.3 数据挖掘的常见方法 |
2.3 神经网络 |
2.3.1 神经元模型 |
2.3.2 BP神经网络结构 |
2.4 本章小结 |
第三章 文本向量化技术及其在日志分析系统中的应用和改进 |
3.1 传统意义上的文本向量化 |
3.1.1 文本向量化的背景定义与实现方法 |
3.1.2 Word2Vec算法的不同实现方式 |
3.1.3 Word2Vec的Negative Sampling(负采样)学习方式 |
3.2 WORD2VEC算法在日志分析系统中的应用 |
3.2.1 Word2Vec算法与日志分析中的联系 |
3.2.2 Word2Vec算法在日志分析中的应用 |
3.3 WORD2VEC算法在日志分析系统中的改进 |
3.3.1 Word2Vec算法在日志分析系统中的应用优劣及其改进的方向 |
3.3.2 TF-IDF算法 |
3.3.3 利用权重评价对Word2Vec算法在日志分析中改进 |
3.4 实验与评估 |
3.4.1 数据集准备 |
3.4.2 评测方法 |
3.5 本章小结 |
第四章 基于改进后WORD2VEC算法与大数据处理技术的WEB日志分析系统设计 |
4.1 系统需求分析 |
4.2 系统的环境框架设计 |
4.2.1 日志数据处理层 |
4.2.2 日志数据分析层 |
4.2.3 实验结果展现层 |
4.3 系统的模块设计 |
4.3.1 Web日志预处理模块 |
4.3.2 Web日志存储模块 |
4.3.3 Web日志挖掘与分析模块 |
4.4 Web日志预处理描述 |
4.4.1 数据清洗 |
4.4.2 用户识别及商品识别 |
4.4.3 会话识别并生成序列 |
4.4.4 Web日志在大数据环境中的预处理 |
4.5 Web日志分布式环境下的向量化与分析 |
4.5.1 word2vec算法并行化运算思路 |
4.5.2 word2vec算法并行化实现 |
4.6 本章小结 |
第五章 系统环境的搭建与测试结果分析 |
5.1 系统运行环境的搭建 |
5.1.1 系统部署的基本硬件/软件条件 |
5.1.2 系统运行环境的搭建 |
5.1.3 系统运行环境测试 |
5.2 系统性能测试 |
5.2.1 数据集选取 |
5.2.2 测试性能指标 |
5.4 系统测试 |
5.4.1 系统并行化评测 |
5.4.2 系统分析有效性评测 |
5.5 本章小结 |
第六章 结束语 |
6.1 论文工作总结 |
6.2 问题和展望 |
参考文献 |
致谢 |
(4)基于主题搜索的校园用户行为挖掘系统的设计与实现(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 课题背景 |
1.2 研究现状 |
1.2.1 用户行为分析技术研究现状 |
1.2.2 Web日志挖掘技术研究现状 |
1.3 研究内容 |
1.4 论文组织与结构 |
第二章 相关技术介绍 |
2.1 校园网Web日志挖掘技术 |
2.2 Web日志数据预处理 |
2.3 基于Web日志的用户行为分析方法 |
2.3.1 主题模型介绍 |
2.3.2 关联模式挖掘 |
2.4 本章小结 |
第三章 基于结构协同的向量化狄利克雷主题词提取改进算法 |
3.1 关键词提取算法 |
3.1.1 网页评分排名算法 |
3.1.2 基于文本排名的关键词提取算法 |
3.1.3 基于搜索模型的文本相关性权重计算方法 |
3.2 基于结构协同的向量化隐含狄利克雷分布主题词提取算法 |
3.2.1 算法思想 |
3.2.2 文本预处理 |
3.2.3 向量化的狄利克雷主题模型初始化向量取值 |
3.2.4 候选词得分计算 |
3.2.5 文本网络构建 |
3.3 本章小结 |
第四章 基于正负关联多支持度的警示线索词频繁模式挖掘改进算法 |
4.1 算法改进动机 |
4.1.1 警示线索词 |
4.1.2 单一最小支持度 |
4.1.3 传统正向关联规则 |
4.2 算法改进思想 |
4.2.1 改进的警示线索词频繁树 |
4.2.2 多重最小支持度的引入 |
4.2.3 含正负项目的多重最小支持度 |
4.3 算法流程设计 |
4.4 本章小结 |
第五章 基于主题搜索的用户行为分析系统设计 |
5.1 系统需求及功能流程分析 |
5.2 原始数据存储层 |
5.3 数据整合处理层 |
5.4 算法分析层 |
5.4.1 用户行为集预处理模块 |
5.4.2 主题提取模块 |
5.4.3 特征向量关联模块 |
5.5 本章小结 |
第六章 测试结果及分析 |
6.1 测试环境介绍 |
6.2 测试用例设计 |
6.3 测试结果及分析 |
6.3.1 基于结构协同的LDA2Vector算法测试结果及分析 |
6.3.2 基于改进的警示线索词频繁树的两极多支持度算法结果及分析 |
6.3.3 系统前端页面展示 |
6.3.4 系统在使用传统算法和改进算法运行结果展示 |
6.4 本章小结 |
第七章 总结与展望 |
7.1 论文总结 |
7.2 未来展望 |
参考文献 |
致谢 |
(5)基于用户访问序列模式的Web性能测试模型研究与应用(论文提纲范文)
摘要 |
Abstract |
第1章 绪论 |
1.1 选题背景及意义 |
1.2 国内外研究现状 |
1.3 研究目标与内容 |
1.4 论文结构 |
第2章 Web性能测试相关研究 |
2.1 Web系统架构 |
2.2 Web性能测试 |
2.3 回归测试 |
2.4 本章小结 |
第3章 Web日志挖掘研究 |
3.1 Web挖掘相关理论概述 |
3.2 序列模式挖掘 |
3.3 PrefixSpan算法的研究和改进 |
3.4 本章小结 |
第4章 基于序列模式挖掘算法的Web性能测试模型研究 |
4.1 传统性能测试模型研究 |
4.2 UASP-PTGM性能测试模型 |
4.3 用户访问序列模式生成过程 |
4.4 本章小结 |
第5章 基于UASP-PTGM性能测试模型的性能测试实例分析 |
5.1 测试需求分析 |
5.2 建立用户访问序列模式 |
5.3 测试方案设计 |
5.4 测试执行与结果分析 |
5.5 本章小结 |
第6章 结论与展望 |
6.1 工作总结 |
6.2 展望 |
参考文献 |
致谢 |
攻读硕士期间取得的科研成果 |
(6)基于ELK的WEB日志安全分析平台实现及分析(论文提纲范文)
中文摘要 |
Abstract |
第一章 绪论 |
1.1 研究背景及意义 |
1.2 研究现状 |
1.2.1 国内研究现状 |
1.2.2 国外研究现状 |
1.3 论文主要工作 |
1.4 论文组织结构 |
1.5 本章小结 |
第二章 相关理论技术介绍 |
2.1 网络日志 |
2.1.1 日志的概念及特征 |
2.1.2 网络日志及种类 |
2.1.3 不同种类网络日志格式 |
2.2 网络应用攻击 |
2.3 网络攻击检测 |
2.3.1 网络攻击检测简介 |
2.3.2 网络攻击检测分类 |
2.3.3 网络攻击检测算法 |
2.4 ELK技术 |
2.4.1 Elastic Search介绍 |
2.4.2 Logstash介绍 |
2.4.3 Logstash Filter介绍 |
2.4.4 Kibana介绍 |
2.5 本章小结 |
第三章 需求分析及总体设计 |
3.1 总体需求分析 |
3.1.1 功能性需求分析 |
3.1.2 非功能性需求分析 |
3.2 结构设计 |
3.2.1 平台目标 |
3.2.2 平台架构设计 |
3.2.3 业务流程 |
3.3 平台模块设计 |
3.3.1 日志采集模块 |
3.3.2 数据存储模块 |
3.3.3 数据可视化模块 |
3.4 数据格式设计 |
3.4.1 原始数据格式 |
3.4.2 结果数据格式设计 |
3.5 本章小结 |
第四章 系统详细设计与实现 |
4.1 采集模块设计与实现 |
4.1.1 采集模块详细设计 |
4.1.2 采集模块的实现 |
4.2 日志安全信息分析模块的设计与实现 |
4.2.1 日志安全信息分析模块的设计 |
4.2.2 日志安全信息分析模块的实现 |
4.3 数据存储模块的设计与实现 |
4.4 数据可视化模块设计与实现 |
4.5 本章小结 |
第五章 网络攻击日志分析 |
5.1 日志分析方案 |
5.1.1 日志数据来源 |
5.1.2 日志分析平台 |
5.1.3 日志分析平台构建 |
5.2 日志分析过程 |
5.2.1 日志数据预处理 |
5.2.2 正则匹配 |
5.2.3 机器学习算法 |
5.3 日志分析结果展示 |
5.4 攻击访问情况 |
5.5 安全防御方案 |
5.6 本章小结 |
第六章 结论 |
6.1 主要结论 |
6.2 研究展望 |
参考文献 |
致谢 |
(7)大数据背景下基于Web日志的用户访问模式挖掘研究(论文提纲范文)
摘要 |
Abstract |
第一章 绪论 |
第一节 选题背景及研究意义 |
第二节 国内外相关研究动态 |
一、Web日志挖掘的研究现状 |
二、大数据背景下数据挖掘研究现状 |
三、个性化推荐的研究现状 |
四、研究中存在的一些缺陷和不足之处 |
第三节 论文的研究内容 |
第四节 论文结构安排 |
第二章 相关理论与技术研究 |
第一节 Web用户行为理论 |
一、Web用户行为概念与特征 |
二、Web用户行为的分类 |
第二节 Web日志挖掘 |
第三节 相关算法研究 |
一、聚类 |
二、分类 |
三、序列挖掘 |
四、推荐算法 |
第四节 大数据处理框架Hadoop |
一、Hadoop体系结构 |
二、MapReduce计算框架 |
三、HDFS分布式文件存储 |
第五节 Hadoop平台日志数据处理优势 |
第六节 本章小结 |
第三章 数据处理及用户行为识别 |
第一节 数据源介绍 |
第二节 数据预处理 |
一、数据清洗 |
二、数据衍生 |
第三节 用户行为识别 |
一、用户及会话识别 |
二、事务识别 |
三、模块标记识别 |
第四节 本章小结 |
第四章 基于大数据平台的数据挖掘算法改进 |
第一节 大数据背景下算法并行化的必要性 |
第二节 基于改进的PrefixSpan的并行模式挖掘算法 |
一、介绍及定义 |
二、PrefixSpan算法描述 |
三、PrefixSpan算法优化 |
四、实验结果及分析 |
第三节 基于样本密度的的FCM模糊聚类算法 |
一、FCM介绍 |
二、基于样本密度的FCM聚类算法 |
三、并行化处理 |
四、算法实验 |
第四节 本章小结 |
第五章 基于标签共享的用户兴趣模型迁移推荐 |
第一节 传统协同过滤推荐及面临问题 |
第二节 迁移学习与跨域 |
第三节 基于标签共享的用户兴趣模型迁移推荐 |
第四节 模型算法 |
一、矩阵奇异值分解算法 |
二、皮尔逊(Pearson)相关系数 |
三、Xgboost集成分类 |
第五节 实验数据及预处理 |
第六节 实验设计 |
一、用户兴趣度模型构建 |
二、迁移源领域兴趣度模型至目标领域 |
三、实验评测及结果 |
第七节 本章小结 |
第六章 Web用户访问模式挖掘系统 |
第一节 需求分析 |
第二节 用户访问模式挖掘系统原型设计与实现 |
一、用户访问兴趣分类 |
二、用户访问习惯挖掘 |
三、站点访问分析 |
四、用户综合推荐 |
第三节 本章小结 |
第七章 总结与展望 |
第一节 总结 |
第二节 展望 |
参考文献 |
致谢 |
在读期间的研究成果 |
(8)一种改进K-Means算法的Web日志挖掘技术的研究(论文提纲范文)
摘要 |
Abstract |
第1章 绪论 |
1.1 研究背景及意义 |
1.1.1 Web日志挖掘 |
1.1.2 云计算和大数据技术 |
1.2 国内外研究现状 |
1.2.1 Web挖掘技术 |
1.2.2 K-均值聚类算法 |
1.2.3 分布式计算 |
1.3 本文研究内容 |
1.4 本文的组织框架 |
第2章 Web日志挖掘技术的研究 |
2.1 Web数据挖掘 |
2.1.1 数据挖掘 |
2.1.2 Web数据挖掘 |
2.2 Web日志挖掘概述 |
2.3 Web日志挖掘数据预处理技术 |
2.3.1 数据清洗 |
2.3.2 用户识别 |
2.3.3 会话识别 |
2.4 本章小结 |
第3章 K-均值聚类算法相关研究 |
3.1 聚类分析 |
3.1.1 聚类分析简介 |
3.1.2 聚类分析方法 |
3.2 基于聚类的Web日志挖掘 |
3.3 K-均值聚类算法 |
3.3.1 算法描述 |
3.3.2 基于K-均值聚类的用户聚类 |
3.3.3 算法缺陷 |
3.4 改进的K-均值聚类算法 |
3.4.1 ICKM算法描述 |
3.4.2 算法特点 |
3.5 本章小结 |
第4章 基于MapReduce的 K-均值算法 |
4.1 云计算 |
4.2 分布式相关技术 |
4.2.1 Hadoop运行框架 |
4.2.2 HDFS分布式文件系统 |
4.2.3 MapReduce编程模型 |
4.3 ICKM算法的MapReduce并行化 |
4.3.1 ICKM并行化可行性分析 |
4.3.2 ICKM算法的Map阶段 |
4.3.3 ICKM算法的Reduce阶段 |
4.4 本章小结 |
第5章 实验设计与结果分析 |
5.1 实验环境与实验样本 |
5.1.1 实验环境 |
5.1.2 实验样本 |
5.2 Web日志挖掘系统数据模型建立 |
5.3 实验结果与分析 |
5.3.1 实验性能参数 |
5.3.2 实验结果与分析 |
5.4 实验性能分析 |
5.5 本章小结 |
总结和展望 |
参考文献 |
攻读硕士期间发表的学术论文 |
致谢 |
(9)网络用户异常行为数据挖掘方法研究(论文提纲范文)
中文摘要 |
Abstract |
绪论 |
第一节 研究背景与意义 |
第二节 国内外研究现状 |
第三节 本文主要贡献 |
第四节 本文组织结构 |
第五节 本章小结 |
第一章 相关基础概述 |
第一节 引言 |
第二节 异常检测 |
1.2.1 异常检测的概述 |
1.2.2 基于数据挖掘的异常检测算法研究 |
第三节 基于序列模式挖掘算法的异常检测模型相关基础 |
1.3.1 用户访问行为模式挖掘 |
1.3.2 SparkMFPs算法 |
第四节 基于改进GRU异常检测算法相关基础 |
1.4.1 主成分分析方法 |
1.4.2 GRU神经网络模型 |
1.4.3 SVDD算法 |
第五节 本章小结 |
第二章 基于序列模式挖掘的异常检测 |
第一节 引言 |
第二节 基于序列模式挖掘的异常检测模型 |
2.2.1 基于序列模式挖掘的异常检测 |
2.2.2 基于改进的分布式最大频繁序列的提取算法 |
2.2.3 基于生物基因序列组合的最大频繁序列比对算法 |
第三节 实验设计与结果分析 |
2.3.1 实验数据集 |
2.3.2 实验步骤 |
2.3.3 实验分析 |
第四节 本章小结 |
第三章 基于改进GRU的异常检测 |
第一节 引言 |
第二节 基于改进GRU的异常检测算法 |
第三节 实验设计与结果分析 |
3.3.1 实验数据集 |
3.3.2 实验步骤 |
3.3.3 实验结果及分析 |
第四节 本章小结 |
第四章 基于网络用户行为异常检测系统设计与实现 |
第一节 引言 |
第二节 异常检测与告警模块概述 |
第三节 后台异常检测与告警模块设计与实现 |
第四节 前台主要功能实现 |
第五节 本章小结 |
第五章 结论 |
第一节 总结 |
第二节 展望 |
参考文献 |
攻读学位期间承担的科研任务与主要成果 |
致谢 |
个人简历 |
(10)商务网站行为分析系统的设计与实现(论文提纲范文)
摘要 |
Abstract |
第一章 绪论 |
1.1 研究背景 |
1.2 国内外研究现状 |
1.2.1 用户行为分析的研究现状 |
1.2.2 研究现状存在的问题 |
1.3 研究内容 |
1.4 论文组织结构 |
第二章 相关技术 |
2.1 Web数据挖掘 |
2.1.1 Web挖掘分类 |
2.1.2 Web日志挖掘 |
2.2 数据挖掘算法 |
2.3 用户行为分析方法 |
2.4 Hadoop |
2.5 Spark |
2.5.1 工作原理 |
2.5.2 Spark和 Hadoop的关系 |
2.6 word2vec |
2.7 LSTM |
2.8 MongoDB |
第三章 系统需求分析与架构 |
3.1 引言 |
3.2 需求分析 |
3.2.1 用户类型 |
3.2.2 功能性需求 |
3.2.3 非功能性需求 |
3.2.4 运行环境 |
3.3 架构设计 |
3.3.1 点击路径构造模块 |
3.3.2 转化率分析模块 |
3.3.3 信息结构评价模块 |
3.4 本章小结 |
第四章 系统设计与实现 |
4.1 引言 |
4.2 点击路径构造模块的设计与实现 |
4.2.1 Web日志格式解析 |
4.2.2 Web日志预处理 |
4.2.3 构造用户点击路径 |
4.2.4 基于Hadoop平台和Spark平台构造用户点击路径 |
4.3 转化率分析模块的设计与实现 |
4.3.1 转化率定义 |
4.3.2 分析流程设计 |
4.3.3 基于漏斗模型的转化率分析 |
4.3.4 基于AprioriSome算法的频繁路径挖掘 |
4.4 信息结构评价模块的设计与实现 |
4.4.1 方案设计 |
4.4.2 训练模型 |
4.4.3 部署模型 |
4.5 本章小结 |
第五章 系统测试及结果分析 |
5.1 引言 |
5.2 点击路径构造模块测试 |
5.3 转化率分析模块测试 |
5.3.1 转化率分析测试 |
5.3.2 频繁路径挖掘测试 |
5.4 信息结构评价模块测试 |
5.4.1 下一跳页面概率分布测试 |
5.4.2 不同时段的用户行为变化监控测试 |
5.5 本章小结 |
第六章 总结与展望 |
致谢 |
参考文献 |
四、基于Web日志的数据挖掘研究(论文参考文献)
- [1]数据流聚类算法在Web访问日志分析中的应用研究[D]. 张倩. 天津理工大学, 2021(08)
- [2]基于Web日志的并行化聚类算法研究及应用[D]. 王颖. 安徽理工大学, 2020(07)
- [3]基于大数据与机器学习的Web日志分析系统的设计与实现[D]. 苏星. 北京邮电大学, 2020(05)
- [4]基于主题搜索的校园用户行为挖掘系统的设计与实现[D]. 林玲. 北京邮电大学, 2020(05)
- [5]基于用户访问序列模式的Web性能测试模型研究与应用[D]. 刘澍. 西南大学, 2020(11)
- [6]基于ELK的WEB日志安全分析平台实现及分析[D]. 高伟伟. 兰州大学, 2020(01)
- [7]大数据背景下基于Web日志的用户访问模式挖掘研究[D]. 夏烈阳. 云南财经大学, 2019(01)
- [8]一种改进K-Means算法的Web日志挖掘技术的研究[D]. 陈洲. 江苏科技大学, 2019(09)
- [9]网络用户异常行为数据挖掘方法研究[D]. 陈雄. 福建师范大学, 2019(12)
- [10]商务网站行为分析系统的设计与实现[D]. 马成平. 东南大学, 2019(06)