一、多Agent系统的体系结构和协作研究(论文文献综述)
胡大鹏[1](2021)在《基于强化学习的多智能体协作建模方法研究》文中指出本文是以《中国制造2025》背景,以达到实现智能制造的要求为目标,通过融合工业场景和互联网技术,在全球化充满不确定的局面下提高中国制造业的竞争力。当前工业中智能制造面临资源难共享、过程难协调、依赖领域专家等普遍问题,本文基于Agent,多Agent系统和强化学习等相关技术,构建了面向工业的多Agent混合式智能控制模型,并对多Agent系统中的Agent协作能力、作业调度策略等关键问题进行研究,以实现工业生产过程智能控制。本文基于多Agent技术,将工业过程的工艺关键点、关键设备抽象成若干Agent,构建了一个三层结构的混合式多Agent智能模型。该模型基于JADE框架从而实现底层基础功能,此外通过一些接口实现基于状态表示学习的多Agent协作方法的智能模块及基于强化学习的多Agent系统作业调度方法的智能模块,从而满足工业需求。本文针对工业中Agent接触的环境复杂,以及Agent对重要特征感知能力差的问题,基于M3DDPG算法,提出了SRL_M3DDPG算法,在保留M3DDPG算法的强鲁棒性特点的同时提高设备Agent对重要特征的获取,从而使设备Agent的动作达到预期效果。改进的算法利用状态表示学习来帮助捕捉特征,通过深度神经网络来构造观测值和状态值的映射,然后M3DDPG中的Actor和Critic网络从新的神经网络中学习,而不是从最初的观察中学习,从而使Agent动作达到预期并且能够适应高维数据。本文针对多Agent系统中的作业调度问题,提出了一种将TS算法和Q-learning相结合的TS_Qlearning算法,该方法通过禁忌搜索算法的禁忌表存储算法的早期训练经验,来指导算法的早期训练。并且,TS_Qlearning算法优化了Q-learning算法解决调度问题中的策略,在保留了Q-learning算法的探索优势的基础上,在训练早期指导算法的训练,从而提高算法训练的质量,从而更好的优化资源配置。
杜乐[2](2020)在《基于多智能体的微电网电力市场交易策略研究》文中进行了进一步梳理随着电力市场改革的深入推进,电力行业垄断局面逐渐被打破,电力市场化也将成为一种必然趋势。新型电网即微电网凭借其清洁、少污染、低成本、可再生等优点开始被建立起来并得到迅速发展。微电网作为一种小型的电力系统,除了利用本地可用的可再生能源带来的环境效益外,由于分布式电源和负荷的物理距离短,微电网还可以减少传输和分配损失,近年来得到了广泛的应用和发展。以电力市场作为媒介,微电网之间可以在其搭建的电力市场平台中买卖电能,获得售电收益或满足购电需求,从而实现内部电能的合理流通。针对微电网竞价实时性、分布化、分层化等特点,多Agent系统具备自主性、合作性、群体性等特点,可以很好的应用于微电网电力市场中。针对微电网的电能产消问题,本文提出了一种基于多Agent的微电网双层电力市场交易方法,结合博弈论和滚动优化对微电网的电力市场交易和内部能量调度进行优化,并在JADE平台实现微电网的电力交易过程。论文取得的主要成果如下:建立了一个基于多智能体的双层微电网电力市场博弈模型,并结合JADE平台实现多微电网电力市场交易的仿真平台模拟;改进了电力市场出清价机制,降低了电价的波动,保证了电力市场的稳定性;设计了双层微电网的电力市场交易竞价优化模型,提高了微电网的内部能源利用率;结合滚动优化和机会约束模型,降低了微电网中不确定性变量带来的电能波动的影响。
李庭阁[3](2020)在《基于多Agent的生鲜农产品物流配送路线优化研究》文中研究说明随着经济飞速发展,人们对生鲜农产品的需求量剧增。但我国生鲜供应市场化时间短,物流相关设施的发展也在起步阶段,不能与其高速增加的市场需求相匹配。同时,生鲜农产品的配送具有时效性、高频次、小批量、需求点分布不均的特点,提升了配送路线的规划难度。所以,需要对原有的集中配送规划方法进行改革和创新。本文将多Agent技术引入生鲜农产品物流配送路线的优化,利用各Agent协作完成复杂的系统操作,可以辅助系统高效、敏捷、实时的运行,解决新时代生鲜农产品物流面对的新问题和新需求。本文主要内容如下:(1)通过分析了物流配送、生鲜农产品物流配送以及基于Agent的配送的国内外研究现状,提出结合多Agent技术解决生鲜农产品物流配送的主题。(2)结合了多Agent系统的特点,对传统生鲜农产品配送系统进行了调整和优化,设计了多Agent系统模型架构,分析了之间交互、协商的具体流程与细节,对各Agent内部结构详细概述,并构建了实际应用多Agent模型的扩展系统的架构。(3)对基于多Agent背景下生鲜农产品配送路线优化的数学模型和优化算法进行了设计,对结果进行分析并提出改进意见。首先构建静态需求下的优化模型,目标函数为配送总成本最低,利用改进的蚁群算法进行求解;其次构建需求变动的模型,目标函数为插入动态需求后造成的额外成本最低,利用插入算法求解。(4)选取京客隆配送中心和旗下门店为实例研究对象进行分析,得到最优的优化方案,为相关物流企业提供一定解决问题的思路。并对方案进行扩展分析,通过调整参数、增加配送需求点等验证模型和算法的适用性。图23幅,表21个,参考文献38篇。
李家维[4](2020)在《主动配电网分布式协调控制平台的搭建与应用》文中研究表明随着可再生能源发电技术的日益成熟,风、光等可再生能源发电分布式、大规模地并入配电网,同时储能、电动汽车、需求响应等主动负荷技术随之引入,使配电网由无源转向有源,由基本被动向主动方向转变,从而使其运行与控制面临着新的问题与挑战。伴随着分布式能源主动性的增强,主动配电网亟需智能化建设。量测、通信、网络技术的完备,使其形成了信息分散关联的格局,集中式的调控方式难以适应和满足主动配电网的需求。为充分发掘海量数据的价值与潜力,提高数据处理与利用的能力,主动配电网的调控理论与模式必须要走向分布式、协作式。为了充分发挥和体现主动配电网的“主动”能力,在大数据和互联网的时代背景下,研究构建主动配电网的分布式协调控制平台具有重要的意义与价值。本文在总结、分析国内外相关研究基础上,以多智能体系统为基本结构,针对主动配电网的分布式优化调度以及相关分布式平台的搭建与应用展开了较深入的研究与探索。具体研究成果与工作如下:(1)针对主动配电网分布式协调控制的需要,采用多智能体系统作为构建主动配电网分布式平台的软件形式,依据分布式软件平台的实现需求分析并且建立起主动配电网的分层分布式结构框架,明确了与其相适配的硬件基础。(2)阐述和分析了多智能体开发平台JADE的功能及特点,并且描述了以JADE平台作为多智能体系统构建的核心软件工具部署和开发适用于主动配电网的分布式协调控制平台的设计思路,然后利用JADE平台和其他软件一起构建了平台功能模块。从软件结构设计、软件模块部署和程序开发设计三方面阐述了平台构建的步骤,并完成了平台的软件构建流程的实现与验证。(3)提出了适应主动配电网的分布式离线优化和分布式在线优化的两层配合协调运行方案,并且将这两种功能作为高级应用阐述其在主动配电网分布式平台上的集成与实现。最终以某地实际配电网为测试算例系统,通过实际运行效果验证并展示了本文所构建的主动配电网分布式协调平台高级应用集成运行情况的有效性。
石子君[5](2020)在《基于多Agent的星群仿真系统研究》文中指出近年来,在轨卫星数量不断增加,卫星的智能水平也逐渐提升,多星协同任务规划问题成为卫星应用领域的研究重点。多星协同多用于解决多成像卫星观测任务调度问题,而在空间拦截中的应用研究较少。针对复杂环境下的空间攻防与对抗问题,采用多星协同攻击的方式,通过成员之间相互配合及资源共享使系统内实现动态分配,可提高任务完成质量,增加任务成功率,提高整体作战效能,并且减轻单颗拦截星的任务负荷。在多星攻击任务中,不但要对各个卫星进行姿轨控制等,而且要对卫星之间相对位置关系进行控制,以确保卫星编队稳定、可靠地工作。如果全依赖地面测控资源,很难满足星座中卫星姿态与位置调整以避免碰撞的实时性要求。因此,我们要引入新的技术,通过对卫星及其有效载荷的自治的、分布式星上管理,降低其对地面测控资源的依赖。Agent作为新一代的智能体,具有更好的灵活性,更适应于复杂系统中的协同及最优化等问题的求解。本文以多星攻防任务仿真问题为背景,设计研究了基于多Agent的星群仿真系统,并进行了相关的应用和分析试验。在设计实现的过程中,首先对Agent的定义及多Agent系统相关技术进行了全面研究,总结了多Agent系统的四种常用结构。在此基础上,根据星群仿真系统的具体功能需求,对系统的组织架构、功能模块等进行了设计及编程实现。最后,通过具体仿真任务对系统的功能和性能进行了测试验证。
范媛[6](2020)在《基于多Agent的智能仓储RMFS多任务调度研究》文中认为随着经济水平的日益提高和网络购物平台的快速发展,电商仓储中心每天要处理数以万计的订单,订单的交付响应速度是影响客户网络购物体验的重要因素。为提高订单交付响应速度,保障顾客良好的购物体验,在工业4.0的驱使下,仓储中心正朝着智慧化方向快速发展。拣选作业作为仓储中心的关键环节,“货到人”的拣选模式已成为各大电商仓储中心拣选作业的发展趋势。本文以典型的“货到人”拣选系统——智能仓储多机器人执行系统为研究对象,以提高订单拣选效率、降低系统作业代价、提升资源利用率为优化目标,提出基于多Agent的智能仓储多任务调度策略。具体的研究工作如下。(1)针对智能仓储机器人移动执行系统(Robotic Mobile Fulfillment Systems,RMFS)多任务调度问题,构建基于多Agent的多任务调度模型。首先,分析智能仓储RMFS的订单拣选作业流程和场景特征,建立了多任务调度指标;然后,基于Agent的建模方法,划分Agent的对应类别,构建多Agent调度模型整体框架。最后,详细设计每类Agent的变量、函数、结构和特征等自身属性,以及描述Agent执行的任务,建立基于Agent的多任务调度模型。(2)在Agent的调度模型基础上,针对多Agent间的协商问题,提出改进合同网协议机制。针对传统合同网协议机制存在的问题,分别改进Agent的投标和评标过程,在投标阶段引入任务缓冲池,在评标阶段引入可用度约束,以提高多Agent的协商效率和应用于多任务调度的适应性。基于改进的合同网协议机制,以提高订单拣选效率为目标,定义了关联Agent间的调度策略。(3)考虑智能仓储RMFS的高度动态特性,系统内外均存在多种异常事件带来的扰动。因此,针对异常事件扰动问题,提出异常事件扰动调整机制,以降低异常事件扰动对调度指标带来的影响。针对异常扰动事件的特征,采用模糊算法评估异常扰动等级。设计单Agent动态调整机制和多Agent协同调整机制。在此基础上,以紧急订单插入、订单临时撤销、拣选工作台故障以及AGV故障四种常见扰动为例,分析异常事件扰动调整机制的有效性。(4)采用eM-plant仿真软件,构建智能仓储RMFS仿真模型,开展仿真实验验证。设计仿真实验,验证了改进后的合同网协议机制算法比传统算法具有更高的计算效率和更强的鲁棒性;对比其他调度策略,本文的调度策略在提高系统资源的利用率、订单拣选效率以及减少系统作业代价方面具有优势性;对比平移法,验证了本文提出的异常事件扰动调整机制能够有效地减少扰动产生的影响。
宋星星[7](2019)在《JADE环境下基于多Agent微电网竞价系统研究》文中提出随着电力市场改革的深入推进,电力行业垄断局面开始被打破,电力市场化也将成为一种必然趋势。新型电网即微电网凭借其清洁、少污染、低成本、可再生等优点开始被建立起来并得到迅速发展。面对大量微电网的涌现,建立起微电网电力市场来解决微电网多余的发电量很有必要。由于微电网技术的逐步成熟,在满足其自身电能需求之外,未来必将参与电力市场竞价之中。考虑到微电网的固有特性,传统的电力市场竞价机制很难适应新的微电网电力市场。在这种背景下,多Agent系统凭借其自主性、交互性、分布广、相互协调等特性,能够更好地适应微电网电力市场的发展需求。本文针对微电网的竞价需求并结合多Agent技术和博弈论的相关知识,对微电网竞价系统进行了深入研究,并在JADE平台上实现了多Agent系统中微电网的竞价。首先,对多Agent技术进行系统性的深入研究,并对Agent原型展开一系列的分析与解读。随后介绍了微电网的基本概念和多Agent在微电网应用中的组织架构。其次,提出基于JADE的多Agent微电网竞价模拟系统,运用Agent技术构建分布式微电网竞价系统架构,对系统架构里的每个Agent进行分类部署对其功能模块进行详细阐述,建立多Agent之间的信息交互与通信机制。使得本系统具有相互协调相互交互的特性。作为对该系统的理论指导,本文引入了博弈论和不完全信息下的古诺模型作为应用理论基础建立模型。精心设计交易算法及竞价策略,并提出微电网竞价流程来分析说明了相应的算法在Agent中的可操作性。最后,在JADE平台上实现了多Agent之间的信息交互,以微电网为研究对象,通过JADE平台模拟了微电网多Agent报价仿真系统并验证了方法的可行性,系统采用面向对象的语言JAVA语言来完成相应博弈算法的实现。这一方法的实现有助于避免微电网竞价的随意性,有效地提高了微电网电力市场交易的经济效益。
万谦[8](2019)在《基于免模型强化学习的自适应Agent协作规划》文中认为面向智能体协作的自适应系统(Multi-Agent Collaboration System,MACS)的设计目的是使得Agent能够实时的响应环境的变化,有效的组织Agent共同完成自适应目标。其中Agent的规划和协作是Agent研究的两个重要方面,研究方法主要包括基于已知环境的逻辑推理和机器学习。基于已知环境的逻辑推理虽然考虑到了变化环境的动态规划问题,但是未知环境下的规划和协作问题却得不到解决。基于机器学习的方法虽然在未知环境下可以通过学习的方法来规划和协作,但是决策效率却没有基于逻辑推理的规划效率高。本文在Agent交互系统Jason和Ja Ca Mo的基础上,结合免模型强化学习机制,提出一种免模型强化学习的自适应Agent协作规划方法。针对ASL(Agent Speak Language)在未知和动态环境下的策略规划问题,首先提出了基于强化学习Q-learning算法来实现ASL模型中Agent的学习和规划。然后在基于Q-learning改进ASL决策最优规划的方法上,针对Ja Ca Mo中关于角色的任务最优分配问题,提出了基于广播机制的角色分配最优算法。最后运用Jason和Ja Ca Mo的改进模型在RCRSS(Robo Cup Rescue Simulation System)仿真场景进行了建模,比较了原模型与改进模型在RCRSS上的运行结果,验证了本论文提出方法的可行性和有效性。本文的研究具有以下创新点:第一,融合了ASL模型规则描述、逻辑推理和强化学习。针对ASL在未知环境下无法决策的问题,本文采取Q-learning算法来动态生成基于目标的最优动作序列,并将该序列用于逻辑推理,改进模型下的Agent既能适应未知环境的变化,执行任务的效率也高。第二,在Ja Ca Mo模型中,针对同角色内Agent的任务分配问题,提出在ASL中已经学习到的奖励值的基础上,对同角色类的Agent进行广播。因为每一个Agent存有其它Agent的奖励值,所以Agent在某一时刻可以选择执行任务的最优方式,整个系统的执行效率也能得到很大提高。
李志鹏[9](2019)在《基于多智能体强化学习的制造过程建模方法研究》文中指出伴随着新一代信息技术的热潮,新一轮工业革命正在兴起,世界各国政府纷纷出台政策推动本国制造企业转型升级,如德国的“工业4.0”。在“工业4.0”的背景下,我国出台了“中国制造2025”规划,助推我国制造企业向智能制造转变。针对制造企业制造资源难以共享、制造过程难以协调的问题,本文以流程工业制造过程为例,将多Agent技术和强化学习算法引入流程工业制造过程,以流程工业制造过程智能控制模型构建为基础,重点解决实际生产中的多Agent协作和协作过程中的动态任务分配等关键问题,推动制造企业的智能化发展。针对流程工业生产过程多环节难以协同的问题基于MAS技术,构建了一个集成多个生产单元的制造系统多Agent分布式层次智能控制模型。该模型将多个智能Agent模块和物理实体有机地结合在一起,形成了一个具有一定功能的智能控制系统。该模型由系统Agent、车间控制Agent和现场Agent等几部分组成。本文以多Agent协作和动态任务分配为研究重点。针对流程工业生产过程多Agent协作问题,在本文构建的分层分布式协同控制模型基础上,引入多Agent深度确定性策略梯度(简称MADDPG)算法,在MADDPG中,我们引入分布式异步优先批处理的思想,建立了基于改进的多Agent深度确定性策略梯度算法。为了检验算法的效果,我们使用OpenAI开源的多Agent环境,以该实验环境中的追捕-逃跑为例,对基于改进的MADDPG算法进行仿真实验,仿真结果表明,Agent通过改进的MADDPG算法进行训练,多个Agent为了获得更多奖励,能够相互配合,实现对目标Agent的围捕,并且改进后的算法的平均回合奖励高于之前的算法,实验结果表明了算法的有效性。针对流程工业生产过程多Agent系统生产任务分配问题,在分析流程工业生产任务调度问题的基础上,提出一种基于强化学习机制的遗传算法(QGA)用于多Agent生产任务调度。以某生产线加工某生产订单为例,通过基于遗传算法任务分配策略和基于QGA算法的任务分配策略的比较,验证了该算法的有效性。
张凯全[10](2019)在《基于信任模型的多Agent网络自适应调整机制研究》文中认为近年来,随着多Agent技术及分布式人工智能的不断发展,对Agent具有自主决策能力的要求也越来越高,将多Agent技术应用于处理分布式结构下复杂问题的决策成为了一个重要研究方向。多Agent系统(Multi-Agent Systems)的运行环境日益趋于大型、开放、动态和不确定,这时就需要应用各种智能技术来构建具有自适应能力的Agent。在MAS中,Agent间通过何种方式完成单个Agent难以完成的任务,是研究MAS的一个关键。同时,MAS通常用于处理多个复杂的任务,这些复杂任务是由若干个不同的子任务组成,这时就需要具有不同资源数量和资源类型的Agent协作共同完成任务,因此,如何提高任务完成的效率、缩短任务完成时间成为本文研究的重点。为此,本文提出了一种综合的MAS自适应机制,分别从任务分配和任务执行的角度展开对复杂任务决策问题的研究,主要工作如下:(1)针对现有的分布式MAS结构的缺点,本文首先对多Agent网络进行建模,采用了一种具有关系权重的连接模型,通过权重的大小来表征Agent间关系的强弱。考虑到Agent在交互过程中需要与其他Agent协作完成任务,并且每个Agent都希望能够找到最具有价值的合作伙伴,本文引入了一种基于社会网络观的信任模型,从信任获取的不同途径(直接信任和推荐信誉)对目标Agent的信任程度进行综合评估。最后利用多步Q强化学习算法让Agent学习如何调整Agent间的关系强度,从而优化了 Agent网络的结构。实验结果证明,本文提出的方法能够优化系统的收益并且减少了任务执行的时间。通过有无权重关系的对比,证明了权重关系对系统性能提升具有较大的作用。(2)当前,不可靠性是MAS的又一个新的问题,由于MAS中存在欺骗型Agent,其在交互过程中采取的欺骗行为(虚报、违约等)会对MAS的综合性能产生恶劣的影响。因此,为了提高MAS的综合性能,本文从任务完成的两个角度:任务分配和任务执行出发,提出了不可靠MAS下的任务分配机制和Agent分割机制。在任务分配方面采用半分布式的任务分配结构,使到达系统的任务通过合理的路径获取更可靠的资源:在任务执行方面根据Agent的任务执行情况,采用分割的方式调整Agent的状态,对系统中Agent的资源、网络连接及任务队列进行有效的划分,实现可靠资源的聚集效应。实验证明本文提出的方法提高了任务完成的效率,同时降低了任务合作的时间消耗。无线传感器网络(WSN)是集数据采集、处理和通信于一体的分布式自适应网络系统。WSN中的传感器节点能量有限,且新的传感器节点加入或现有的节点失效都会影响WSN的拓扑结构,因此需要WSN系统具有适应环境变化的能力。利用本文提出的面向任务分配的自适应调整机制并根据任务完成情况,调整传感器节点间的关系,从而优化WSN的拓扑结构。WSN本身的特性使其更容易受到各种欺骗攻击,利用本文提出的Agent分割方法能够有效对WSN中的节点进行欺骗攻击检测,进而提高WSN系统中的数据传输可靠性和任务完成效率。
二、多Agent系统的体系结构和协作研究(论文开题报告)
(1)论文研究背景及目的
此处内容要求:
首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。
写法范例:
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
(2)本文研究方法
调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。
实证研究法:依据现有的科学理论和实践的需要提出设计。
定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。
定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。
跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。
模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、多Agent系统的体系结构和协作研究(论文提纲范文)
(1)基于强化学习的多智能体协作建模方法研究(论文提纲范文)
摘要 |
ABSTRACT |
第1章 绪论 |
1.1 研究背景及意义 |
1.1.1 研究背景 |
1.1.2 研究目的及意义 |
1.2 国内外研究现状 |
1.2.1 多Agent系统的研究现状 |
1.2.2 强化学习的研究现状 |
1.2.3 多Agent强化学习的研究现状 |
1.3 本文研究内容 |
1.4 本文的技术路线 |
1.5 本文的创新点 |
1.6 全文的组织框架 |
第2章 相关理论介绍 |
2.1 智能制造 |
2.1.1 智能制造的背景 |
2.1.2 智能制造系统对控制模型的要求 |
2.2 Agent相关技术 |
2.2.1 Agent相关概念及特性 |
2.2.2 Agent体系及结构 |
2.2.3 多Agent系统概念 |
2.2.4 多Agent系统体系结构 |
2.3 强化学习与多Agent强化学习方法 |
2.3.1 强化学习 |
2.3.2 多Agent强化学习 |
2.4 本章小结 |
第3章 面向工业的多Agent混合式智能模型 |
3.1 多Agent建模的含义和优势 |
3.2 Agent之间的通信 |
3.2.1 ACL相关介绍 |
3.2.2 利用JADE平台实现ACL |
3.3 面向工业的多Agent混合式智能模型 |
3.3.1 多Agent混合式智能模型的构建 |
3.3.2 多Agent混合式智能模型中各模块功能及主要Agent的结构 |
3.3.3 在JADE平台上构建多Agent混合式智能模型 |
3.4 本章小结 |
第4章 基于状态表示学习的多Agent协作算法 |
4.1 研究背景 |
4.2 MADDPG算法概述 |
4.3 M3DDPG算法概述 |
4.4 SRL_M3DDPG算法概述 |
4.4.1 状态表示学习 |
4.4.2 SRL_M3DDPG算法 |
4.5 仿真实验 |
4.6 本章小结 |
第5章 基于TS_Qlearning的多Agent作业调度 |
5.1 研究背景 |
5.2 作业调度问题描述 |
5.3 强化学习求解作业调度问题 |
5.3.1 调度问题中的强化学习 |
5.3.2 Q-learning算法 |
5.3.3 TS_Qlearning算法 |
5.4 仿真实验 |
5.5 本章小结 |
第6章 总结与展望 |
6.1 总结 |
6.2 展望 |
参考文献 |
致谢 |
在校期间主要研究成果 |
一、发表学术论文 |
二、其他科研成果 |
(2)基于多智能体的微电网电力市场交易策略研究(论文提纲范文)
摘要 |
abstract |
第一章 绪论 |
1.1 课题研究背景与意义 |
1.1.1 研究背景 |
1.1.2 研究意义 |
1.2 课题研究现状 |
1.2.1 多Agent系统的国内外研究动态 |
1.2.2 微电网电力市场交易研究现状 |
1.3 本文工作内容及结构安排 |
第二章 Agent与多Agent系统 |
2.1 Agent理论概述 |
2.1.1 Agent的概念与特征 |
2.1.2 Agent的体系结构 |
2.2 多Agent系统的概述 |
2.2.1 多Agent系统的概念及特征 |
2.2.2 多Agent系统的结构 |
2.3 多Agent系统的通信 |
2.3.1 多Agent的通讯概述 |
2.3.2 多Agent的通讯语言 |
2.3.3 多Agent的消息传输机制 |
2.4 多Agent系统的协作机制 |
2.4.1 组织结构协调 |
2.4.2 基于合同网的协调机制 |
2.4.3 黑板模式机制 |
2.4.4 基于中介网的协作模式 |
2.5 本章小结 |
第三章 基于MAS的多微电网电力市场系统设计 |
3.1 系统设计需求分析 |
3.2 基于MAS的多微电网电力交易结构设计 |
3.2.1 微电网竞价系统设计 |
3.2.2 基于MAS的多微电网交易框架 |
3.3 基于MAS的多微电网通信与协商分析 |
3.3.1 多Agent系统交互过程 |
3.3.2 多Agent系统竞标协作流程 |
3.3.3 多Agent系统通信机制设计 |
3.4 JADE平台设计多智能体系统 |
3.4.1 JADE平台简介 |
3.4.2 Agent的设计与执行 |
3.4.3 ACL消息设计 |
3.5 本章小结 |
第四章 基于博弈论的微电网日前电力市场交易研究 |
4.1 博弈论理论研究 |
4.1.1 博弈论概念和要素 |
4.1.2 博弈的相关分类 |
4.2 微电网电力市场交易建模分析 |
4.2.1 模型假设 |
4.2.2 不确定性变量处理 |
4.3 微电网双层电力市场交易模型 |
4.3.1 改进的电力市场出清价机制 |
4.3.2 微电网日前电力市场交易模型 |
4.3.3 微电网实时市场滚动优化模型 |
4.4 基于博弈论的模型求解 |
4.5 本章小结 |
第五章 实验仿真与平台搭建 |
5.1 仿真案例 |
5.2 仿真结果分析 |
5.2.1 改进出清价方案对微电网经济性分析 |
5.2.2 微电网日前双层优化策略结果 |
5.2.3 实时滚动优化结果 |
5.3 JADE平台实现效果 |
5.3.1 jade平台启动 |
5.3.2 参数设置界面 |
5.3.3 竞标结果显示 |
5.4 本章小结 |
第六章 总结与展望 |
参考文献 |
附录1 攻读硕士学位期间撰写的论文 |
附录2 攻读硕士学位期间申请的专利 |
附录3 攻读硕士学位期间参加的科研项目 |
致谢 |
(3)基于多Agent的生鲜农产品物流配送路线优化研究(论文提纲范文)
致谢 |
摘要 |
ABSTRACT |
1 绪论 |
1.1 选题背景及研究意义 |
1.1.1 选题背景 |
1.1.2 研究意义 |
1.2 国内外研究现状 |
1.2.1 国外研究现状 |
1.2.2 国内研究现状 |
1.3 论文研究内容与技术路线 |
1.3.1 研究内容 |
1.3.2 技术路线 |
1.4 本章小结 |
2 相关概念与基础理论研究 |
2.1 生鲜农产品配送相关理论 |
2.1.1 生鲜农产品配送概述 |
2.1.2 生鲜农产品配送特点 |
2.2 配送路线优化相关理论 |
2.2.1 配送路线优化基本概述 |
2.2.2 配送路线优化问题的求解方法 |
2.3 AGENT相关理论 |
2.3.1 Agent的定义与特性 |
2.3.2 Agent的结构与原理 |
2.3.3 多Agent系统理论 |
2.4 本章小结 |
3 基于多AGENT的生鲜农产品配送系统模型 |
3.1 多AGENT结构模型设计 |
3.2 AGENT内部结构设计 |
3.3 系统扩展方案 |
3.4 本章小结 |
4 基于多AGENT的路径优化模型构建及算法研究 |
4.1 问题描述 |
4.2 静态需求下的模型构建 |
4.2.1 模型假设 |
4.2.2 模型参数 |
4.2.3 目标函数与约束条件 |
4.3 动态需求下的模型构建 |
4.4 算法设计 |
4.4.1 蚁群算法 |
4.4.2 插入算法 |
4.5 本章小结 |
5 实例分析 |
5.1 实例背景 |
5.2 模型基本数据信息收集与整理 |
5.2.1 配送中心与配送需求点位置 |
5.2.2 便利店需求量与配送时间 |
5.2.3 模型参数取值 |
5.3 算例求解结果与分析 |
5.3.1 静态需求下的求解结果 |
5.3.2 需求变动后的求解结果 |
5.4 结果扩展 |
5.4.1 调整算法参数 |
5.4.2 增加配送需求点 |
5.5 本章小结 |
6 总结与展望 |
6.1 总结 |
6.2 展望 |
参考文献 |
作者简历及攻读硕士/博士学位期间取得的研究成果 |
学位论文数据集 |
(4)主动配电网分布式协调控制平台的搭建与应用(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 课题研究背景与意义 |
1.1.1 研究背景 |
1.1.2 研究意义 |
1.2 国内外研究概述 |
1.2.1 主动配电网调控理论研究现状 |
1.2.2 主动配电网调控平台研究现状 |
1.3 本文工作和章节安排 |
第二章 基于MAS的主动配电网分布式协调控制平台硬件基础 |
2.1 Agent与多Agent系统概述 |
2.1.1 Agent与多Agent系统基本概念 |
2.1.2 多Agent系统的结构体系 |
2.1.3 多Agent系统的通信方式 |
2.1.4 多Agent系统的协作方式 |
2.2 基于MAS的主动配电网分层分布式架构设计 |
2.2.1 分层分布式能量管理架构 |
2.2.2 控制区域划分 |
2.2.3 分层分区优化控制框架 |
2.3 适应MAS的主动配电网分层分区协调优化控制系统物理架构 |
2.3.1 构建通信系统的硬件设备 |
2.3.2 适应MAS的分层数据传输网络架构 |
2.3.3 分布式平台的工作环境与工作条件 |
2.4 本章小结 |
第三章 基于JADE的主动配电网分布式协调控制平台软件开发 |
3.1 JADE平台简介 |
3.2 基于JADE的主动配电网分布式协调控制平台设计 |
3.2.1 单一设备上的MAS结构建模设计 |
3.2.2 代理Agent分类与设计 |
3.2.3 体系内Agent之间的通信机制 |
3.3 主动配电网分布式协调控制平台的软件部署 |
3.3.1 数据库构建部署 |
3.3.2 含冗余容器的JADE平台部署 |
3.3.3 平台软件启动运行流程 |
3.4 本章小结 |
第四章 基于JADE平台的应用功能实现 |
4.1 平台实际配置 |
4.2 基于JADE的主动配电网离线分布式优化调度 |
4.2.1 基于ADMM算法的分布式求解基本原理 |
4.2.2 基于MAS实现的分布式协调优化 |
4.2.3 基于JADE设计实现的协调通信行为 |
4.2.4 算例仿真 |
4.3 基于JADE实现的主动配电网分布式在线优化 |
4.3.1 在线优化计算原理 |
4.3.2 基于MAS的分布式在线计算功能实现 |
4.3.3 算例仿真 |
4.4 本章小结 |
第五章 总结与展望 |
5.1 本文工作总结 |
5.2 后续研究展望 |
参考文献 |
致谢 |
攻读硕士学位期间所发表的论文及参与的项目 |
学位论文评阅及答辩情况表 |
(5)基于多Agent的星群仿真系统研究(论文提纲范文)
摘要 |
ABSTRACT |
第1章 绪论 |
1.1 课题背景来源 |
1.2 课题目的与意义 |
1.3 国内外研究现状 |
1.3.1 Agent系统及在航空航天中的应用现状 |
1.3.2 多星对抗仿真研究现状 |
1.4 论文组织结构 |
第2章 基于多AGENT的星群仿真系统设计 |
2.1 多AGENT系统设计思想 |
2.2 星群仿真系统方案与设计研究 |
2.2.1 仿真系统设计思想 |
2.2.2 卫星Agent结构分析 |
2.2.3 仿真系统框架级设计 |
2.2.4 仿真系统模块级设计 |
2.3 本章小结 |
第3章 星群仿真系统的实现 |
3.1 系统整体框架实现 |
3.2 卫星轨道与姿态动力学建模 |
3.2.1 轨道动力学建模 |
3.2.2 姿态动力学建模 |
3.3 交会轨迹规划与控制方案设计和实现 |
3.4 态势及视景显示功能实现 |
3.4.1 平面态势显示过程实现 |
3.4.2 三维视景显示过程实现 |
3.5 本章小结 |
第4章 主星-目标星感知与交会过程仿真算例 |
4.1 单主星单目标星仿真工况 |
4.1.1 工况参数设计 |
4.1.2 仿真计算结果 |
4.1.3 系统运行状态 |
4.2 三主星三目标仿真工况 |
4.2.1 工况参数设计 |
4.2.2 仿真计算结果 |
4.2.3 系统运行状态 |
4.3 本章小结 |
结论 |
参考文献 |
致谢 |
(6)基于多Agent的智能仓储RMFS多任务调度研究(论文提纲范文)
摘要 |
Abstract |
第1章 绪论 |
1.1 课题来源 |
1.2 研究背景与意义 |
1.2.1 研究背景 |
1.2.2 研究意义 |
1.3 国内外研究现状 |
1.3.1 智能仓储RMFS订单拣选研究现状 |
1.3.2 多Agent任务调度研究现状 |
1.3.3 异常事件扰动研究现状 |
1.3.4 研究现状问题总结 |
1.4 研究内容与方法 |
1.4.1 本文研究内容 |
1.4.2 本文方法与结构 |
第2章 基于Agent的 RMFS多任务调度模型 |
2.1 多Agent理论概念及适应性分析 |
2.1.1 多Agent系统的基本结构及适应性分析 |
2.1.2 Agent的建模方法 |
2.2 智能仓储RMFS作业分析 |
2.2.1 智能仓储RMFS结构布局和作业流程 |
2.2.2 系统作业过程特征描述及基本假设 |
2.2.3 智能仓储RMFS多任务调度指标 |
2.3 基于多Agent的 RMFS调度模型 |
2.3.1 系统结构与Agent类别划分 |
2.3.2 Agent个体模型构建 |
2.3.2.1 订单管理Agent结构模型 |
2.3.2.2 数据管理Agent结构模型 |
2.3.2.3 拣选工作台Agent结构模型 |
2.3.2.4 货架Agent结构模型 |
2.3.2.5 AGV Agent结构模型 |
2.4 总结 |
第3章 基于改进合同网的多Agent调度策略 |
3.1 引言 |
3.2 传统合同网协议机制 |
3.2.1 传统合同网协议机制流程 |
3.2.2 传统合同网协议机制存在的问题 |
3.3 改进合同网协议机制 |
3.3.1 引入任务缓冲池投标策略改进方案 |
3.3.2 考虑可用度的中标评价策略改进方案 |
3.3.3 改进合同网协议机制方案 |
3.4 基于改进合同网的多任务调度策略 |
3.4.1 订单-拣选工作台间的调度策略 |
3.4.2 拣选工作台-货架间的调度策略 |
3.4.2.1 空闲货架的标书制定策略 |
3.4.2.2 忙碌货架的标书制定策略 |
3.4.3 AGV-货架间的多任务调度策略 |
3.4.3.1 基于改进遗传算法的任务分组策略 |
3.4.3.2 AGV Agent调度策略 |
3.5 本章小结 |
第4章 异常事件扰动动态调整机制 |
4.1 引言 |
4.2 仓储RMFS异常事件特征 |
4.2.1 系统异常事件来源与分类 |
4.2.2 系统异常扰动等级评估 |
4.3 异常事件扰动的应对调整策略 |
4.3.1 Agent实时调整策略 |
4.3.2 多Agent协同调整策略 |
4.3.3 算例研究 |
4.4 本章小结 |
第5章 仿真分析 |
5.1 引言 |
5.2 仿真平台搭建及案例数据 |
5.3 仿真结果分析 |
5.4 本章小结 |
第6章 总结与展望 |
6.1 总结 |
6.2 展望 |
致谢 |
参考文献 |
攻读硕士学位期间发表的论文和参与的科研项目 |
(7)JADE环境下基于多Agent微电网竞价系统研究(论文提纲范文)
摘要 |
abstract |
第一章 绪论 |
1.1 课题研究的背景及意义 |
1.1.1 课题研究的背景 |
1.1.2 研究目的和意义 |
1.2 国内外相关领域研究现状 |
1.3 本文的主要工作及章节安排 |
第二章 Agent与多Agent系统的概述 |
2.1 Agent理论概述 |
2.1.1 Agent的概念与特性 |
2.1.2 Agent的结构体系 |
2.2 多Agent系统的概述 |
2.2.1 多Agent系统的概念与行为方式 |
2.2.2 多Agent系统体系结构模式 |
2.3 多Agent的通信 |
2.3.1 多Agent通信概述 |
2.3.2 多Agent通信语言 |
2.3.3 多Agent消息传输机制 |
2.4 多Agent的协调策略研究 |
2.4.1 多Agent协调分类 |
2.4.2 多Agent协调方法 |
2.5 本章小结 |
第三章 微电网中多Agent竞价系统设计 |
3.1 微电网的概念 |
3.1.1 微电网的定义及结构 |
3.1.2 MAS在微电网应用中的组织架构 |
3.2 基于多Agent的微电网竞价体系结构 |
3.2.1 系统要求 |
3.2.2 竞价系统分层结构设计 |
3.2.3 多Agent系统服务器架构 |
3.3 微电网中Agent内部竞价协作机制 |
3.3.1 各Agent之间的协作关系 |
3.3.2 多Agent通信机制设计 |
3.4 本章小结 |
第四章 基于博弈论的微电网竞价优化策略 |
4.1 博弈论 |
4.1.1 博弈论相关概念 |
4.1.2 古诺模型 |
4.2 基于博弈论的微电网竞价系统数学模型 |
4.2.1 模型的前提条件假设 |
4.2.2 微电网竞价系统博弈模型 |
4.3 基于博弈论各Agent竞价流程 |
4.3.1 各Agent中的实现利润及出力 |
4.3.2 微电网Agent报价与提交发电量的计算 |
4.4 本章小结 |
第五章 基于JADE平台的微电网多Agent竞价系统仿真 |
5.1 JADE平台的介绍 |
5.1.1 JADE的基本概念 |
5.1.2 JADE的体系结构 |
5.1.3 JADE内部包 |
5.1.4 JADE中的Agent |
5.1.5 JADE中 Agent行为执行 |
5.1.6 JADE平台内部的通信 |
5.2 JADE中 Agent仿真系统实现 |
5.2.1 Agent管理平台的启动 |
5.2.2 Agent系统报价过程 |
5.3 竞价结果 |
5.4 本章小结 |
第六章 总结与展望 |
参考文献 |
附录1 攻读硕士学位期间撰写的论文 |
附录2 攻读硕士学位期间申请的专利 |
致谢 |
(8)基于免模型强化学习的自适应Agent协作规划(论文提纲范文)
摘要 |
Abstract |
第1章 绪论 |
1.1 研究背景及意义 |
1.2 研究现状 |
1.2.1 单Agent系统规划 |
1.2.2 多Agent系统协作 |
1.3 论文组织结构 |
第2章 相关概念及技术 |
2.1 BDI Agent模型 |
2.2 过程推理系统PRS |
2.3 逻辑编程语言Prolog |
2.4 强化学习和Q-learning |
2.5 基于社会角色的多Agent协作 |
2.6 小结 |
第3章 不确定环境下ASL最优策略规划 |
3.1 ASL模型 |
3.1.1 ASL模型的结构描述 |
3.1.2 ASL模型的规划算法 |
3.2 基于ASL模型的规划算法的改进 |
3.3 基于RCRSS平台救援场景的建模方法验证 |
3.3.1 救援场景描述 |
3.3.2 救援场景的ASL建模 |
3.4 小结 |
第4章 基于Ja Ca Mo模型的角色分配任务最优规划 |
4.1 Ja Ca Mo模型 |
4.2 基于广播机制的角色分配任务算法 |
4.3 基于RCRSS平台的多Agent协作建模方法验证 |
4.3.1 协作救火场景描述 |
4.3.2 协作救火场景的Ja Ca Mo建模 |
4.4 小结 |
第5章 实验设计与结果分析 |
5.1 机器人救援仿真系统RCRSS |
5.1.1 RCRSS的构成 |
5.1.2 RCRSS的执行过程 |
5.1.3 仿真环境介绍 |
5.2 实验结果分析 |
5.2.1 ASL最优策略算法的实验设计与分析 |
5.2.2 角色分配任务最优算法实验设计与分析 |
5.3 小结 |
第6章 总结与展望 |
参考文献 |
攻读硕士期间已发表的论文 |
致谢 |
(9)基于多智能体强化学习的制造过程建模方法研究(论文提纲范文)
摘要 |
ABSTRACT |
第1章 绪论 |
1.1 研究背景和意义 |
1.1.1 研究背景 |
1.1.2 研究目的和意义 |
1.2 国内外的研究现状 |
1.2.1 多Agent技术研究的主要内容 |
1.2.2 多智能体系统在流程工业制造过程建模的研究 |
1.3 本文的研究内容 |
1.4 本文的技术路线 |
1.5 本文的创新点 |
1.6 全文的组织架构 |
第2章 制造过程建模和多Agent系统相关介绍 |
2.1 智能制造和制造过程建模 |
2.1.1 智能制造 |
2.1.2 制造过程控制模型需求 |
2.1.3 制造过程控制模型现状 |
2.2 Agent相关技术 |
2.2.1 Agent的定义和特性 |
2.2.2 Agent的结构 |
2.3 多Agent系统 |
2.4 本章小结 |
第3章 制造企业多Agent分布式层次智能控制模型 |
3.1 多Agent建模思想 |
3.2 多Agent系统体系结构 |
3.3 多Agent分布式层次智能控制模型设计 |
3.3.1 制造过程多Agent模型构建 |
3.3.2 多Agent分布式层次智能控制模型中各子Agent结构和功能 |
3.4 本章小结 |
第4章 基于分布式异步优先批处理的多Agent协作算法 |
4.1 多Agent强化学习算法概述 |
4.2 MADDPG算法概述 |
4.3 基于DS_MADDPG算法的多设备Agent合作 |
4.4 仿真实验 |
4.5 本章小结 |
第5章 基于QGA的多Agent任务调度 |
5.1 制造过程任务调度问题描述 |
5.2 制造过程任务调度问题数学模型 |
5.3 遗传算法 |
5.3.1 遗传算法原理 |
5.3.2 编码和解码操作 |
5.3.3 遗传算子 |
5.3.4 适应度函数 |
5.4 Q-Learning算法 |
5.5 QGA算法 |
5.6 基于QGA算法的任务调度 |
5.6.1 多Agent分布式层次智能控制模型任务调度策略描述 |
5.6.2 仿真实验 |
5.7 本章小结 |
第6章 总结与展望 |
6.1 总结 |
6.2 展望 |
参考文献 |
致谢 |
在校期间主要科研成果 |
一、发表学术论文 |
二、其他科研成果 |
(10)基于信任模型的多Agent网络自适应调整机制研究(论文提纲范文)
摘要 |
Abstract |
第一章 绪论 |
1.1 课题的研究背景及意义 |
1.1.1 课题研究背景 |
1.1.2 课题研究意义 |
1.2 国内外研究现状 |
1.2.1 Agent和多Agent系统技术研究现状 |
1.2.2 强化学习研究现状 |
1.3 论文主要工作及结构内容安排 |
1.3.1 论文主要工作 |
1.3.2 论文各章节内容安排 |
第二章 多Agent强化学习及信任模型基础理论 |
2.1 强化学习与马尔可夫决策论 |
2.1.1 强化学习基本概念 |
2.1.2 马尔可夫决策论 |
2.1.3 强化学习基本模型 |
2.2 强化学习算法 |
2.2.1 蒙特.卡洛算法 |
2.2.2 时间差分法 |
2.2.3 Q-Learning算法 |
2.3 Agent和多Agent理论 |
2.3.1 Agent的概念 |
2.3.2 Agent的结构类型 |
2.3.3 多Agent系统理论 |
2.4 多Agent信任关系模型 |
2.4.1 信任和信誉模型 |
2.4.2 社会网络观 |
2.5 本章小结 |
第三章 基于信任模型的自适应调整机制 |
3.1 引言 |
3.2 多Agent系统模型 |
3.2.1 多Agent系统问题描述 |
3.2.2 多Agent系统建模 |
3.3 多步Q强化学习算法 |
3.3.1 Q(λ)学习算法 |
3.3.2 多步Q学习算法 |
3.4 综合的自适应机制设计 |
3.4.1 候选Agent选取 |
3.4.1.1 信誉模型 |
3.4.1.2 直接信任值 |
3.4.1.3 推荐信誉值 |
3.4.1.4 综合信誉值 |
3.4.2 多Agent关系调整 |
3.5 对比实验及结果分析 |
3.5.1 实验步骤 |
3.5.2 实验设定 |
3.5.3 结果与分析 |
3.6 自适应机制在无线传感器网络中的应用 |
3.7 本章小结 |
第四章 不可靠多Agent系统中自适应调整机制 |
4.1 引言 |
4.2 不可靠多Agent系统建模与优化目标 |
4.2.1 系统建模 |
4.2.2 系统优化目标 |
4.3 自适应任务分配策略 |
4.3.1 资源信誉度 |
4.3.2 任务分配机制 |
4.4 自适应任务执行策略 |
4.4.1 Agent分割描述 |
4.4.2 可靠性评估与决策条件 |
4.4.3 Agent分割实现算法 |
4.5 对比实验及结果分析 |
4.5.1 实验设置 |
4.5.2 实验结果与分析 |
4.6 自适应无线传感器网络欺骗攻击检测应用 |
4.7 本章小结 |
第五章 总结展望 |
5.1 论文工作总结 |
5.2 展望 |
参考文献 |
致谢 |
研究生期间发表论文及参加项目情况 |
四、多Agent系统的体系结构和协作研究(论文参考文献)
- [1]基于强化学习的多智能体协作建模方法研究[D]. 胡大鹏. 齐鲁工业大学, 2021(10)
- [2]基于多智能体的微电网电力市场交易策略研究[D]. 杜乐. 南京邮电大学, 2020(03)
- [3]基于多Agent的生鲜农产品物流配送路线优化研究[D]. 李庭阁. 北京交通大学, 2020(03)
- [4]主动配电网分布式协调控制平台的搭建与应用[D]. 李家维. 山东大学, 2020(11)
- [5]基于多Agent的星群仿真系统研究[D]. 石子君. 哈尔滨工业大学, 2020(02)
- [6]基于多Agent的智能仓储RMFS多任务调度研究[D]. 范媛. 武汉理工大学, 2020(08)
- [7]JADE环境下基于多Agent微电网竞价系统研究[D]. 宋星星. 南京邮电大学, 2019(03)
- [8]基于免模型强化学习的自适应Agent协作规划[D]. 万谦. 武汉工程大学, 2019(03)
- [9]基于多智能体强化学习的制造过程建模方法研究[D]. 李志鹏. 齐鲁工业大学, 2019(09)
- [10]基于信任模型的多Agent网络自适应调整机制研究[D]. 张凯全. 扬州大学, 2019(02)