news 2026/6/12 4:01:36

【强化学习】基于强化学习的多无人机移动边缘计算与路径规划研究(Matlab代码实现)

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
【强化学习】基于强化学习的多无人机移动边缘计算与路径规划研究(Matlab代码实现)

💥💥💞💞欢迎来到本博客❤️❤️💥💥

🏆博主优势:🌞🌞🌞博客内容尽量做到思维缜密,逻辑清晰,为了方便读者。

🎁完整资源、论文复现、期刊合作、论文辅导及科研仿真定制事宜点击:

👉👉👉本文完整资源下载

⛳️座右铭:行百里者,半于九十。

⛳️赠与读者

👨‍💻做科研,涉及到一个深在的思想系统,需要科研者逻辑缜密,踏实认真,但是不能只是努力,很多时候借力比努力更重要,然后还要有仰望星空的创新点和启发点。建议读者按目录次序逐一浏览,免得骤然跌入幽暗的迷宫找不到来时的路,它不足为你揭示全部问题的答案,但若能解答你胸中升起的一朵朵疑云,也未尝不会酿成晚霞斑斓的别一番景致,万一它给你带来了一场精神世界的苦雨,那就借机洗刷一下原来存放在那儿的“躺平”上的尘埃吧。

或许,雨过云收,神驰的天地更清朗.......🔎🔎🔎

💥第一部分——内容介绍

基于强化学习的多无人机移动边缘计算与路径规划研究

1 研究基础与场景建模

1.1 整体场景概述

在空地一体化移动边缘计算场景中,无人机凭借机动灵活、部署便捷、覆盖范围广的优势,可作为移动边缘服务节点,搭载算力设备对地面分布式终端用户的计算任务进行实时卸载与就近处理,有效解决传统地面固定边缘基站覆盖盲区大、部署成本高、应急响应能力弱的问题。然而在复杂野外、陌生城市、动态干扰环境下,多无人机协同作业面临飞行障碍物规避、动态环境自适应、终端服务优先级差异化、多机无冲突协同等多重约束。传统路径规划方法大多仅聚焦最短飞行距离或单一避障目标,难以兼顾边缘计算服务质量、飞行安全性与多机协同均衡性,无法适配多约束、多目标、动态变化的无人机边缘计算作业场景。

针对上述问题,本文构建融合环境风险约束、终端业务需求、机载感知局限的精细化仿真模型,将多无人机安全飞行、边缘算力调度、动态路径重规划问题进行统一建模,并基于强化学习价值迭代思想构建两阶段智能决策框架,实现多无人机全局最优路径规划与边缘计算服务协同优化。

1.2 动静融合的障碍物风险场建模

为突破传统栅格障碍建模离散化、生硬化、无法量化危险程度的缺陷,本文采用连续风险场建模方式对作业环境障碍物进行精细化表征。在标准化仿真地图中均匀布设10处静态障碍物,模拟野外建筑、山体、固定设施等刚性遮挡与危险区域。单处障碍物的危险影响具备典型的近高远低、中心强边缘弱的辐射衰减特征,与高斯分布的空间衰减特性高度契合,因此本文采用高斯隶属函数描述障碍物的空间风险影响规律。

全域地图内任意网格位置的综合风险值由所有静态障碍物的风险分量叠加得到,最终形成连续、平滑、可量化的全域风险地图。该地图的风险数值可精准表征任意飞行点位的危险等级,数值越高代表该位置碰撞概率越高、飞行安全性越低,为后续路径规划的安全约束提供量化依据。

针对多无人机协同作业的动态冲突问题,本文创新性地将作业空域内的其他无人机纳入动态障碍物范畴,实现静态障碍与动态飞行器的一体化风险建模。在仿真运行过程中,系统实时同步每架无人机的空间位置,动态更新全域风险场分布。当多机飞行间距过近、存在交叉航线或相向运动时,局部区域风险值自动升高,驱动规划算法主动规避,无需额外设计复杂的碰撞检测与避障规则,实现多无人机自主、隐式、自适应的防碰撞协同,高度贴合真实空域飞行约束。

1.3 基于边际收益递减的终端用户需求建模

地面终端用户是无人机边缘计算服务的核心服务对象,不同终端的任务算力需求、紧急程度、服务收益存在显著差异。传统研究多采用线性需求建模方式,即服务收益与任务处理量呈简单正比关系,无法真实反映边缘计算业务的实际收益特征。在真实工程场景中,终端计算任务的服务收益具备显著的边际递减特性:高负载终端在服务初期,少量算力资源的投入即可大幅缓解任务积压、降低处理时延,服务增益极为显著;随着任务不断被处理,剩余需求逐步降低,同等算力投入带来的服务提升效果持续减弱。

为精准刻画该业务特性,本文引入Sigmoid非线性变换机制对终端原始需求进行重构,实现任务需求的非线性量化表征。该建模方式能够有效区分高需求终端与低需求终端的服务优先级,让智能算法在路径决策中优先倾斜资源、主动绕行服务高负载终端,最大化整体边缘计算服务收益,使无人机路径规划不再局限于几何路径最优,而是实现“路径代价-服务收益”的业务最优匹配。

1.4 贴合物理约束的无人机局部感知建模

现有多数无人机路径规划仿真研究默认无人机具备全局环境感知能力,可实时获取全域障碍物、终端与协同飞行器的状态信息,与真实无人机的机载传感器工作机制严重不符。真实无人机受视觉相机、激光雷达、毫米波雷达的探测距离与视场角限制,仅能获取局部空域的环境信息,存在感知范围有限、信息滞后、局部未知的特性。

为还原真实飞行感知约束,本文为每架无人机设置固定的圆形感知观测区域,默认感知半径为0.2。无人机仅能实时获取感知范围内的障碍物风险、终端需求、邻机位置信息,对感知范围外的环境状态无法预判。在飞行过程中,若无人机探测到感知范围内新增障碍物、临近无人机或高优先级终端,系统将立即触发局部路径重规划机制,基于最新的局部环境状态更新决策行为。该建模方式充分模拟了无人机“局部感知、动态响应、实时重规划”的真实作业逻辑,大幅提升了算法在实际工程场景的可迁移性与落地价值。

2 多目标加权代价函数设计

多无人机边缘计算路径规划是典型的多目标优化问题,需要同时平衡飞行安全性、边缘计算服务质量与飞行能耗效率。单一目标优化极易出现局部最优问题,例如仅追求路径最短会导致无人机穿越高风险区域、规避高需求终端;仅追求绝对安全会造成大范围绕行、能耗激增、服务效率低下。为此,本文构建融合安全代价、服务代价、距离代价的加权综合代价函数,将多目标优化问题转化为可迭代求解的单一代价最小化问题。

本文设计的综合代价体系包含三项核心约束维度,分别对应无人机作业的三大核心指标:飞行安全、任务服务、运动能耗。第一项为路径累积风险积分代价,通过风险权重系数K调节算法的安全偏好,权重取值越大,规划策略对高风险区域的惩罚力度越高,无人机越倾向于远距离绕行障碍物,优先保障飞行安全性。第二项为终端服务需求代价,通过服务权重系数M调控服务优先级,该权重提升后,算法会适度容忍飞行距离增加,优先途经高需求终端完成算力卸载,提升整体边缘计算服务覆盖率与服务收益。第三项为欧式距离基础代价,用于约束无效绕行行为,避免无人机为过度避障或过度服务产生无意义的长距离飞行,有效控制飞行能耗与任务完成时长。

三项代价维度相互制约、相互平衡,通过加权耦合形成完整的决策评价体系。通过调整核心权重参数可灵活切换算法优化导向,适配安全优先、服务优先、能耗均衡等差异化作业场景,具备极强的场景适配性与可调性。本文基准实验固定风险系数与服务需求系数,构建标准化对比场景,保证实验结果的客观性与可比性。

3 基于价值迭代强化学习的两阶段规划算法

3.1 算法核心思路

传统路径规划算法在动态多约束、多目标场景下存在求解速度慢、易陷入局部最优、多机协同性差等问题。强化学习具备无模型自适应决策、动态环境适配能力强、多目标均衡优化的优势,能够通过持续交互迭代学习最优决策策略。本文基于强化学习价值迭代核心思想,设计“离线值函数训练+在线贪心路径提取”的两阶段求解架构,兼顾全局最优性与实时规划效率,完美适配多无人机动态路径规划与边缘计算协同调度需求。

3.2 第一阶段:全局代价矩阵离线训练

本阶段核心目标是学习并收敛得到能够表征全域最优代价值的全局代价矩阵G,本质为离线式值函数迭代学习过程。算法在标准化地图中进行海量随机状态采样,遍历全域不同位置的飞行状态,依托类贝尔曼迭代更新规则,结合前文构建的多目标综合代价函数持续更新矩阵内各网格点的代价值。

迭代训练过程中,算法不断累积环境风险、终端服务、飞行距离的综合代价经验,反复优化每个坐标点位抵达目标终点的累计最小代价。经过多轮充分迭代后,全局代价矩阵整体趋于收敛,矩阵中每个网格的数值可精准对应该位置到目标点的全局最优综合代价。该离线训练机制提前完成全域环境最优策略的预学习,规避了在线实时迭代计算量大、延迟高的问题,为后续快速路径提取提供了先验决策依据,核心机理与Q学习离线训练机制高度一致,具备极强的稳定性与全局寻优能力。

3.3 第二阶段:在线贪心路径提取

在全局代价矩阵收敛完成后,进入低延迟在线路径规划阶段。多无人机从各自预设的初始起飞点位出发,以当前飞行位置为中心,遍历邻域所有可飞行网格,结合实时增量代价筛选出邻域内总代价最小的节点作为下一飞行位置。通过逐点贪心迭代选择,持续更新飞行轨迹,直至无人机平稳抵达预设目标终点,最终生成连续、平滑、约束最优的完整飞行路径。

该阶段无需重复迭代训练,仅需基于收敛矩阵进行贪心检索,计算开销极低,可支持多架无人机并行同步路径求解,实现多机分布式协同规划。同时结合无人机局部感知与动态障碍更新机制,当环境状态发生动态变化时,可实时更新局部代价值并重新提取路径,实现动态环境下的自适应重规划。

4 仿真实验与结果分析

4.1 仿真实验参数与场景设置

为验证本文建模方法与规划算法的有效性、优越性,本文构建标准化多无人机边缘计算仿真场景。实验统一部署3架协同作业无人机,三架无人机分别设置地图底部差异化初始起飞位置,统一将地图右上角归一化点位作为全局目标终点,模拟多机异地起飞、协同奔赴作业区域、完成边缘计算服务的典型任务场景。环境内部预置10处静态障碍物构建连续风险场,随机分布多组差异化需求的地面终端用户,同时设置固定无人机感知半径、风险权重、服务权重,构建约束完整、贴合真实业务的仿真环境。

4.2 可视化结果定性分析

(1)多无人机协同轨迹分析。全域轨迹可视化结果表明,三架无人机在全程飞行过程中表现出良好的自主决策与协同能力。无人机可精准识别障碍物等高线风险区域,主动绕行高风险核心区域,规避静态障碍物碰撞风险。在飞行途中,无人机主动途经标记的地面终端区域,完成边缘计算任务卸载与算力服务。同时依托动态障碍风险建模机制,三架无人机全程保持安全飞行间距,无航线交叉、近距离冲突等问题,实现多机无碰撞协同飞行,最终全部平稳抵达目标点位,完整实现“安全飞行-终端服务-终点集结”的全流程智能作业。

(2)全域风险热力分布分析。障碍物风险热力图以色彩梯度直观呈现全域风险分布特征,红色深色调区域为障碍物高风险核心区,向外逐步衰减为浅色低风险区域,完美契合高斯函数连续衰减特性。结合无人机飞行轨迹可清晰看出,所有规划路径均主动规避深红色高风险区域,优先选择低风险空域通行,充分验证了本文风险代价约束的有效性与合理性。

(3)终端服务需求时序曲线分析。各终端需求随时间变化的衰减曲线直观反映了边缘计算服务的动态过程。不同终端对应的曲线下降时刻与下降斜率存在明显差异,高需求终端曲线下降更早、斜率更陡,说明算法可精准识别终端需求优先级,优先对高负载终端提供算力服务,快速降低终端任务积压,有效验证了非线性需求建模与服务权重机制对服务优化的提升作用,实现了服务资源的差异化、高效化分配。

(4)无人机性能对比柱状图分析。多机性能量化柱状图可横向对比三架无人机的飞行代价、服务效率、飞行能耗、任务完成度等核心指标。实验结果表明,三架无人机性能差异较小,任务负载分配相对均衡,无单机过载、单机闲置的极端情况,证明本文算法具备良好的多机协同均衡调度能力,可有效实现多无人机边缘计算任务的协同分配与路径协同优化。

4.3 定量指标与参数扩展性分析

仿真终端可实时输出飞行累积风险、总飞行里程、终端服务总量、平均服务时延等核心量化指标,为算法性能评估提供精准数据支撑。相较于传统单一指标评价方式,多维度量化指标可全面反映算法在安全性、服务质量、能耗效率三个维度的综合性能。

同时本文仿真框架内置批量参数扫描功能,支持自定义风险系数、服务系数的多组参数组合遍历测试。系统可自动完成全参数组合仿真实验,批量统计、汇总、导出标准化实验数据表格,无需人工重复调试与记录。该功能可高效完成算法参数敏感性分析、最优参数组合筛选、多算法对比实验,能够快速产出规范、可直接用于学术论证的实验数据,极大提升了实验的完整性与说服力。

5 本文方法创新与优势总结

相较于传统无人机路径规划与边缘计算调度方法,本文所提方法在场景建模、算法架构、工程适配性等方面具备显著优势,具体创新与总结如下:

(1)构建动静融合的连续风险场模型。摒弃传统离散二值障碍建模方式,采用高斯叠加机制生成连续平滑的全域风险地图,同时将协同无人机纳入动态障碍建模,实现静态障碍规避与多机动态防撞一体化约束,规则简洁、鲁棒性强。

(2)适配真实业务的非线性需求建模。基于边际收益递减规律完成终端需求重构,精准贴合移动边缘计算的服务收益特性,让路径规划决策兼顾几何最优与业务最优,提升整体服务效能。

(3)引入机载传感器局部感知约束。还原无人机有限视场、动态感知、触发重规划的真实工作机制,解决全局感知假设与工程实际脱节的问题,大幅提升算法落地实用性。

(4)多目标加权代价均衡优化。通过安全、服务、距离三维代价加权耦合,实现多约束目标动态平衡,可灵活适配不同作业场景的优化偏好,通用性极强。

(5)两阶段强化学习架构高效稳定。离线值函数预学习结合在线贪心寻路,兼顾全局最优求解能力与低延迟规划性能,支持多无人机并行协同规划,动态环境适配性优异。

(6)实验体系完整可扩展。配套完善的可视化定性分析与批量参数定量实验体系,实验结果维度丰富、数据详实,可有效支撑学术研究与工程应用验证。

📚第二部分——运行结果

2026热门方向!基于强化学习的多无人机移动边缘计算与路径规划研究(完整代码&数据)

障碍物风险分布热力图(颜色越红代表风险越高):

各TU服务需求随时间变化曲线:

每条曲线对应一个TU,曲线下降越早、越陡,代表该TU被服务得越及时。

各无人机性能对比柱状图:

最后,命令行窗口也会清楚地显示三个核心性能指标:

🎉第三部分——参考文献

文章中一些内容引自网络,会注明出处或引用为参考文献,难免有未尽之处,如有不妥,请随时联系删除。(文章内容仅供参考,具体效果以运行结果为准)

​​​​​​🌈第四部分——本文完整资源下载

资料获取,更多粉丝福利,MATLAB|Simulink|Python|数据|文档等完整资源获取

本文完整资源下载

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/12 4:01:12

067、记忆的写入策略:User、Feedback、Project、Reference 四种类型的场景化使用

067、记忆的写入策略:User、Feedback、Project、Reference 四种类型的场景化使用 上周五凌晨两点,我在调试一个微服务链路追踪的上下文丢失问题。Claude Code 帮我分析了三小时的日志,突然它说:“根据你三个月前在 user 记忆里记录的 Kafka 消费者线程模型,这个丢失模式和…

作者头像 李华
网站建设 2026/6/12 4:01:05

AUTOSAR-Fls模块:从DaVinci配置到TC389芯片的Flash驱动实战

1. TC389芯片的Data Flash特性解析 英飞凌TC389作为车载控制器领域的明星芯片,其Data Flash(DFLASH)设计颇具特色。这块512KB的存储区域位于0xAF000000起始地址,专门用于模拟EEPROM功能。与PFLASH相比,DFLASH的读取速度…

作者头像 李华
网站建设 2026/6/12 4:00:58

山东闱进教育:常识 四大神兽

四大神兽分别是青龙、白虎、朱雀、玄武。四大神兽守护四方,是世界的守护神。东方青龙为木,西方白虎为金,南方朱雀为火,北方玄武为水。另有中央黄龙为土。中国建筑风水将住宅前、后、左、右的山或各种有形的建筑物体称为“左青龙&a…

作者头像 李华