1. 研究目的与意义（文献综述）
随着人工智能技术的发展，无人驾驶领域正在飞速进步，同时随着海上交通密度的不断增大，各类海上事故频繁发生。导致船舶海上事故的主要原因是决策和操作过失、应急反应不当等人为因素。德国安联保险2012年发布的报告就曾指出，75%—96%的海上事故是人为错误的结果。因此，提高船舶的自主驾驶水平已成为亟待解决的问题。另一方面，船舶所面临的环境也越来越复杂。在某些情况下，载人船舶不适合去工作场所执行任务，而无人驾驶船舶更适合应对海上复杂多变的恶劣环境。这就要求无人驾驶船舶具备自主路径规划和避障的能力，从而有效地完成任务，提高综合作业能力。
无人船凭借其强大的自主性和适应性，逐渐成为当前行业所追求的新研究方向。无人驾驶船舶不仅可以在危险海域独立执行任务，还可以与有人驾驶船舶协同工作，提高工作效率。广泛应用于海洋勘探、军事任务、物资运输等领域。自主航路规划是提高无人船舶自主能力的关键技术。无人驾驶船舶自主路径规划需要根据一定的航行规则和船员经验，对安全航行区域内的路径进行优化。它可以安全地避开障碍物，并独立规划从已知起点到目标点的最佳轨迹。无人驾驶船舶往往面临复杂多变的航行环境环境。因此，有必要采取连续有效的方法来控制船舶在航行过程中的轨迹，从而保证船舶的安全。
2. 研究的基本内容与方案
决策控制问题是无人驾驶技术面临的重要难题，深度确定性策略梯度（ddpg）正是解决连续动作空间的状态问题关键算法基础。本课题基于目前的ddpg算法基础上，改进深度确定性策略梯度算法，进行无人船驾驶各种连续动作空间的决策控制。
基于ddpg算法，本文设计了无人船舶自主路径规划模型如下图。算法结构主要包括交流算法、经验回放机制和神经网络。利用交流算法输出并判断船舶的动作策略，使模型的输出动作逐渐准确。通过经验回放机制，将实验环境中执行的ddpg算法的历史信息进行记忆，并随机抽取数据进行训练和学习，,在实验的过程中,环境状态和行为的数量的船很大,因此有必要使用神经网络拟合和泛化。将无人驾驶船舶在环境中的当前状态作为神经网络的输入，输出为船舶在当前状态下可以执行的动作的q值。
3. 研究计划与安排
（1）第1－4周：查阅相关文献资料，明确研究内容，了解研究所需理论基础。确定方案，完成开题报告。
（2）第5－6周：熟悉掌握基本理论，完成英文资料的翻译，熟悉相关工具软件的使用。
（3）第7－9周：进行设计深度确定性策略梯度算法，设计无人船自主路径规划模型结构，设计ac算法的结构，设计行动规则和动作策略，进行船舶数据采集，设定奖励函数。
4. 参考文献（12篇以上）
[1]guo siyu,zhang xiuguo,zheng yisong,duand yiquan. an autonomous path planning model for unmanned ships based on deepreinforcement learning.[j]. sensors (basel, switzerland),2020,20(2).
[1] 刘全,翟建伟,章宗长,钟珊,周倩,章鹏,徐进.深度强化学习综述[j].计算机学报,2018,41(01):1-27.
[2] congcongli.aregionaltrafficsignalcontrolstrategywithdeepreinforcementlearning [c].中国自动化学会控制理论专业委员会.第37届中国控制会议论文集（e）.中国自动化学会控制理论专业委员会:中国自动化学会控制理论专业委员会,2018:832-837.
课题毕业论文、开题报告、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。
