POMDP基于点的近似求解方法研究开题报告

全文总字数：1787字

1. 研究目的与意义

本课题的目的是研究探索信念点集合的过程的启发式策略，以探索的信念点集合模拟整个信念空间，通过在信念点集合上的贝尔曼迭代近似精确值迭代，并且在原有的算法上进行优化，保证收敛效率，并能收敛到更好的全局最优解。

意义是有助于基于点的近似求解方法能适用于更大规模的应用环境。

2. 国内外研究现状分析

ai规划是从早期的控制理论和搜索算法中延伸出来的，具体来说是早期的机器人科学、任务计划等领域对智能技术的需求。

受计算机处理性能的影响，早期的规划要求对现实环境进行十分严苛的抽象和简化的模型表示，应用于确定决策、状态能够确定的小规模领域。

决策制定问题的发展受到动态规划技术很大的影响。

3. 研究的基本内容与计划

研究内容：1. 在多种不同的启发式策略基础上提出一种新的启发式策略，并进行比对分析；2. 利用这个启发式策略实现这个pomdp模型；3. 将新的算法在不同的应用环境下与其它算法进行比较，并展现比较结果。

研究计划：1. 准备工作阶段：阅读相关资料，对所用的知识加以熟悉，准备好相关的数据；2. 算法构思阶段：在所学知识的基础上，提出新的启发式策略；3. 设计开发阶段：实现新提出的算法，展示其在不同的应用环境下的运行效率及运行结果；4. 撰写论文阶段：根据前期的设计以及最终实现的功能，完成论文的撰写工作，详细描述新的启发式策略的原理与算法流程，并将其与其它算法进行对比，最后对论文中的图表按照论文格式进行调整和编号；5. 论文交审阶段：完成论文的提交，审核和答辩。

具体时间安排：阅读文献，对所用的知识加以熟悉（1~2周），运用新的启发式策略提出新的算法（3~4周），实现这个算法并在不同的模型上运行（5~7周），论文大纲和草稿的撰写（第8周），论文初稿的撰写完成（9~10周），论文初稿的修改与完善（第11周），完成论文的提交、审核和答辩（第12周）。

4. 研究创新点

1 充分利用原有的不同的算法的启发式策略的优势，并有效地避免它们各自的缺陷。

2 提出新的启发式策略，以提高算法运行效率和平均折扣回报，使POMDP模型能够应用到更大规模的生产环境。