|
||||||||
多阶段决策过程的特点是每个阶段都要进行决策,具有n个阶段的决策过程的策略是由n个相继进行的阶段决策构成的决策序列。由于前阶段的终止状态又是后一阶段的初始状态,因此确定阶段最优决策不能只从本阶段的效应出发,必须通盘考虑,整体规划。就是说,阶段k的最优决策不应只是本阶段的最优,而必须是本阶段及其所有后续阶段的总体最优,即关于整个后部子过程的最优决策。 对此,贝尔曼在深入研究的基础上,针对具有无后效性的多阶段决策过程的特点,提出了著名的多阶段决策的最优性原理: “整个过程的最优策略具有这样的性质:即无论过程过去的状态和决策如何,对前面的决策所形成的状态而言,余下的诸决策必须构成最优策略。” 简而言之,最优性原理的含意就是:最优策略的任何一部分子策略也必须是最优的。 |
||||||||
如例1,![]() ![]() ![]() ![]() 按最优性原理,可以将例1分成A—B—C—D—E 4个阶段,由后向前逐步求出各点到E的最短线路,直至求出A至E的最短线路。 例1的路线图 ![]() |
||||||||
![]()
![]()
|
||||||||
为了找出最短线路,再按计算顺序反推回去,可求出最优决策序列,即由![]() 组成最优策略,也就是最短线路为:
|
||||||||
从上面的例子不难看出,对于最短线路问题,有如下的递推关系(函数方程):
|
||||||||
一般情况下,多阶段决策问题存在下面的递推关系:
|
||||||||
这里![]() ![]() ![]() ![]() ![]() |
||||||||
在基本方程中,![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
||||||||
另一方面,由于k+1阶段的状态![]() ![]() ![]() ![]() ![]() ![]() |