状态转移方程

定义

动态规划中本阶段的状态往往是上一阶段状态和上一阶段决策的结果。若给定了第K阶段的状态Sk以及决策uk(Sk),则第K+1阶段的状态Sk+1也就完全确定。也就是说Sk+1与Sk,uk之间存在一种明确的数量对应关系，记为Tk(Sk,uk),即有Sk+1= Tk(Sk,uk)。 这种用函数表示前后阶段关系的方程，称为状态转移方程。在上例中状态转移方程为 Sk+1= uk(Sk) 。

设计

适用条件

任何思想方法都有一定的局限性，超出了特定条件，它就失去了作用。同样，动态规划也并不是万能的。适用动态规划的问题必须满足最优化原理和无后效性。

1.最优化原理(最优子结构性质) 最优化原理可这样阐述:一个最优化策略具有这样的性质，不论过去状态和决策如何，对前面的决策所形成的状态而言，余下的诸决策必须构成最优策略。简而言之，一个最优化策略的子策略总是最优的。一个问题满足最优化原理又称其具有最优子结构性质。

2.无后效性将各阶段按照一定的次序排列好之后，对于某个给定的阶段状态，它以前各阶段的状态无法直接影响它未来的决策，而只能通过当前的这个状态。换句话说，每个状态都是过去历史的一个完整总结。这就是无后向性，又称为无后效性。

3.子问题的重叠性 动态规划将原来具有指数级时间复杂度的搜索算法改进成了具有多项式时间复杂度的算法。其中的关键在于解决冗余，这是动态规划算法的根本目的。动态规划实质上是一种以空间换时间的技术，它在实现的过程中，不得不存储产生过程中的各种状态，所以它的空间复杂度要大于其它的算法。

如何设计动态转移方程

如果满足上述条件，一般可以按照以下步骤进行设计:

一、确定问题的决策对象

二、对决策对象划分阶段

三、对各阶段确定状态变量

四、根据状态变量确定费用函数和目标函数

五、建立各阶段的状态变量的转移方程，写出状态转移方程

六、编程实现

状态转移方程的代码实现

假设列出了状态转移方程:d(i, j) = a(i, j) + max{d(i + 1, j), d(i + 1, j + 1)}。

折叠递归计算

1
2
3
int d(int i, int j){
return a[i][j] + (i == n ? 0 : (d(i + 1, j) > d(i + 1, j + 1) ? d(i + 1, j) : d(i + 1, j + 1)));
}

递归方法的缺点是:效率比较低，首先在调用函数的嵌套时，函数不断的切换，由此降低了效率。其次是相同的子问题被重复求解，例如:d(2, 3), d(4, 2), d(4, 3)就是被重复求解了两次。

折叠递推计算

1
2
3
4
5
6
int i, j;
for(j = 1; j <= n; ++j)
d[n][j] = a[n][j];
for(i = n-1; i >= 1; --i)
for(j = 1; j <= i; ++j)
d[i][j] = a[i][j] + (d[i + 1][j] > d[i + 1][j + 1] ? d[i + 1][j] : d[i + 1][j + 1]);

递推要注意边界的处理。

折叠记忆化搜索

首先设置一个数组，目的是保存已经计算好的子问题的解，下次再计算相同子问题时，就不用重复求解了，如下设置一个st数组用来保存计算好的子问题的解，初始化st所有元素为-1。

1
2
3
4
5
int d(int i, int j){
if(st[i][j] > 0)
return st[i][j];
return st[i][j] = a[i][j] + (i == n ? 0 : (d(i + 1, j) > d(i + 1, j + 1) ? d(i + 1, j) : d(i + 1, j + 1)));
}

记忆化搜索用的也是递归的方法，目的是把子问题的解保存下来，避免重复计算的情况，这是它比纯递归更高效的原因。

记忆化搜索跟递推相比，它的优点是:它不必事先确定好各状态的计算顺序，但使用递推时必须事先确定好计算顺序。