开封市网站建设,网站建设 互成网络,上海最好网站建设公司,赣州制作网站百度五、动态规划 基本概念 阶段#xff08;Stage#xff09;#xff1a;将所给问题的过程#xff0c;按时间或空间特征分解成若干相互联系的阶段#xff0c;以便按次序去求解每阶段的解#xff0c;常用字母 k k k 表示。 状态#xff08;State#xff09;#xff1a;…五、动态规划 基本概念 阶段Stage将所给问题的过程按时间或空间特征分解成若干相互联系的阶段以便按次序去求解每阶段的解常用字母 k k k 表示。 状态State各阶段开始时的客观条件叫做状态。描述各阶段状态的变量称为状态变量常用 s k s_k sk​ 表示第 k k k 阶段的状态变量状态变量 s k s_k sk​ 的取值集合称为状态集合用 S k S_k Sk​ 表示。状态变量应具有无后效性某阶段状态给定后这个阶段以后过程的发展不受这段以前各状态的影响。 决策和策略Decision and Policy各阶段状态确定后就可以作不同的决定从而确定下一阶段的状态这种决定称为决策。表示决策的变量称为决策变量常用 u k ( s k ) u_k(s_k) uk​(sk​) 表示允许的决策集合常用 D k ( s k ) D_k(s_k) Dk​(sk​) 表示。各阶段决策确定后整个问题的决策序列就构成一个策略。 状态转移方程如果给定了第 k k k 阶段的状态 s k s_k sk​ 本阶段决策为 u k ( s k ) u_k(s_k) uk​(sk​) 则第 k 1 k1 k1 阶段的状态 s k 1 s_{k1} sk1​ 也就完全确定它们的关系就称为状态转移方程。 指标函数用于衡量所选定策略优劣的数量指标称为指标函数。直接指标函数表示某阶段的决策产生的效益常用 d k ( u k ) d_k(u_k) dk​(uk​) 表示。最优指标函数表示从第 k k k 阶段状态为 s k s_k sk​ 采用最优策略时后部过程的最优收益值常用 f k ( s k ) f_k(s_k) fk​(sk​) 表示。 五要素 动态规划模型五要素 将问题按时空特征恰当地划分为若干个阶段。正确地规定状态变量 s k s_k sk​ 使得它既能描述过程的演变又具有无后效性。正确地规定决策变量 u k u_k uk​ 以及每阶段的允许决策集合 D k ( s k ) D_k(s_k) Dk​(sk​) .正确写出状态转移方程 s k 1 g k ( s k , u k ) s_{k1}g_k(s_k,u_k) sk1​gk​(sk​,uk​) 。正确地定义各阶段的直接指标函数 d k ( s k , u k ) d_k(s_k,u_k) dk​(sk​,uk​) 和后部子过程的最优指标函数 f k ( s k ) f_k(s_k) fk​(sk​) 并写出基本方程以 max ⁡ \max max 和相加求收益为例 { f k ( s k ) max ⁡ { d k ( s k , u k ) f k 1 ( s k 1 ) } , k n , n − 1 , ⋯ , 1 f n 1 ( s n 1 ) 0 , 边界条件 \begin{cases} f_k(s_k)\max\{d_k(s_k,u_k)f_{k1}(s_{k1})\} ,kn,n-1,\cdots,1 \\ f_{n1}(s_{n1})0,边界条件\end{cases} {fk​(sk​)max{dk​(sk​,uk​)fk1​(sk1​)}fn1​(sn1​)0​,kn,n−1,⋯,1,边界条件​ 生产存储问题 做题时我们可也按照动态规划模型五要素进行建模以生产与储存问题为例。 解 将问题划分为 4 4 4 个阶段 k 1 , 2 , 3 , 4 k1,2,3,4 k1,2,3,4每个阶段表示一个时期状态变量 s k s_k sk​ 表示第 k k k 阶段开始时的库存量决策变量 x k x_k xk​ 表示第 k k k 阶段的产品生产量 d k d_k dk​ 表示第 k k k 阶段的产品需求量则状态转移方程为 s k 1 s k x k − d k s_{k1}s_kx_k-d_k sk1​sk​xk​−dk​ 直接指标函数 g k ( x k ) g_k(x_k) gk​(xk​) 表示第 k k k 阶段决策为 x k x_k xk​ 时的成本包括生产成本 c k ( x k ) c_k(x_k) ck​(xk​) 和存储成本 m k ( x k ) m_k(x_k) mk​(xk​) 。其中 c k ( x k ) { 0 , x k 0 3 x k , x k 1 , 2 , ⋯ , 6 ∞ , x k 6 c_k(x_k)\begin{cases} 0,x_k0\\ 3x_k,x_k1,2,\cdots,6\\ \infty,x_k6 \end{cases} ck​(xk​)⎩ ⎨ ⎧​03xk​∞​,xk​0,xk​1,2,⋯,6,xk​6​ m k ( x k ) 0.5 ( s k x k − d k ) m_k(x_k)0.5(s_kx_k-d_k) mk​(xk​)0.5(sk​xk​−dk​) 。最优指标函数 f k ( s k ) f_k(s_k) fk​(sk​) 表示第 k k k 阶段状态为 s k s_k sk​ 采用最优策略时后部过程的最小成本则递推基本方程为 f k ( s k ) { min ⁡ { c k ( x k ) m k ( x k ) f k 1 ( s k 1 ) } , k 4 , 3 , 2 , 1 f 5 ( s 5 ) 0 f_k(s_k)\begin{cases} \min\{c_k(x_k)m_k(x_k)f_{k1}(s_{k1})\},k4,3,2,1\\ f_5(s_5)0\end{cases} fk​(sk​){min{ck​(xk​)mk​(xk​)fk1​(sk1​)},k4,3,2,1f5​(s5​)0​ 随后便是每个阶段的求解了最关键的就是确定 s k s_k sk​ 和 x k x_k xk​ 的取值范围需要瞻前顾后考虑每阶段的生产能力以及最后阶段的库存要求。 设备更新问题 对于设备更新问题教材上用了别的符号让人难以和之前的联系起来但其实它也可以用我们常见的符号表达的。用一个实际题目来说明。 解 将问题分为 5 个阶段 k 1 , 2 , 3 , 4 , 5 k1,2,3,4,5 k1,2,3,4,5每个阶段代表一年。状态变量 s k s_k sk​ 表示第 k k k 阶段初机器的役龄决策变量 x k x_k xk​ 表示第 k k k 阶段时保留K还是更新R。则状态转移方程为 s k 1 { s k 1 , x k K 1 , x k R s_{k1}\begin{cases} s_k1,x_kK\\ 1,x_kR \end{cases} sk1​{sk​11​,xk​K,xk​R​ 直接指标函数 g k ( x k ) g_k(x_k) gk​(xk​) 表示第 k k k 阶段做出决策 x k x_k xk​ 的收入 I k ( s k ) I_k(s_k) Ik​(sk​) 表示第 k k k 阶段役龄为 s k s_k sk​ 的机器带来的收入 O k ( s k ) O_k(s_k) Ok​(sk​) 表示第 k k k 阶段役龄为 s k s_k sk​ 的机器的运行费用 C k ( s k ) C_k(s_k) Ck​(sk​) 表示第 k k k 阶段役龄为 s k s_k sk​ 的机器更新费用则有 g k ( x k ) { I k ( s k ) − O k ( s k ) , x k K I k ( 0 ) − O k ( 0 ) − C k ( s k ) , x k R g_k(x_k)\begin{cases} I_k(s_k)-O_k(s_k),x_kK\\ I_k(0)-O_k(0)-C_k(s_k),x_kR \end{cases} gk​(xk​){Ik​(sk​)−Ok​(sk​)Ik​(0)−Ok​(0)−Ck​(sk​)​,xk​K,xk​R​ 最优指标函数 f k ( s k ) f_k(s_k) fk​(sk​) 表示第 k k k 阶段役龄为 s k s_k sk​ 的机器采用最优策略时后部过程的最大收入可写出递推基本方程为 f k ( s k ) { max ⁡ { g k ( x k ) f k 1 ( s k 1 ) } , k 5 , 4 , 3 , 2 , 1 f 6 ( s 6 ) 0 f_k(s_k)\begin{cases} \max\{g_k(x_k)f_{k1}(s_{k1})\},k5,4,3,2,1\\ f_6(s_6)0\end{cases} fk​(sk​){max{gk​(xk​)fk1​(sk1​)},k5,4,3,2,1f6​(s6​)0​ 剩下就是根据表中的数据代入递推方程了。 静态规划问题 动态规划方法还可以用来求解一些静态规划问题如整数规划和非线性规划问题等。一般将约束条件的右端资源量作为状态变量决策变量为原规划问题的决策变量直接指标函数为目标函数对应的部分。 有时候最后一个阶段的直接指标函数较为复杂可以换一换次序简化计算。