动态规划的基本概念
发布网友
发布时间：2022-03-24 06:02
共1个回答
热心网友
时间：2022-03-24 07:32
1.阶段
阶段是指研究的事物在发展过程中所处的时段或地段。处理多阶段决策问题，需要将全过程划分若干阶段，每个阶段进行一次抉择。若演变过程是离散的，则用序列编号i=1，2，…，n表示，称为阶段变量。它可以是空间，也可以是时间。若为时间，则按相等增量Δt离散，或按连续变化，以变量t表示。
2.状态
在多阶段决策过程中，各阶段演变可能发生的情况，称为状态。描述状态的变量称为状态变量。一个阶段可能有若干个状态。若第i阶段有m个状态变量，可用si表示该阶段的状态集合：
华北煤田排水供水环保结合优化管理
3.决策
决策是某阶段状态给定之后，从该状态演变到下一阶段某状态的选择。当阶段的初始状态给定后，做出某一决策，则本阶段的初始状态就变成该阶段的末状态，做出不同的决策，就得出不同的末状态。描述决策变化的量，称为决策变量。常用di（si）表示第i阶段状态处于si时的决策。在实际问题中，决策变量的取值往往被*在某一范围之内，此范围称为允许决策集合或决策空间，常用di（si）∈Di（si）表示。
4.策略
策略是指一个决策序列。由第1阶段开始至终点为止的过程，称为问题的全过程；由每个阶段的决策di（si）（i=1，2，…，n）所组成的决策序列，称为全过程策略，简称策略，记为P1n。
则
华北煤田排水供水环保结合优化管理
从k阶段开始至终点的过程，称为原问题的后子过程（或称k子过程），其决策序列称为k子过程策略，简称子策略，即
华北煤田排水供水环保结合优化管理
在实际问题中，可供选择的策略有一定范围，此范围称为允许策略集合，以P表示。从允许策略范围集合中，找出达到最优效果的策略，称为最优策略，最优策略相应的状态序列，称为最优轨迹。
5.状态转移方程
下一阶段状态Sk+1是本阶段状态变量Sk和决策变量Xk（Sk）的函数，即对于状态Sk的决策结果是Sk+1，记为
华北煤田排水供水环保结合优化管理
简写为
华北煤田排水供水环保结合优化管理
这种从某状态出发到下一阶段某状态的转移规律称为状态转移方程。
6.目标函数
在多阶段最优决策过程中，目标函数是用来衡量策略优劣的数量指标。
状态的转移就产生费用（效益）的改变，它们是同时发生的。设ri表示i阶段的费用（效益），则ri也是si及di的函数，可写为
华北煤田排水供水环保结合优化管理
此式称为第i阶段的费用（效益）方程。若从过程的第一阶段初始状态开始，经历全部阶段，可得到全过程的总费用R，即总费用R是各阶段费用ri的总和，表示为
华北煤田排水供水环保结合优化管理
因为状态和决策往往是一个向量，所以总费用R也是一个向量，其最优值的数量指标，就是过程的目标函数，常用R*表示，即
华北煤田排水供水环保结合优化管理
式中：Opt（optimization）表示最优值，可取极大或极小，依目标性质而定。
通过以上讨论，可将多阶段决策过程归纳为如图3-1所示。
图3-1 多阶段决策过程示意图
