贝尔曼方程是动态规划中的重要概念，用于解决最优化问题。以下是贝尔曼方程的不同版本和包含代码示例的解决方法：

1. 贝尔曼方程（Bellman Equation）： 贝尔曼方程描述了最优化问题中的最优值与子问题最优值之间的关系。一般形式为： V(s) = max { R(s, a) + γ * Σ P(s' | s, a) * V(s') } 其中，V(s) 表示状态 s 的最优值，R(s, a) 表示在状态 s 选择动作 a 的即时奖励，P(s' | s, a) 表示在状态 s 选择动作 a 后转移到状态 s' 的概率，γ 是折扣因子。

2. 贝尔曼最优方程（Bellman Optimality Equation）： 贝尔曼最优方程描述了最优化问题的最优值与子问题最优值之间的关系，是贝尔曼方程的特殊形式。一般形式为： V*(s) = max { R(s, a) + γ * Σ P(s' | s, a) * V*(s') } 其中，V*(s) 表示状态 s 的最优值函数。

3. 贝尔曼最优方程（Bellman Optimality Equation）的迭代解法： 贝尔曼最优方程可以通过迭代解法进行求解。首先初始化最优值函数 V*(s) 的值，然后反复更新 V*(s) 直到收敛。更新公式如下： V*(s) = max { R(s, a) + γ * Σ P(s' | s, a) * V*(s') } 这种迭代解法被称为值迭代（Value Iteration）算法。

   代码示例（Python）：

   def value_iteration():
       # 初始化最优值函数 V*(s)
       V = {}
       for s in states:
           V[s] = 0.0
   
       # 迭代更新 V*(s)
       while True:
           delta = 0
           for s in states:
               old_v = V[s]
               new_v = max([sum([P(s, a, s_) * (R(s, a, s_) + gamma * V[s_]) for s_ in states]) for a in actions])
               V[s] = new_v
               delta = max(delta, abs(old_v - new_v))
           if delta < epsilon:
               break
   
       return V
   

以上是贝尔曼方程的不同版本和包含代码示例的解决方法。这些方程和代码示例可用于解决最优化问题，如强化学习中的值函数和策略优化。