最优控制基础 - 课程笔记

0. 5月-6月航天大事件

批量列出

• 1971年
  • 5月14日: 中国第二颗卫星、第一颗科学实验卫星“实践一号”停止发射信号，结束其工作寿命。该卫星于3月3日发射，设计寿命20天，实际工作28天。这次早期任务对于积累卫星研制和空间科学实验的基础经验至关重要。
• 1980年
  • 5月18日: 首次成功向太平洋预定海域发射“东风五号”洲际弹道导弹。虽然属于军事领域，但该事件凸显了导弹技术对运载火箭发展的奠基性作用，许多早期运载火箭技术源于弹道导弹。
• 1997年
  • 5月12日: “长征三号甲”运载火箭成功发射新一代通信广播卫星“东方红三号”。卫星于5月20日成功定点。这表明中国在国产通信卫星技术上持续进步，以满足国内日益增长的信息化需求。
• 2002年
  • 5月15日: “长征四号乙”运载火箭成功将“风云一号D”气象卫星和中国首颗海洋水色卫星“海洋一号”送入预定轨道。此次发射结束了中国没有自主海洋观测卫星的历史，显示了中国空间应用领域向气象、海洋等多元化方向拓展。
• 2003年
  • 5月24日: “长征二号丙”运载火箭发射“实践十九号”卫星。作为“实践”系列的一部分，此类任务通常用于新技术验证和空间科学实验，为未来操作系统的发展进行在轨测试。
• 2007年
  • 5月14日: “长征三号乙”运载火箭成功发射尼日利亚通信卫星一号（Nigcomsat-1），并实现在轨交付。这是中国首次实现整星出口和首次以火箭、卫星及发射支持一体化的方式提供国际商业发射服务，标志着中国在国际航天市场上的能力提升。
  • 5月25日: “长征三号甲”运载火箭发射一颗“北斗”导航卫星（北斗一号03星）。这显示了北斗导航系统作为国家战略基础设施的持续建设。
• 2008年
  • 5月27日: “长征三号乙”运载火箭发射“中星九号”广播电视直播卫星。部署此类专用广播卫星有助于扩大国内广播电视服务的覆盖范围。
• 2010年
  • 6月2日: “长征三号丙”运载火箭发射“北斗二号”系统第三颗地球同步轨道卫星（北斗-2 G3）。这标志着北斗二号区域导航系统的稳步部署。
  • 6月9日: “嫦娥二号”月球探测器完成其主要月球探测任务后，开始执行拓展任务。这展示了中国航天器超越设计目标的任务灵活性和长寿命运行能力，并为后续的深空探测任务（如飞越小行星）积累了经验。
• 2012年
  • 5月10日: “长征三号乙”运载火箭发射“北斗二号”系统第六颗地球同步轨道卫星（北斗-2 G6）。进一步完善北斗二号区域系统星座，为2012年底宣布提供区域服务奠定基础。
  • 6月16日: “长征二号F”运载火箭成功发射“神舟九号”载人飞船，航天员为景海鹏、刘旺和中国首位女航天员刘洋。
  • 6月18日: “神舟九号”与“天宫一号”目标飞行器成功实现自动交会对接，航天员进入“天宫一号”。
  • 6月24日: 航天员刘旺成功进行首次手控交会对接。这次任务是中国载人航天工程“第二步”战略的关键一步，全面掌握了载人天地往返、自动及手动空间交会对接技术，并实现了女性航天员的太空飞行。
• 2013年
  • 6月11日: “长征二号F”运载火箭发射“神舟十号”载人飞船，航天员为聂海胜、张晓光、王亚平。
  • 6月13日: “神舟十号”与“天宫一号”完成自动交会对接。
  • 6月20日: 航天员王亚平在“天宫一号”内进行了中国首次太空授课。
  • 6月26日: “神舟十号”载人飞船返回舱安全着陆。此次任务是“天宫一号”的最后一次载人访问，巩固了交会对接技术，验证了航天员中期驻留保障能力，并开展了科普教育活动，标志着载人航天工程“第二步”第一阶段任务（空间实验室阶段）的圆满收官。
• 2016年
  • 6月25日: 新一代中型运载火箭“长征七号”在新建成的海南文昌航天发射场成功首飞，搭载了多用途飞船缩比返回舱等载荷。长征七号采用更环保的液氧煤油推进剂，其成功首飞和文昌发射场的启用，为后续空间站货物运输任务（发射天舟货运飞船）奠定了基础，显著提升了中国的近地轨道运载能力。
• 2017年
  • 6月15日: “长征四号乙”运载火箭成功发射中国首颗X射线空间天文卫星“慧眼”（HXMT）。这标志着中国在空间科学探测领域，特别是在高能天体物理观测方面迈出了重要一步。
• 2018年
  • 5月21日: “长征四号丙”运载火箭成功发射“嫦娥四号”任务的中继通信卫星“鹊桥号”。作为世界首颗运行在地月L2点晕轨道的通信卫星，“鹊桥号”的成功发射和部署，是实现人类探测器首次在月球背面软着陆和巡视探测的关键前提。
  • 6月2日: “长征二号丁”运载火箭成功发射“高分六号”卫星。作为国家高分辨率对地观测系统重大专项的一部分，“高分六号”的发射进一步增强了中国对地观测能力，服务于农业、林业、资源环境监测等领域。
• 2019年
  • 6月5日: “长征十一号”固体运载火箭在中国黄海海域成功实施首次海上发射，将“捕风一号”A/B星等7颗卫星送入预定轨道。海上发射平台的应用，验证了中国具备在不同地点灵活发射、满足不同轨道需求的能力，特别是对于快速响应发射和小卫星部署具有重要意义。
• 2020年
  • 5月5日: 新一代重型运载火箭“长征五号B”在文昌航天发射场成功首飞，搭载发射了新一代载人飞船试验船。长征五号B是为发射空间站大型舱段而研制的，其首飞成功，以及新一代载人飞船试验船的成功试验，直接开启了中国空间站建造阶段的任务序幕，是中国载人航天工程“第三步”战略的关键里程碑。
  • 6月23日: “长征三号乙”运载火箭成功发射北斗三号全球卫星导航系统最后一颗组网卫星（北斗三号GEO-3）。这标志着北斗三号全球系统星座部署全面完成，中国自主建设、独立运行的全球卫星导航系统正式建成开通，对国家安全、经济社会发展具有重大战略意义。
• 2021年
  • 5月29日: “长征七号”运载火箭成功发射“天舟二号”货运飞船。
  • 5月30日: “天舟二号”与空间站“天和”核心舱完成自主快速交会对接。这是空间站阶段的首次货物运输应用性飞行，验证了空间站货物补给、推进剂在轨补加等关键技术，为后续载人飞行和空间站长期运行奠定了物资基础。
  • 6月17日: “长征二号F”运载火箭成功发射“神舟十二号”载人飞船，航天员为聂海胜、刘伯明、汤洪波。
  • 6月17日: “神舟十二号”与“天和”核心舱完成自主快速交会对接，三名航天员顺利进驻“天和”核心舱，中国人首次进入自己的空间站。作为空间站关键技术验证和建造阶段的首次载人飞行任务，开启了中国空间站有人长期驻留的时代。
• 2022年
  • 5月10日: “长征七号”运载火箭成功发射“天舟四号”货运飞船，并与空间站组合体完成自主快速交会对接 10。此次任务为即将到来的神舟十四号乘组运送了必要物资，保障了空间站运营的连续性。
  • 6月5日: “长征二号F”运载火箭成功发射“神舟十四号”载人飞船，航天员为陈冬、刘洋、蔡旭哲。飞船与空间站组合体完成自主快速交会对接。神舟十四号乘组在轨期间将经历空间站“问天”、“梦天”两个实验舱的发射对接，完成空间站“T”字基本构型的组装建造，任务极为关键。
• 2023年
  • 5月10日: “长征七号”运载火箭成功发射“天舟六号”货运飞船。
  • 5月11日: “天舟六号”与空间站组合体完成自主快速交会对接。作为空间站进入应用与发展阶段后的首次货运补给任务，“天舟六号”采用了改进型货船，运载能力得到提升，标志着空间站常态化运营和保障能力的增强。
  • 5月30日: “长征二号F”运载火箭成功发射“神舟十六号”载人飞船，航天员为景海鹏、朱杨柱、桂海潮 。飞船与空间站组合体完成自主快速交会对接。此次任务首次包含“航天驾驶员、航天飞行工程师、载荷专家”三种类型的航天员，特别是载荷专家（桂海潮）的加入，表明空间站开始全面转向大规模空间科学实验和应用阶段。景海鹏成为首位四度飞天的中国航天员。
• 2024年
  • 5月3日: “长征五号”运载火箭在文昌航天发射场成功发射“嫦娥六号”月球探测器。开启了世界首次月球背面采样返回之旅。
  • 5月8日: “嫦娥六号”探测器成功实施近月制动，顺利进入环月轨道。
  • 5月30日: “长征三号乙”运载火箭成功发射巴基斯坦多任务通信卫星（PakSat-MM1）。再次体现了中国在国际商业发射服务和空间合作领域的持续投入。
  • 6月2日: “嫦娥六号”着陆器和上升器组合体成功着陆在月球背面南极-艾特肯盆地预选着陆区。这是人类探测器首次在月球背面实施的着陆和采样任务，是探月工程的重大突破。
  • 6月4日: “嫦娥六号”上升器携带月球样品自月球背面起飞，进入预定环月轨道。
  • 6月6日: “嫦娥六号”上升器成功与轨道器和返回器组合体完成月球轨道的交会对接，并将月球样品容器安全转移至返回器中。
  • 6月22日: “长征二号丙”运载火箭成功发射中法联合研制的天文卫星（SVOM）。这是中法在空间科学领域的重要合作项目，旨在通过多波段协同观测研究伽马射线暴等高能天体物理现象。
  • 6月25日: “嫦娥六号”返回器携带月球背面样品，准确着陆在内蒙古四子王旗预定区域，任务取得圆满成功。此次任务实现了世界首次月球背面采样返回，获取了独特的月球样品，对研究月球的形成和演化具有极其重要的科学价值。
  • 6月29日: “长征七号甲”运载火箭成功发射“中星3A”卫星。长征七号甲是为满足高轨道发射需求而研制的新一代火箭，此次发射进一步验证了其性能，有助于提升中国在高轨卫星部署方面的能力。

上课提及

• 2025.4.24：第10个中国航天日，东方红1号55周年，神舟20号神舟19号，第六次会师；
• 2021.4.29：天和发射；2025.4.29：神舟19号返回；
• 2024.5.3：嫦娥6号发射；2024.6.25：月背土壤取样返回；
• 2020.7.23：天问1号发射；2021.5.15：天问1号登火；2021.5.22：祝融号巡视；
• 2025.5.29：天问2号发射；
• 2020.5.8：新一代载人飞船试验船返回(5.5发射)；
• 2021.5.29：天舟2号发射；

1. 变分法与最优化问题

1.变分法（最优控制本质）

2.最优化问题

• 分类：单变量、多变量，有约束、无约束，线性、非线性；

• 静态优化（参数优化）：求函数极值

• 动态优化（泛函优化）：求泛函极值

• 求解方法：黄金分割法、最优梯度法、Newton法、Lagrange乘子法、罚函数法；

• 无约束：经典变分法；

• 约束：极小值原理、动态规划法、线性二次型最优控制；

3.最优控制问题

• 性能指标：$J=h[x(t_f),t_f]+\int_{ {t_0} }^{ {t_f} } {g\left[ {x(t),u(t),t} \right]dt} $；

• 求解方法：庞特里亚金最小值原理PMP，贝尔曼动态规划DP；

• $J = \phi \left[ {x({t_0}),{t_0},x({t_f}),{t_f} } \right] + \int_{ {t_0} }^{ {t_f} } {L\left[ {x(t),u(t),t} \right]dt} $；

• 动态约束：$\dot x(t)=f[x(t),u(t),t]$；

• 路径约束：$b[x(t),u(t),t]\le 0$

• 边界条件：$\phi[x(t_0),t_0,x(t_f),t_f]=0$

• 特殊情况：线性二次型最优控制LQ：$J = \frac{1}{2}{x^T}({t_f}){S_f}x({t_f}) + \frac{1}{2}\int_{ {t_0} }^{ {t_f} } {\left[ { {x^T}(t)Q(t)x(t) + {u^T}(t)R(t)u(t)} \right]} dt$

• 线性时变系统线性一阶动态约束：$\dot x=A(t)x(t)+B(t)u(t)$（初值：$x(t_0)=x_0$）；

4.泛函：“函数的函数”；$y=J[x(t)]$；

• 增量：$\Delta J=J(x+\delta x)-J(x)=\delta J(x,\Delta x)+H\Delta T$，$\delta J(x,\Delta x)+g(x,\Delta x)\left| {\delta x} \right|$；

• 变分：$\delta J = {\left. {\frac{\partial }{ {\partial \alpha } }J\left[ {x(t) + \alpha \delta x(t)} \right]} \right

  {\alpha = 0} },0 \le \alpha \le 1$；$x^*$是极值曲线则$\delta J[x^*,\delta x]=0$，只有当$\delta J[x^*,\delta x]=0$且$\delta^2 J[x^*,\delta x]>0$，$\beta(t_0)=\beta(t_1)=0$，$\int{ {t_0} }^{ {t_1} } { {\alpha ^T}(t)\beta (t)dt = 0} $，则$\alpha(t)\equiv 0,\forall t \in \left[ { {t_0},{t_1} } \right]$；

5.泛函取极值的必要条件：

考虑泛函$J(x) = \int_{ {t_0} }^{ {t_f} } {L(x,\dot x,t)dt} $，${\bf{x} } \in { {\bf{R} }^n}$，边界条件$x({t_0}) = {x_0},x({t_f}) = {x_f}$，$x^*$为极值的必要条件；$\delta J = \int_{ {t_0} }^{ {t_f} } {\left( {\frac{ {\partial L} }{ {\partial x} } - \frac{d}{ {dt} }\frac{ {\partial L} }{ {\partial \dot x} } } \right)} \delta xdt = 0 \Rightarrow \frac{ {\partial L} }{ {\partial x} } = \frac{d}{ {dt} }\frac{ {\partial L} }{ {\partial \dot x} }$；

• 端点固定下的泛函极值：$ {\operatorname*{\min} }\limits_{x(t)} J(x) = \int_{ {t_0} }^{ {t_f} } {L(x,\dot x,t)dt} ,\ \ {\rm{s} }{\rm{.t} }{\rm{.} } \ x({t_0}) = {x_0},x({t_f}) = {t_f}$；
  • 必要条件：$\boxed{\delta J = \int_{ {t_0} }^{ {t_f} } {\left( {\frac{ {\partial L} }{ {\partial x} } - \frac{d}{ {dt} }\frac{ {\partial L} }{ {\partial \dot x} } } \right)} \delta xdt}$ $\Rightarrow $$\boxed{\left{ \begin{array}{l}\frac{ {\partial L} }{ {\partial x} } - \frac{d}{ {dt} }\frac{ {\partial L} }{ {\partial \dot x} } = 0\x({t_0}) = {x_0},x({t_f}) = {t_f}\end{array} \right.}$；
  • $\boxed{\frac{ {\partial L} }{ {\partial x} } - \frac{d}{ {dt} }\frac{ {\partial L} }{ {\partial \dot x} } = 0}$即为欧拉方程；
• 端点自由下的泛函极值：$ {\operatorname*{\min} }\limits_{x(t)} J(x) = \int_{ {t_0} }^{ {t_f} } {L(x,\dot x,t)dt} , \ \ {\rm{s} }{\rm{.t} }{\rm{.} } \ x({t_0}) = {x_0}$，$t_f$,$x(t_f)$自由；

  • 欧拉方程：$\boxed{\frac{ {\partial L} }{ {\partial x^} } - \frac{d}{ {dt} }\frac{ {\partial L} }{ {\partial \dot x^} } = 0,{\left. {\frac{ {\partial L} }{ {\partial {x^*} } } } \right

    _{ {t_f} } } = 0,{\left. L \right

    _{ {t_f} } } = 0}$；

  • $\boxed{\delta J = \int_{ {t_0} }^{ {t_f} } {\left( {\frac{ {\partial L} }{ {\partial x} } - \frac{d}{ {dt} }\frac{ {\partial L} }{ {\partial \dot x} } } \right)} \delta xdt + {\left. {\frac{ {\partial L} }{ {\partial \dot x} } } \right

    _{ {t_f} } }\delta {t_f} + {\left. {\left[ {L - \frac{ {\partial L} }{ {\partial \dot x} }\dot x} \right]} \right

    _{ {t_f} } }\delta {t_f} }$；

  • 必要条件推导：

    • 情形1：$t_f$固定，$x(t_f)$自由：$\frac{ {\partial L} }{ {\partial x} } - \frac{d}{ {dt} }\frac{ {\partial L} }{ {\partial \dot x} } = 0,{\left. {\frac{ {\partial L} }{ {\partial \dot x} } } \right

      _{ {t_f} } } = 0$；

    • 情形2：$t_f$自由，$x(t_f)$固定：$\frac{ {\partial L} }{ {\partial x} } - \frac{d}{ {dt} }\frac{ {\partial L} }{ {\partial \dot x} } = 0,{\left. {\left[ {L - \frac{ {\partial L} }{ {\partial \dot x} }\dot x} \right]} \right

      _{ {t_f} } }\delta {t_f} = 0$；

    • 情形3：$t_f$，$x(t_f)$自由，$t_f$，$x(t_f)$不相关：$\frac{ {\partial L} }{ {\partial x} } - \frac{d}{ {dt} }\frac{ {\partial L} }{ {\partial \dot x} } = 0,{\left. {\frac{ {\partial L} }{ {\partial {x} } } } \right

      _{ {t_f} } } = 0,{\left. L \right

      _{ {t_f} } } = 0$；

    • 情形4：$t_f$，$x(t_f)$自由，$t_f$与$x(t_f)$相关，满足$x(t_f)=\theta(t_f)$：$\delta {x_f} = {\left. {\dot x} \right

      _{ {t_f} } }\delta {t_f} = {\left. {\dot \theta } \right

      { {t_f} } }\delta {t_f}$，$\delta J = \int{ {t_0} }^{ {t_f} } {\left( {\frac{ {\partial L} }{ {\partial x} } - \frac{d}{ {dt} }\frac{ {\partial L} }{ {\partial \dot x} } } \right)} \delta xdt + {\left. {\left[ {L - \frac{ {\partial L} }{ {\partial \dot x} }(\dot \theta- \dot x)} \right]} \right

      _{ {t_f} } }\delta {t_f}=0$，必要条件欧拉方程为$\boxed{L + \left. {\frac{ {\partial L} }{ {\partial \dot x} }(\dot \theta - \dot x)} \right

      = 0}$；

• 有约束的泛函极值：$ {\operatorname{\min} }\limits_{ {x^}(t)} J(x) = \int_{ {t_0} }^{ {t_f} } {g(x,\dot x,t)dt} ,\ \ {\rm{s} }{\rm{.t} }{\rm{.} } \ f(x,\dot x,t) = 0$；由Lagrange乘子法得到无约束泛函极值：$ {\operatorname{\min} }\limits_{ {x^}(t)} {J_a} = \int_{ {t_0} }^{ {t_f} } {Ldt} ,L = g(x,\dot x,t) + f(x,\dot x,t)$，其必要条件为：$\frac{ {\partial L} }{ {\partial x} } - \frac{d}{ {dt} }\frac{ {\partial L} }{ {\partial \dot x} } = 0,f(x,\dot x,t) = 0$；

\begin{table}[H]
    \caption{\textbf{不同情形下泛函极值边界条件的确定} } % Title of the table
    \label{Tab.boundary}
    \centering % Center the table
    \begin{tabular}{ccc} % 3 columns, all centered
        \toprule % Top horizontal line
        端点情况 & 边界条件 & 备注 \\
        \midrule % Middle horizontal line
        1. $ t_f, x(t_f) $ 均固定 & $ x^*(t_0)=x_0, \, x^*(t_f)=x_f $ & $ 2n $ 个方程用于确定 $ 2n $ 个积分常数 \\
        2. $ t_f $ 固定，$ x(t_f) $ 自由 & $x^*(t_0)=x_0, \,{\left. {\frac{ {\partial L({x^*},{ {\dot x}^*},t)} }{ {\partial \dot x} } } \right|_{ {t_f} } } = 0$ & $ 2n $ 个方程用于确定 $ 2n $ 个积分常数 \\
        3. $ t_f $ 自由，$ x(t_f) $ 固定 &  $ x^*(t_0)=x_0, \, x^*(t_f)=\theta(t_f) $ ,${\left. {L({x^*},{ {\dot x}^*},t)} \right|_{ {t_f} } } - {\left[ { { {\left. {\frac{ {\partial L({x^*},{ {\dot x}^*},t)} }{ {\partial \dot x} } } \right|}_{ {t_f} } } } \right]^T}{ {\dot x}^*}({t_f}) = 0$  & $(2n+1) $ 个方程用于求解 $ 2n $ 个积分常数和 $ t_f $ \\
        4. $ t_f, x(t_f) $ 均自由且独立 & $ x^*(t_0)=x_0$,${\left. {L({x^*},{ {\dot x}^*},t)} \right|_{ {t_f} } }=0,\ {\left. {\frac{ {\partial L({x^*},{ {\dot x}^*},t)} }{ {\partial \dot x} } } \right|_{ {t_f} } } = 0$ & $ (2n+1) $ 个方程用于求解 $ 2n $ 个积分常数和 $ t_f $ \\
        5. $ t_f, x(t_f) $ 均自由但满足 $ x(t_f) = \theta(t_f) $ & $ x^*(t_0)=x_0, \, x^*(t_f)=\theta(t_f) $,$ \left.L(x^*, \dot{x}^*, t)\right|_{t_f} + \left[\left.\frac{\partial L(x^*, \dot{x}^*, t)}{\partial \dot{x} }\right|_{t_f}\right]^T \left[\frac{d\theta}{dt}(t_f) - \dot{x}^*(t_f)\right] = 0 $ &  $ (2n+1) $ 个方程用于求解 $ 2n $ 个积分常数和 $ t_f $  \\
        \bottomrule % Bottom horizontal line
    \end{tabular}
\end{table}

6.变分法最优控制问题

• 可行的$u^*$，$\dot x=f(x,u,t),x\in R^n,u\in R^m,x(t_0)=x_0$，$\psi[x(t_f),t_f]=0$；
• 最小化目标值$J=\phi[x(t_f),t_f]+\int_{ {t_0} }^{ {t_f} } {L\left[ {x,u,t} \right]dt} $，$\left{ \begin{array}{l}{t_f}:确定/自由 \x({t_f}):确定/自由/由\Psi [x({t_f}),{t_f}] = 0约束\end{array} \right.$；
• （对照5.中有约束的泛函极值）有约束的最优控制问题：$ {\operatorname{\min} }\limits_{ {u^}(t)} J(x) = \phi[x(t_f),t_f]+\int_{ {t_0} }^{ {t_f} } {L(x,u,t)dt} ,\ \ {\rm{s} }{\rm{.t} }{\rm{.} } \ f(x,u,t)-\dot x = 0,\ x(t_0)=0,\ \psi[x(t_f),t_f]=0$，$x({t_f})$确定/自由/由$\psi [x({t_f}),{t_f}] = 0$约束；
• 求解：转化为无约束最优控制问题，实质为有两类约束的泛函极值：$min J_a=\phi+\int_{ {t_0} }^{ {t_f} } {Ldt}+\lambda(f-\dot x)+\gamma \psi$，得到无约束最优控制问题： ${\operatorname{\min} }\limits_{ {u^}(t)} J_a = \phi+\gamma \psi+\int_{ {t_0} }^{ {t_f} } {[L+\lambda(f-\dot x)]dt}$；

• 古典变分法求解：$t_f$固定情形，$\phi \rightarrow \phi[x(t_f)]$，$\psi \rightarrow \psi[x(t_f)]$，$J_a=\phi+\gamma \psi+ \int_{ {t_0} }^{ {t_f} } {(L+\lambda f- \lambda \dot x)dt}$，令$L+\lambda f=H(x,u,\lambda t)$，${J_a} = \phi + \gamma \psi + \int_{ {t_0} }^{ {t_f} } {(H - \lambda \dot x)dt} = \phi + \gamma \psi - \left. {\lambda x} \right

  { {t_0} }^{ {t_f} } + \int{ {t_0} }^{ {t_f} } {(H + \lambda \dot x)dt} $；

• $\star$：$\delta {J_a} = \frac{ {\partial \phi } }{ {\partial x({t_f})} }\delta x({t_f}) + \gamma \frac{ {\partial \psi } }{ {\partial x({t_f})} }\delta x({t_f}) - {\left. \lambda \right

  { {t_f} } }\delta x({t_f}) + \int{ {t_0} }^{ {t_f} } {\left( {\frac{ {\partial H} }{ {\partial x} }\delta x + \frac{ {\partial G} }{ {\partial u} }\delta u + \dot \lambda \delta x} \right)dt}=$$\boxed{\left[ {\frac{ {\partial \phi } }{ {\partial x({t_f})} } + \gamma \frac{ {\partial \psi } }{ {\partial x({t_f})} } - \lambda ({t_f})} \right]\delta x({t_f}) + \left( {\frac{ {\partial \phi } }{ {\partial {t_f} } } + \gamma \frac{ {\partial \psi } }{ {\partial {t_f} } } + { {\left. H \right

  }{ {t_f} } } } \right)\delta {t_f} + \int{ {t_0} }^{ {t_f} } {\left[ {\left( {\frac{ {\partial H} }{ {\partial x} } + \dot \lambda } \right)\delta x + \frac{ {\partial H} }{ {\partial u} }\delta u} \right]dt} }$ $= 0$，其中$\boxed{\left( {\frac{ {\partial \phi } }{ {\partial {t_f} } } + \gamma \frac{ {\partial \psi } }{ {\partial {t_f} } } + { {\left. H \right

  }_{ {t_f} } } } \right)\delta {t_f} }$项仅当$t_f$为自由情形下；

• 必要条件：$\frac{ {\partial H} }{ {\partial x} } + \dot \lambda = 0,\frac{ {\partial H} }{ {\partial u} }$，哈密顿函数：$\boxed{H(x,u,\lambda,t)=L+\lambda^Tf}$，①正则方程：$\left{ \begin{array}{l}协状态方程:\boxed{\dot \lambda = - \frac{ {\partial H} }{ {\partial x} } }\状态方程:\boxed{\dot x = f = \frac{ {\partial H} }{ {\partial \lambda } } }\end{array} \right.$，②边界条件（和谐条件）：$x(t_0)=x_0,\psi [x(t_f)]=0,\boxed{\lambda ({t_f}) = \frac{ {\partial \phi } }{ {\partial x({t_f})} } + \gamma \frac{ {\partial \psi } }{ {\partial x({t_f})} } }$，③控制方程（极值条件）：$\boxed{\frac{ {\partial H} }{ {\partial u} }=0}$；

3.庞特里亚金极小值原理 PMP

1.问题描述：确定一个可行域中的分段-连续最优控制$u^* \in \Omega$，；

2.$H(x^,u^,\lambda^,t)\le H(x^,u,\lambda^*,t)$；

3.定理3.1：$ {\operatorname*{\min} }\limits_{u(t)\in \Omega} J(x) =\phi[x(t_f),t_f]+ \int_{ {t_0} }^{ {t_f} } {L(x,u,t)dt} ,\ \ {\rm{s} }{\rm{.t} }{\rm{.} } \ f(x,u,t)-\dot x = 0,\ x(t_0)=x_0,\ \psi[x(t_f),t_f]=0$；

• 必要条件：
  • ①$x,\lambda$满足正则方程：$\boxed{\dot \lambda = - \frac{ {\partial H} }{ {\partial x} },\ \dot x = \frac{ {\partial H} }{ {\partial \lambda } } }$；
  • ②横截条件：$\boxed{x({t_0}) = 0,\ \psi [x({t_f}),{t_f}] = 0,\ \lambda ({t_f}) = \frac{ {\partial \phi } }{ {\partial x({t_f})} } + \gamma \frac{ {\partial \psi } }{ {\partial x({t_f})} } }$；
  • ③控制方程：$\boxed{H({x^},{u^},{\lambda ^},t) = \mathop {\operatorname{min} }\limits_{u \in \Omega } H({x^},u,{\lambda ^},t)}$；
  • ④$t_f$自由：$\boxed{H({t_f}) = - \frac{ {\partial \phi } }{ {\partial {t_f} } } - {\gamma ^T}({t_f})\frac{ {\partial \psi } }{ {\partial {t_f} } } }$；
• 附加必要条件：
  • ①若$t_f$固定，$H$不显含$t$，则$H$须满足在时间区间上为常值，$H[x^(t),u^(t),\lambda^*(t)]=c_1,\ t\in[t_0,t_f]$；
  • ②若$t_f$自由，$H$不显含$t$，则$H$须满足在时间区间上为0，$H[x^(t),u^(t),\lambda^*(t)]=0,\ t\in[t_0,t_f]$；

4.极小值原理应用——时间最优控制（TOC）：$\mathop {\operatorname{min} }\limits_{\left| u \right| \le 1} J = \int_0^{ {t_1} } {dt} = {t_1}, \ \ {\rm{s} }{\rm{.t} }{\rm{.} }\begin{array}{{20}{c} }
{ { {\dot x}_1} = {x_2},\ {x_1}(0) = - 8,\ {x_1}({t_1}) = 0}\
{ { {\dot x}_2} = u,\ {x_2}(0) = 0,\ {x_2}({t_1}) = 0}
\end{array}$；

• 找寻时间最短到达原点的控制；

• 协态方程$\left{ \begin{array}{l}
  { {\dot \lambda }_1} = 0\
  { {\dot \lambda }_2} = - {\lambda _1}
  \end{array} \right. \Rightarrow \left{ \begin{array}{l}
  {\lambda _1} = c\
  {\lambda _2} = - ct + {c_1}
  \end{array} \right.$；
• $H=1+\lambda_1 x_2+\lambda_2 u$​，$\mathop {\operatorname{min} }\limits_{\left| u \right| \le 1} H \Rightarrow {u^} = \left{ \begin{array}{l}
  1,\ {\lambda _2} < 0\
  -1,\ {\lambda _2} > 0
  \end{array} \right.$；（Bang-Bang控制），实际系统中使用继电器实现；
• 情形1：$u=1$​，$\left{ \begin{array}{l}
  { {\dot x}1} = {x_2}\
  { {\dot x}_2} = 1
  \end{array} \right. \Rightarrow \left{ \begin{array}{l}
  {x_1} = 0.5{t^2} + {x{20} }t + {x_{10} }\
  {x_2} = t + {x_{20} }
  \end{array} \right. \Rightarrow {x_1} = 0.5x_2^2 + c$，为相平面上一组开口向右的抛物线，由于$\dot x_2=1$，取从下往上的方向；
• 情形2：$u=-1$，$\Rightarrow x_1=0.5x_2^2+c$，为相平面上一组开口向左的抛物线，由于$\dot x_2=-1$，取从上往下的方向；
• 切换：曲线把相平面分为两部分；

• 切换曲线（开关曲线）：$\boxed{\gamma = \left{ {\left. {({x_1},{x_2})} \right

  {x_1} = - 0.5{x_2}\left

  { {x_2} } \right

  } \right} }$

5.极小值原理应用——燃料最优控制（FOC）：$\mathop {\operatorname{min} }\limits_{\left| u \right| \le 1} J = \int_0^{ {t_1} } {\left| u \right|dt} ,\;\;{\rm{s} }.{\rm{t} }.\begin{array}{{20}{c} }
{ { {\dot x}1} = {x_2},\;{x_1}(0) = {x{10} },\;{x_1}({t_1}) = 0}\
{ { {\dot x}2} = u,\;{x_2}(0) = {x{20} },\;{x_2}({t_1}) = 0}
\end{array}$；

• $H=|x|+\lambda_1 x_2+\lambda_2 u$，$\mathop {\operatorname{min} }\limits_{\left| u \right| \le 1} H \Rightarrow {u^} = \left{ \begin{array}{l}
  1,{\lambda _2} <-1\
  0, -1 < {\lambda _2} < 1\
  -1,{\lambda _2} > 1
  \end{array} \right.$（$\lambda_2$取-1，1时u不确定）；（Bang-off-Bang控制）；
• ${u^*}(t) = \left{ \begin{array}{l}
  1,\forall ({x_{10} },{x_{20} }) \in {\gamma _ + }\
  -1,\forall ({x_{10} },{x_{20} }) \in {\gamma _ - }\
  0,\forall ({x_{10} },{x_{20} }) \in {S_2} \cup {S_4}
  \end{array} \right.$（0为水平往原点移动），当$\forall ({x_{10} },{x_{20} }) \in {S_1} \cup {S_3}$严格最优控制不存在，$\epsilon-FOC$次优解仍存在；

6.加权时间-燃料最优控制：$\mathop {\operatorname{min} }\limits_{\left| u \right| \le 1} J = \int_0^{ {t_1} } {\left| {\rho + \left| {u(t)} \right|} \right|dt} ,\;\;{\rm{s} }.{\rm{t} }.\begin{array}{{20}{c} }
{ { {\dot x}1} = {x_2},\;{x_1}(0) = {x{10} },\;{x_1}({t_1}) = 0}\
{ { {\dot x}2} = u,\;{x_2}(0) = {x{20} },\;{x_2}({t_1}) = 0}
\end{array}$；

• $H=\rho +|u(t)|+\lambda_1 x_2+\lambda_2 u$；最优控制${u^*}(t) = \left{ \begin{array}{l}
  1,\;{\lambda _2} < - 1\
  0,\; - 1 < {\lambda _2} < 1\
  -1,\;{\lambda _2} > 1\
  \left[ {0,1} \right],\;{\lambda _2} = - 1\
  \left[ { - 1,0} \right],\;{\lambda _2} = 1
  \end{array} \right.$；

• 两条分界轨线：$\boxed{\gamma = \left{ {\left. {({x_1},{x_2})} \right

  {x_1} = - 0.5{x_2}\left

  { {x_2} } \right

  } \right} }$；$\boxed{\mu = \left{ {\left. {({x_1},{x_2})} \right

  {x_1} = - \frac{ {\rho + 4} }{ {2\rho } }{x_2}\left

  { {x_2} } \right

  } \right} }$；

• 各区域的最优控制${u^*}(t) = \left{ \begin{array}{l}-1,\;({x_1},{x_2}) \in {R_1}\
  0,\;({x_1},{x_2}) \in {R_2} \cup {R_4}\
  1,\;({x_1},{x_2}) \in {R_3}
  \end{array} \right.$；

4.动态规划 DP

1.${J_n}(x) = \mathop {\operatorname*{min} }\limits_{ {S_n}(x)} \left{ {d\left[ {x,{S_n}(x)} \right] + {J_{n - 1} }\left[ { {S_n}(x)} \right]} \right}$；

2.问题描述：$u^(k) \in \Omega$，$x(k+1)=f[x(k),u(k),k],k=0,1,2,\cdots,N-1$，$x(0)=x_0$，求$x^(k)$使指标$J = \phi \left[ {x(N),N} \right] + \sum\limits_{k = 0}^{k - 1} {L\left[ {x(k),u(k),k} \right]} $最小；

3.定理4.1：递归方程$J_{N - k}^\left[ {x(k),k} \right] = \mathop {\operatorname{min} }\limits_{u(k) \in \Omega } \left{ {L\left[ {x(k),u(k),k} \right] + J_{N - k - 1}^\left[ {x(k - 1),k - 1} \right]} \right}$， $k=0,1,2,\cdots,N-1$，初值为$J_0^\left[ {x(N),N} \right] = \phi \left[ {x(N),N} \right]$；始于末端，终于始端，逆向递推；

4.计算步骤：

• 定义N阶最优控制$u^(N-1)$：$J_1^\left[ {x(N - 1)} \right] = \mathop {\operatorname{min} }\limits_{u(N - 1) \in \Omega } \left{ {L\left[ {x(N - 1),u(N - 1),N - 1} \right] + J_0^\left[ {x(N)} \right]} \right} $ $\Rightarrow {u^}(N - 1) = {u^}\left[ {x(N - 1)} \right],J_1^*\left[ {x(N - 1)} \right]$；
• 定义N-1阶最优控制$u^(N-2)$：$J_2^\left[ {x(N - 2)} \right] = \mathop {\operatorname{min} }\limits_{u(N - 2) \in \Omega } \left{ {L\left[ {x(N - 2),u(N - 2),N - 2} \right] + J_1^\left[ {x(N-1)} \right]} \right} $ $\Rightarrow {u^}(N - 2) = {u^}\left[ {x(N - 2)} \right],J_2^*\left[ {x(N - 2)} \right]$；
• 定义2阶最优控制$u^(1)$：$J_{N-1}^\left[ {x(1)} \right] = \mathop {\operatorname{min} }\limits_{u(1) \in \Omega } \left{ {L\left[ {x(1),u(1),1} \right] + J_{N-2}^\left[ {x(2)} \right]} \right} $ $\Rightarrow {u^}(N - 2) = {u^}\left[ {x(1)} \right],J_{N-1}^*\left[ {x(2)} \right]$；
• 定义1阶最优控制$u^(0)$：$J_N^\left[ {x(0)} \right] = \mathop {\operatorname{min} }\limits_{u(0) \in \Omega } \left{ {L\left[ {x(0),u(0),0} \right] + J_{N-1}^\left[ {x(1)} \right]} \right} $ $\Rightarrow {u^}(0) = {u^}\left[ {x(0)} \right],J_N^*\left[ {x(0)} \right]$；
• 根据$x(0)$可依次计算$u^(0),x^(1),u^(1),\cdots,x^(N-1),u^*(N-1)$及最小消耗；

5.线性二次型最优控制LQR

1.线性二次型状态调节器：$\mathop {\operatorname*{min} }\limits_{u(t)} J = \frac{1}{2}{x^T}({t_f})Fx({t_f}) + \frac{1}{2}\int_{ {t_0} }^{ {t_f} } {\left[ { {x^T}Q(t)x + {u^T}R(t)u} \right]dt} $，$F=F^T \ge 0,\ Q(t)=Q^T(t)> 0,\ R(t)=R^T(t)>0$，${\rm{s} }.{\rm{t} }.\;\dot x(t) = Ax + Bu,x(0) = {x_0}$；

2.线性二次型跟踪问题：$\mathop {\operatorname*{min} }\limits_{u(t)} J = \frac{1}{2}{e^T}({t_f})Fe({t_f}) + \frac{1}{2}\int_{ {t_0} }^{ {t_f} } {\left[ { {e^T}Q(t)e + {u^T}R(t)u} \right]dt} $，

3.线性二次型系统物理意义：

4.线性二次型最优状态调节器：$\mathop {\operatorname*{min} }\limits_{u(t)} J = \frac{1}{2}{x^T}({t_f})Fx({t_f}) + \frac{1}{2}\int_{ {t_0} }^{ {t_f} } {\left( { {x^T}Qx + {u^T}Ru} \right)dt},\ {\rm{s} }.{\rm{t} }.\;\dot x(t) = Ax + Bu$；

• 定理5.1：充要条件$\boxed{u^*(t)=-R^{-1}(t)B^T(t)P(t)x(t)}$；
• P是对称半正定阵，$P=P^T \ge 0$，满足微分黎卡提方程DRE：$\boxed{-\dot P=PA+A^TP+Q-PBR^{-1}B^TP}$；
• 边界条件$P(t_f)=F$；
• 对应的最优性能指标$J^*(x_0)=0.5x_0^TP(t_0)x_0$；
• 定理5.2：P存在且唯一，则该问题最优控制存在且唯一；

5.若控制对象$x(t_f)=0$则$J=x^TFx+\int_{ {t_0} }^{ {t_f} } {\left( { {x^T}Qx + {u^T}Ru} \right)dt}$，F为补偿函数；

• IDRE：$\dot P^{-1}=P^{-1}A^T+AP^{-1}-PR^{-1}B^T+P^{-1}QP^{-1}$，其中$P(t_f)=0$；

6.无限时间状态调节器：$\mathop {\operatorname*{min} }\limits_{u(t)} J = \frac{1}{2}\int_{ {t_0} }^{ {\infty} } {\left( { {x^T}Qx + {u^T}Ru} \right)dt}$，$Q(t)=Q^T(t)\ge 0,\ R(t)=R^T(t)\ge 0$，${\rm{s} }.{\rm{t} }.\;\dot x(t) = Ax + Bu,\ x(0)=x_0$，$u(t)$无边界；

• 定理5.3：若线性系统${\bf{A},\bf{B}}$完全可控，则存在唯一的最优控制$\boxed{u^(t)=-R^{-1}(t)B^T(t)\bar P(t)x(t)}$，当$\bar P(t) = \mathop {\lim }\limits_{ {t_f} \to \infty } P(t),\ \bar P(t)=\bar P^T(t)\ge 0$，且$P(t)$满足DRE：$-\dot P=PA+A^TP+Q-PBR^{-1}B^TP$，边界条件$P(t_f)=0$，此时最优性能指标$J^=\frac{1}{2}x^T(t_0)\bar P(t_0)x(t_0)$；

7.无限时间线性定常（时不变）二次型最优控制系统：$\mathop {\operatorname*{min} }\limits_{u(t)} J = \frac{1}{2}\int_{ {0} }^{ {\infty} } {\left( { {x^T}Qx + {u^T}Ru} \right)dt}$；

• 定理5.4：矩阵${\bf{D} }$满足分解${\bf{D} }{ {\bf{D} }^T} = {\bf{Q} }$及代数黎卡提方程ARE：$\boxed{PA+A^TP+Q-PBR^{-1}B^TP=0}$，则$\bf{P}$对称且正定（$\bf{P}=\bf{P^T}>0$）$ \Leftrightarrow $ ${\bf{A},\bf{D}}$完全能观；
• 定理5.5：对线性定常（时不变）系统，若${\bf{A},\bf{B}}$完全能控且${\bf{A},\bf{D}}$完全能观，$\bf{D}$满足分解${\bf{D} }{ {\bf{D} }^T} = {\bf{Q} }$，则存在唯一的最优控制$u^(t)=-R^{-1}B^TPx(t)$，其中$\bf{P}$满足ARE：$PA+A^TP+Q-PBR^{-1}B^TP=0$，此时最优性能指标$J^=\frac{1}{2}x_0^TPx_0$；
• 定理5.6：最优闭环系统状态调节器具备全局渐近稳定性GAS：$\boxed{\dot x(t)=(A-BR^{-1}B^TP)x(t)}$，$x(0)=x_0$；${\bf{A},\bf{B}}$能控性保证最优解存在。${\bf{A},\bf{D}}$能观性保证了系统GAS；
• 当系统不能控的状态收敛，称为可稳；当系统不能观的状态收敛，称为可检；

6.最优输出跟踪

1.有限时间最优输出跟踪问题：$\mathop {\operatorname*{min} }\limits_{u(t)} J = \frac{1}{2}{e^T}({t_f})Fe({t_f}) + \frac{1}{2}\int_{ {t_0} }^{ {t_f} } {\left( { {e^T}Qe + {u^T}Ru} \right)dt} $，${\rm{s} }.{\rm{t} }.\;\dot x(t) = Ax + Bu,y=Cx,e(t)=y_d-y,x(t_0)=x_0$；

• 构造$H=\frac{1}{2}(y_d-Cx)^TQ(y_d-Cx)+\frac{1}{2}u^TRu+\lambda^TAx+\lambda^TBu$，$\frac{ {\partial H} }{ {\partial u} } = Ru + {B^T}\lambda = 0$；
• $u^*=-R^{-1}B^T\lambda,\ \dot \lambda=-\frac{ {\partial H} }{ {\partial x} }=-C^TQCx+C^TQy_d-A^T\lambda,\ \lambda=Px-g(t)$，$\dot x=Ax-BR^{-1}B^T\lambda,\ \lambda(t_f)=C^TQCx(t_f)-C^TQy_d$；

2.定理6.1：当${\bf{A},\bf{C}}$完全能观，存在最优控制$u^*(t)=-R^{-1}B^T(Px-g)$，当$P(t)=P^T(t) \ge 0$，$g(t)$满足$-\dot P(t)=PA+A^TP-PBR^{-1}B^TP+C^TQC$，$-g(t_f)=C^TQy_d+(A-BR^{-1}B^TP)^Tg$，边界条件为$P(t_f)=C^T(t_f)FC(t_f),\ g(t_f)=C^T(t_f)Fy_d(t_f)$；

3.定理6.2：对LTI系统，若${\bf{A},\bf{B}}$完全能控，${\bf{A},\bf{C}}$完全能观，则存在唯一最优控制$\hat u(t) = - {R^{ - 1} }{B^T}Px(t) + {R^{ - 1} }{B^T}g$，其中P满足ARE：$PA+A^TP+Q-PBR^{-1}B^TP=0$，$g = {\left[ {PB{R^{ - 1} }{B^T} - {A^T} } \right]^{ - 1} }{C^T}Q{y_d}$；

4.带有给定稳定度的状态调节：$\mathop {\operatorname*{min} }\limits_{u(t)} J = \frac{1}{2}\int_{ {t_0} }^{ {\infty} } {e^{2\alpha t}\left( { {x^T}Qx + {u^T}Ru} \right)dt}$，${\rm{s} }.{\rm{t} }.\;\dot x(t) = Ax + Bu,x(t_0)=x_0$；

• 当${\bf{A},\bf{B}}$能控且${\bf{A},\bf{D}}$能观：$u^*=-R^{-1}B^Tx$，$(A^T+\alpha I)P+P(A+\alpha I)+Q-PBR^{-1}B^TP=0$；