庞特里亚金最大化原理

庞特里亚金最大化原理（Pontryagin's maximum principle）也根据使用条件稱為庞特里亚金最小化原理或最大值原理及最小值原理，是最优控制中的理論，是在狀態或是輸入控制項有限制條件的情形下，可以找到將动力系统由一個狀態到另一個狀態的最優控制信號。此理論是蘇俄數學家列夫·庞特里亚金及他的學生在1956年提出的^[1]。這是变分法中歐拉-拉格朗日方程的特例。

簡單來說，此定理是指在所有可能的控制中，需讓「控制哈密頓量」（control Hamiltonian）取極值，極值是最大值或是最小值則依問題以及哈密頓量的符號定義而不同。正式的用法，也就是哈密頓量中所使用的符號，會取到最大值，但是此條目中使用的符號定義方式，會讓極值取到最小值。

若${\displaystyle {\mathcal {U}}}$是所有可能控制值的集合，則此原理指出，最優控制${\displaystyle u^{*}}$必須滿足以下條件：

${\displaystyle H(x^{*}(t),u^{*}(t),\lambda ^{*}(t),t)\leq H(x^{*}(t),u,\lambda ^{*}(t),t),\quad \forall u\in {\mathcal {U}},\quad t\in [t_{0},t_{f}]}$

其中${\displaystyle x^{*}\in C^{1}[t_{0},t_{f}]}$是最佳狀態軌跡，而${\displaystyle \lambda ^{*}\in BV[t_{0},t_{f}]}$是最佳 協態軌跡^[2]

此結果最早成功的應用在輸入控制有限制條件的最小時間問題中，不過也可以用在狀態有限制條件的問題中。

也可以推導控制哈密頓量的特殊條件。若最終時間${\displaystyle t_{f}}$固定，且控制哈密頓量不是時間的顯函數${\displaystyle \left({\tfrac {\partial H}{\partial t}}\equiv 0\right)}$，則：

${\displaystyle H(x^{*}(t),u^{*}(t),\lambda ^{*}(t))\equiv \mathrm {constant} \,}$

若最終時間沒有限制，則：

${\displaystyle H(x^{*}(t),u^{*}(t),\lambda ^{*}(t))\equiv 0.\,}$

若在某一軌跡上滿足庞特里亚金最大化原理，此原理是最佳解的必要条件。哈密顿-雅可比-贝尔曼方程 提供了最佳解的充份必要條件，但該條件須在整個狀態空間中都要成立。

最大化和最小化

此定理一開始的名稱是庞特里亚金最大化原理（Pontryagin's maximum principle），其證明也是以控制哈密頓量最大化為基礎。此原理最早的應用是要最大化火箭的終端速度。不過後來此定理大部份的應用是使性能指標最小化，因此常稱為庞特里亚金最小化原理。庞特里亚金的書解出了要讓性能指標最小化的問題^[3]

符號

以下的內容會使用這些表示方式

${\displaystyle \Psi _{T}(x(T))={\frac {\partial \Psi (x)}{\partial T}}|_{x=x(T)}\,}$

${\displaystyle \Psi _{x}(x(T))={\begin{bmatrix}{\frac {\partial \Psi (x)}{\partial x_{1}}}|_{x=x(T)}&\cdots &{\frac {\partial \Psi (x)}{\partial x_{n}}}|_{x=x(T)}\end{bmatrix}}}$

${\displaystyle H_{x}(x^{*},u^{*},\lambda ^{*},t)={\begin{bmatrix}{\frac {\partial H}{\partial x_{1}}}|_{x=x^{*},u=u^{*},\lambda =\lambda ^{*}}&\cdots &{\frac {\partial H}{\partial x_{n}}}|_{x=x^{*},u=u^{*},\lambda =\lambda ^{*}}\end{bmatrix}}}$

${\displaystyle L_{x}(x^{*},u^{*})={\begin{bmatrix}{\frac {\partial L}{\partial x_{1}}}|_{x=x^{*},u=u^{*}}&\cdots &{\frac {\partial L}{\partial x_{n}}}|_{x=x^{*},u=u^{*}}\end{bmatrix}}}$

${\displaystyle f_{x}(x^{*},u^{*})={\begin{bmatrix}{\frac {\partial f_{1}}{\partial x_{1}}}|_{x=x^{*},u=u^{*}}&\cdots &{\frac {\partial f_{1}}{\partial x_{n}}}|_{x=x^{*},u=u^{*}}\\\vdots &\ddots &\vdots \\{\frac {\partial f_{n}}{\partial x_{1}}}|_{x=x^{*},u=u^{*}}&\ldots &{\frac {\partial f_{n}}{\partial x_{n}}}|_{x=x^{*},u=u^{*}}\end{bmatrix}}}$

最小化問題必要條件的正式敘述

以下是讓泛函最小化的必要條件。令${\displaystyle x}$為在輸入為${\displaystyle u}$時，動態系統的狀態，且滿足以下條件

${\displaystyle {\dot {x}}=f(x,u),\quad x(0)=x_{0},\quad u(t)\in {\mathcal {U}},\quad t\in [0,T]}$

其中

${\displaystyle {\mathcal {U}}}$為可行控制的集合

${\displaystyle T}$為系統的結束時間。

控制${\displaystyle u\in {\mathcal {U}}}$需在所有${\displaystyle t\in [0,T]}$內使目標泛函${\displaystyle J}$最小化，目標泛函${\displaystyle J}$隨應用而定，可以寫成

${\displaystyle J=\Psi (x(T))+\int _{0}^{T}L(x(t),u(t))\,dt}$

系統動態的限制可以用導入時變拉格朗日乘数向量${\displaystyle \lambda }$的方式和${\displaystyle L}$相加，而拉格朗日乘数向量${\displaystyle \lambda }$的元素稱為系統的協態（costate）。因此可以建構在所有 ${\displaystyle t\in [0,T]}$的哈密頓量為：

${\displaystyle H(x(t),u(t),\lambda (t),t)=\lambda ^{\rm {T}}(t)f(x(t),u(t))+L(x(t),u(t))\,}$

其中${\displaystyle \lambda ^{\rm {T}}}$是${\displaystyle \lambda }$的轉置。

庞特里亚金最小化原理提到最佳狀態軌跡${\displaystyle x^{*}}$，最佳控制${\displaystyle u^{*}}$及對應的拉格朗日乘数向量${\displaystyle \lambda ^{*}}$必需最小化哈密頓量${\displaystyle H}$，因此

${\displaystyle (1)\qquad H(x^{*}(t),u^{*}(t),\lambda ^{*}(t),t)\leq H(x^{*}(t),u,\lambda ^{*}(t),t)\,}$

針對所有${\displaystyle t\in [0,T]}$時間，也針對所有可能的控制輸入${\displaystyle u\in {\mathcal {U}}}$。以下的式子也必須成立

${\displaystyle (2)\qquad \Psi _{T}(x(T))+H(T)=0\,}$

而且也要滿足以下的協態方程

${\displaystyle (3)\qquad -{\dot {\lambda }}^{\rm {T}}(t)=H_{x}(x^{*}(t),u^{*}(t),\lambda (t),t)=\lambda ^{\rm {T}}(t)f_{x}(x^{*}(t),u^{*}(t))+L_{x}(x^{*}(t),u^{*}(t))}$

若最終狀態${\displaystyle x(T)}$沒有固定（其微分變異不為0），最終協態也要滿足以下條件

${\displaystyle (4)\qquad \lambda ^{\rm {T}}(T)=\Psi _{x}(x(T))\,}$

上述(1)-(4)的條件是最佳控制的必要條件。公式(4)只有在${\displaystyle x(T)}$沒有固定時才需要成立。若${\displaystyle x(T)}$是固定值，公式(4)不在必要條件中。

此解法可以應用在宇宙學和天體物理學中 ^[4]。

相關條目

• 巴拿赫空间下的拉格朗日乘数（英语：Lagrange multipliers on Banach spaces），變分法下中的拉格朗日法
• 奇異控制：無法利用龐特里亞金最小化原理求出完整解的最優控制問題。

腳註

1. 參考資料中有最早發表的論文
2. 在C¹及BV空間條目中有更多的資訊
3. 參照 Pontryagin 1962年的書，第13頁
4. Haggag, S.; Desokey, F.; Ramadan, M.,. A cosmological inflationary model using optimal control. Gravitation and Cosmology (Pleiades Publishing). 2017, 23 (3): 236–239. ISSN 1995-0721. doi:10.1134/S0202289317030069. 

參考資料

• Boltyanskii, V. G.; Gamkrelidze, R. V.; Pontryagin, L. S. К теории оптимальных процессов [Towards a Theory of Optimal Processes]. Dokl. Akad. Nauk SSSR. 1956, 110 (1): 7–10. MR 0084444 （俄语）. 
• Pontryagin, L. S.; Boltyanskii, V. G.; Gamkrelidze, R. V.; Mishchenko, E. F. The Mathematical Theory of Optimal Processes. English translation. Interscience. 1962. ISBN 2-88124-077-1. 
• Fuller, A. T. Bibliography of Pontryagin's maximum principle. J. Electronics & Control. 1963, 15 (5): 513–517. 
• Kirk, D. E. Optimal Control Theory: An Introduction. Prentice Hall. 1970. ISBN 0-486-43484-2. 
• Sethi, S. P.; Thompson, G. L. Optimal Control Theory: Applications to Management Science and Economics 2nd. Springer. 2000. ISBN 0-387-28092-8.  Slides are available at [1] （页面存档备份，存于互联网档案馆）
• Geering, H. P. Optimal Control with Engineering Applications. Springer. 2007. ISBN 978-3-540-69437-3. 
• Ross, I. M. A Primer on Pontryagin's Principle in Optimal Control. Collegiate. 2009. ISBN 978-0-9843571-0-9. 
• Cassel, Kevin W. Variational Methods with Applications in Science and Engineering. Cambridge University Press. 2013. 

外部連結

• Hazewinkel, Michiel (编), Pontryagin maximum principle, 数学百科全书, Springer, 2001, ISBN 978-1-55608-010-4