text: 哈密頓-雅可比-貝爾曼方程是一個偏微分方程，是最佳控制的中心。HJB方程式的解是針對特定動態系統及相關成本函式下，可以有最小成本的控制實值函式。若只在某一個區域求解，HJB方程是一個必要條件，若是在整個狀態空間下求解，HJB方程是充份必要條件。其解是針對開迴路的系統，但也允許針對閉迴路系統求解。HJB方程也可以擴充套件到隨機系統。一些經典的變分問題，例如最速降線問題，可以用此方法求解。HJB方程的基礎是以1950年代由理查德·貝爾曼及其同仁提出的動態規劃。對應的離散系統方程式一般稱為貝爾曼方程。在連續時間的結果可以視為由卡爾·雅可比及威廉·哈密頓提出，經典力學中哈密頓－雅可比方程的延伸。最佳控制的問題.考慮在時間formula_1內，以下確定系統最佳控制的問題：formula_2其中"C"[ ]為純量成本函式，"D"[ ]為計算其最終狀態時效力時或經濟值的函式，"x"("t")為系統狀態向量，"x"(0)假設已知，及"u"("t")是想要求得的控制向量，在 0 ≤ "t" ≤ "T"。此係統也需滿足下式：formula_3其中"F"[ ]可以根據狀態向量決定向量後續的變化。偏微分方程.針對上述簡單的系統，哈密頓-雅可比-貝爾曼微分方程如下：formula_4需符合以下條件formula_5其中formula_6為向量a和b的內積，而formula_7為梯度運運算元。上述PDE中的未知向量formula_9是貝爾曼間接效用函式，表示從時間formula_11，狀態formula_10開始控制系統，以最佳方式控制系統一直到時間formula_15的成本。推導HJB方程.HJB方程可以用以下的方式推導：假設formula_16是最佳的成本函式，則根據理查·貝爾曼的貝爾曼方程，從時間"t"到"t" + "dt"，可得：formula_17注意最後一項的泰勒展開式如下：formula_18其中o("dt")是泰勒展開式中的高階項，若在等式兩側刪除"V"("x"("t"), "t")，除以"dt"，並取"dt"趨近為零的極限，可得上述定義的HJB方程。求解方程.HJB方程一般會用求解，也就是從formula_19往前求解到formula_20。若對整個狀態空間求解，HJB方程是最佳解的充份必要條件。若可以求解formula_21，就可以找到達到最小成本的控制formula_22。一般而言，HJB方程不會有一個傳統光滑函式的解。為了這些情形發展了許多廣義解的表示方式，包括皮埃爾-路易·利翁及的粘性解，Andrei Izmailovich Subbotin的極小化極大演演算法等。延伸到隨機問題.上述的作法主要是應用貝爾曼的最最佳化原理，以及在時間上由最終時間倒推求解，針對隨機控制問題也可以用類似的作法求最佳解。考慮以下的問題formula_23此時formula_24為隨機過程，而formula_25為控制變數。首先使用貝爾曼方程，再用伊藤引理將formula_26展開，可以得到以下的隨機HJB方程。formula_27其中formula_28為隨機微分運運算元，以下是最終時間的限制條件。formula_29注意此時已沒有隨機性了。此例中後者的formula_30不一定是原來方程式的解，它只是可能解之一，需要再作驗證。此技巧常用在財務數學中，決定在市場中的最佳投資策略。在LQG控制的應用.下例是一個有線性隨機動態特性的系統，有二次式的成本。若系統動態為formula_31而成本以以下的速度累積formula_32，則HJB方程為formula_33假設價值函式是二次式，可以將一般的Riccati方程用在價值函式的海森矩陣中，即為線性二次高斯控制。
metadata.dataset: erhwenkuo/wikipedia-zhtw
metadata.title: 哈密頓-雅可比-貝爾曼方程
metadata.url: https://zh.wikipedia.org/wiki?curid=4355063