查看“黑塞矩陣”的源代码

'''黑塞矩陣'''（德語：Hesse-Matrix；英語：{{lang|en|Hessian matrix}} 或 {{lang|en|Hessian}}），又譯作'''海森矩陣'''、'''海塞矩陣'''或'''海瑟矩陣'''等，是一個由多變量[[實函數|實值函數]]的所有二階[[偏導數]]組成的[[方塊矩陣]]，由德國數學家[[奧托·黑塞]]引入並以其命名。

== 定義 ==

假設有一實值函數<math>f(x_1, x_2, \dots, x_n)\,</math>，如果 <math>f\,</math>的所有二階偏導數都存在並在定義域內連續，那麼函數<math>f\,</math>的黑塞矩陣為

:<math display="block">\mathrm H=\begin{bmatrix}\frac {\partial^2 f}{\partial x_1^2} & \frac{\partial^2 f}{\partial x_1\,\partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_1\,\partial x_n} \\  \\
\frac{\partial^2 f}{\partial x_2\,\partial x_1} & \frac{\partial^2 f}{\partial x_2^2} & \cdots & \frac{\partial^2 f}{\partial x_2\,\partial x_n} \\  \\
\vdots & \vdots & \ddots & \vdots \\  \\
\frac{\partial^2 f}{\partial x_n\,\partial x_1} & \frac{\partial^2 f}{\partial x_n\,\partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_n^2}
\end{bmatrix}\,</math>

或使用下標記號表示為

:<math display="block">\mathrm H_{ij}=\frac{\partial^2f}{\partial x_i \partial x_j}</math>

顯然黑塞矩陣 <math>\mathrm H\,</math>是一個<math>n\times n\,</math>方陣。黑塞矩陣的[[行列式]]被稱爲黑塞式（英語：{{lang|en|Hessian}}），而英語環境下使用Hessian一詞時可能指上述矩陣也可能指上述矩陣的行列式<ref>{{cite book |last1=Binmore |first1=Ken |authorlink1=Kenneth Binmore |last2=Davies |first2=Joan |year=2007 |title=Calculus Concepts and Methods |oclc=717598615 |isbn=9780521775410 |publisher=Cambridge University Press|page=190 }}</ref>。

== 性質 ==

由[[高等數學]]知識可知，若一元[[函數]]<math>f(x)\,</math>在<math>x=x_0\,</math>點的某個[[鄰域]]內具有任意階[[導數]]，則函數<math>f(x)\,</math>在<math>x=x_0\,</math>點處的[[泰勒展開|泰勒展開式]]為

:<math display="block">f(x)=f(x_0)+f'(x)\Delta x+\frac {f''(x)}{2!}\Delta x^2+\cdots\,</math>

其中，<math>\Delta x=x-x_0\,</math>。

同理，二元函數<math>f(x_1,x_2)\,</math>在<math>x_0(x_{10},x_{20})\,</math>點處的泰勒展開式為

:<math display="block">f(x_1,x_2)=f(x_{10},x_{20})+f_{x_1}(x_{10},x_{20})\Delta x_1+f_{x_2}(x_{10},x_{20})\Delta x_2+\frac {1}{2}[f_{x_1 x_1}(x_{10},x_{20})\Delta x_1^2+2f_{x_1 x_2}(x_{10},x_{20})\Delta x_1\Delta x_2+f_{x_2 x_2}(x_{10},x_{20})\Delta x_2^2]+\cdots\,</math>

其中，<math>\Delta x_1=x_1-x_{10}\,</math>，<math>\Delta x_2=x_2-x_{20}\,</math>，<math>f_{x_1}=\frac{\partial f}{\partial x_1}\,</math>，<math>f_{x_2}=\frac{\partial f}{\partial x_2}\,</math>，<math>f_{x_1x_1}=\frac{\partial^2 f}{\partial x_1^2}\,</math>，<math>f_{x_2x_2}=\frac{\partial^2 f}{\partial x_2^2}\,</math>，<math>f_{x_1x_2}=\frac{\partial^2 f}{\partial x_1 \partial x_2}=\frac{\partial^2 f}{\partial x_2 \partial x_1}\,</math>。

將上述展開式寫成矩陣形式，則有

:<math display="block">f(x)=f(x_0)+\nabla f(x_0)^{\mathrm T}\Delta x+\frac{1}{2}\Delta x^{\mathrm T}G(x_0)\Delta x+\cdots</math>

其中，<math>\Delta x=\begin{bmatrix}\Delta x_1 & \Delta x_2\end{bmatrix}\,</math>，<math>\Delta x^{\mathrm T}=\begin{bmatrix}\Delta x_1 \\  \\ \Delta x_2\end{bmatrix}\,</math>是<math>\Delta x</math>的[[轉置]]，<math>\nabla f(x_0)=\begin{bmatrix}\frac{\partial f}{\partial x_1}\\  \\
\frac{\partial f}{\partial x_2}\end{bmatrix}\,</math>是函數<math>f(x_1,x_2)\,</math>在<math>x_0(x_{10},x_{20})\,</math>的[[梯度]]，矩陣

:<math display="block">G(x_0)=\begin{bmatrix}\frac{\partial^2 f}{\partial x_1^2} & \frac{\partial^2 f}{\partial x_1\,\partial x_2} \\  \\ 
\frac{\partial^2 f}{\partial x_2\,\partial x_1} & \frac{\partial^2 f}{\partial x_2^2} \end{bmatrix}_{x_0}\,</math>

即函數<math>f(x_1,x_2)\,</math>在<math>x_0(x_{10},x_{20})\,</math>點處的<math>2\times2\,</math>黑塞矩阵。它是由函数<math>f(x_1,x_2)</math>在<math>x_0(x_{10},x_{20})</math>点处的所有二階偏導數所組成的方陣。

由函數的二次連續性，有

:<math display="block">\frac{\partial^2 f}{\partial x_1 \partial x_2}=\frac{\partial^2 f}{\partial x_2 \partial x_1}</math>

所以，黑塞矩陣<math>G(x_0)\,</math>为[[對稱矩陣]]。

將二元函數的泰勒展開式推廣到[[多元函數]]，函數<math>f(x_1,x_2,\cdots,x_n)\,</math>在<math>x_0(x_1,x_2,\cdots,x_n)\,</math>點處的泰勒展開式為

:<math display="block">f(x)=f(x_0)+\nabla f(x_0)^{\mathrm T}\Delta x+\frac {1}{2}\Delta x^{\mathrm T}G(x_0)\Delta x+\cdots\,</math>

其中，<math display="block">\nabla f(x_0)=\begin{bmatrix}\frac {\partial f}{\partial x_1} & \frac {\partial f}{\partial x_2} & \cdots & \frac {\partial f}{\partial x_n}\end{bmatrix}_{x_0}^T\,</math>
為函數<math>f(x)</math>在<math>x_0(x_1,x_2,\cdots,x_n)\,</math>點的梯度，

:<math display="block">G(x_0)= \begin{bmatrix}
\frac{\partial^2 f}{\partial x_1^2} & \frac{\partial^2 f}{\partial x_1\,\partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_1\,\partial x_n} \\  \\
\frac{\partial^2 f}{\partial x_2\,\partial x_1} & \frac{\partial^2 f}{\partial x_2^2} & \cdots & \frac{\partial^2 f}{\partial x_2\,\partial x_n} \\  \\
\vdots & \vdots & \ddots & \vdots \\  \\
\frac{\partial^2 f}{\partial x_n\,\partial x_1} & \frac{\partial^2 f}{\partial x_n\,\partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_n^2}
\end{bmatrix}_{x_0}\,</math>

為函數<math>f(x)\,</math>在<math>x_0(x_1,x_2,\cdots,x_n)\,</math>點的<math>n\times n\,</math>黑塞矩陣。若函數有<math>n\,</math>次連續性，則函數的<math>n\times n\,</math>黑塞矩陣是對稱矩陣。

說明：在[[優化設計]]領域中，黑塞矩陣常用<math>G\,</math>表示，且梯度有時用<math>g\,</math>表示。<ref>{{cite book |editor1=[[白清顺]] |editor2=[[孙靖明]] |editor3=[[梁迎春]]|page=35~36页 |title=机械优化设计（第6版）|year=2017.6（2018.11重印）|location=北京|publisher=机械工业出版社|ISBN=978-7-111-56643-4}}</ref>

函數<math>f\,</math>的黑塞矩陣和[[雅可比矩陣]]有如下關係：

:<math display="block">\mathrm H(f)=\mathrm J(\nabla f^{\mathrm T})\,</math>

即函數<math>f\,</math>的黑塞矩陣等於其梯度的雅可比矩陣。

與梯度類似，借助[[Nabla算子]]可以將函數<math>f\,</math>的黑塞矩陣表示為<br><math display="block">\mathrm H=\nabla^2 f\,</math><br />

== 應用 ==

=== 函數的極值條件 ===

對於一元函数<math>f(x)\,</math>，在給定區間內某<math>x=x_0\,</math>點處可導，並在<math>x=x_0\,</math>點處取得[[極值]]，其[[必要條件]]是

:<math display="block"> f'(x_0)=0\, </math>

即函數<math>f(x)\,</math>的極值必定在[[駐點]]處取得，或者說可導函數<math>f(x)\,</math>的極值點必定是駐點；但反過來，函數的駐點不一定是極值點。檢驗駐點是否為極值點，可以採用二階導數的正負號來判斷。根據函數<math>f(x)\,</math>在<math>x=x_0\,</math>點處的[[泰勒展開|泰勒展開式]]，考慮到上述極值必要條件，有

:<math display="block">f(x)=f(x_0)+\frac {f''(x_0)}{2!}\Delta x^2+\cdots\,</math>

若<math>f(x)\,</math>在<math>x=x_0\,</math>點處取得極小值，則要求在<math>x=x_0\,</math>某一[[鄰域]]內一切點<math>x\,</math>都必須滿足

:<math display="block">f(x)-f(x_0)>0\,</math>

即要求

:<math display="block">\frac {f''(x_0)}{2!}\Delta x^2>0\,</math>

亦即要求

:<math display="block">f''(x_0)>0\,</math>

<math>f(x)\,</math>在<math>x=x_0\,</math>點處取得極大值的討論與之類似。於是有極值[[充分條件]]：

設一元函数<math>f(x)\,</math>在<math>x=x_0\,</math>點處具有二階導數，且<math>f'(x_0)=0\,</math>，<math>f''(x_0)\ne 0\,</math>，則

#當<math>f''(x_0)>0\,</math>時，函數<math>f(x)\,</math>在<math>x=x_0\,</math>處取得極小值；
#當<math>f''(x_0)<0\,</math>時，函數<math>f(x)\,</math>在<math>x=x_0\,</math>處取得極大值。

而當<math>f''(x_0)=0\,</math>時，無法直接判斷，還需要逐次檢驗其更高階導數的正負號。由此有一个規律：若其開始不為零的導數階數為偶數，則駐點是極值點；若為奇數，則為拐點，而不是極值點。

對於二元函数<math>f(x_1,x_2)\,</math>，在給定區域內某<math>x_0(x_{10}, x_{20})\,</math>點處可導，並在<math>x_0(x_{10}, x_{20})\,</math>點處取得[[極值]]，其[[必要條件]]是

:<math display="block">f_{x_1}(x_0)=f_{x_2}(x_0)=0\,</math>

即

:<math display="block">\nabla f(x_0)=0\,</math>

同樣，這只是必要條件，要進一步判斷<math>x_0(x_{10}, x_{20})\,</math>是否為極值點需要找到取得極值的充分條件。根據函數<math>f(x_1,x_2)\,</math>在<math>x_0(x_{10},x_{20})\,</math>點處的泰勒展開式，考慮到上述極值必要條件，有

:<math display="block">f(x_1,x_2)=f(x_{10},x_{20})+\frac {1}{2}[f_{x_1 x_1}(x_0)\Delta x_1^2+2f_{x_1 x_2}(x_0)\Delta x_1\Delta x_2+f_{x_2 x_2}(x_0)\Delta x_2^2]+\cdots\,</math>

設<math>A=f_{x_1 x_1}(x_0)\,</math>，<math>B=f_{x_1 x_2}(x_0)\,</math>，<math>C=f_{x_2 x_2}(x_0)\,</math>，則

:<math display="block">f(x_1,x_2)=f(x_{10},x_{20})+\frac {1}{2}[A\Delta x_1^2+2B\Delta x_1\Delta x_2+C\Delta x_2^2]+\cdots\,</math>

或

:<math display="block">f(x_1,x_2)=f(x_{10},x_{20})+\frac {1}{2A}[(A\Delta x_1 + B\Delta x_2)^2+(AC-B^2)\Delta x_2^2]+\cdots\,</math>

若<math>f(x_1,x_2)\,</math>在<math>x_0(x_{10},x_{20})\,</math>點處取得極小值，則要求在<math>x_0(x_{10},x_{20})\,</math>某一[[鄰域]]內一切點<math>x\,</math>都必須滿足

:<math display="block">f(x_1,x_2)-f(x_{10},x_{20})>0\,</math>

即要求

:<math display="block">\frac {1}{2A}[(A\Delta x_1 + B\Delta x_2)^2+(AC-B^2)\Delta x_2^2]>0\,</math>

亦即要求<math>A>0\,</math>，<math>AC-B^2>0\,</math>

即<br><math display="block">\left.\frac{\partial^2 f}{\partial x_1^2}\right|_{x_0}>0\,</math><br />
<br><math display="block">\begin{bmatrix}\frac{\partial^2 f}{\partial x_1^2}\frac{\partial^2 f}{\partial x_2^2}-(\frac{\partial^2 f}{\partial x_1\partial x_2})^2\end{bmatrix}_{x_0}>0\,</math><br />

此條件反映了<math>f(x_1,x_2)\,</math>在<math>x_0(x_{10},x_{20})\,</math>點處的黑塞矩陣<math>G(x_0)\,</math>的各階主子式都大於零，即對於

:<math display="block">G(x_0)=\begin{bmatrix}\frac{\partial^2 f}{\partial x_1^2} & \frac{\partial^2 f}{\partial x_1\,\partial x_2} \\  \\ 
\frac{\partial^2 f}{\partial x_2\,\partial x_1} & \frac{\partial^2 f}{\partial x_2^2} \end{bmatrix}_{x_0}\,</math>

要求
<br><math display="block">\left.\frac{\partial^2 f}{\partial x_1^2}\right|_{x_0}>0\,</math><br />

<br><math display="block">| G(x_0) |=\begin{vmatrix}\frac{\partial^2 f}{\partial x_1^2} & \frac{\partial^2 f}{\partial x_1\,\partial x_2} \\  \\ 
\frac{\partial^2 f}{\partial x_2\,\partial x_1} & \frac{\partial^2 f}{\partial x_2^2} \end{vmatrix}_{x_0}>0\,</math><br />

<math>f((x_1,x_2)\,</math>在<math>x_0(x_{10},x_{20})\,</math>點處取得極大值的討論與之類似。於是有極值充分條件：

設二元函数<math>f(x_1,x_2)\,</math>在<math>x_0(x_{10},x_{20})\,</math>點的鄰域內連續且具有一階和二階連續偏導數，又有<math>f_{x_1}(x_0)=f_{x_2}(x_0)=0\,</math>，同時令<math>A=f_{x_1 x_1}(x_0)\,</math>，<math>B=f_{x_1 x_2}(x_0)\,</math>，<math>C=f_{x_2 x_2}(x_0)\,</math>，則

#當<math>A>0\,</math>，<math>AC-B^2>0\,</math>時，函數<math>f(x_1,x_2)\,</math>在<math>x_0(x_{10},x_{20})\,</math>處取得極小值；
#當<math>A<0\,</math>，<math>AC-B^2>0\,</math>時，函數<math>f(x_1,x_2)\,</math>在<math>x_0(x_{10},x_{20})\,</math>處取得極大值。

此外可以判斷，當<math>AC-B^2<0\,</math>時，函數<math>f(x_1,x_2)\,</math>在<math>x_0(x_{10},x_{20})\,</math>點處沒有極值，此點稱爲[[鞍點]]。而當<math>AC-B^2=0\,</math>時，無法直接判斷，對此，補充一個規律：當<math>AC-B^2=0\,</math>時，如果有<math>A\equiv 0\,</math>，那麼函數<math>f(x_1,x_2)\,</math>在<math>x_0(x_{10},x_{20})\,</math>有極值，且當<math>C>0\,</math>有極小值，當<math>C<0\,</math>有極大值。

由線性代數的知識可知，若矩陣<math>G(x_0)\,</math>滿足<br><math display="block">\left.\frac{\partial^2 f}{\partial x_1^2}\right|_{x_0}>0\,</math><br />

:<math display="block">\begin{vmatrix}\frac{\partial^2 f}{\partial x_1^2} & \frac{\partial^2 f}{\partial x_1\,\partial x_2} \\  \\ 
\frac{\partial^2 f}{\partial x_2\,\partial x_1} & \frac{\partial^2 f}{\partial x_2^2} \end{vmatrix}_{x_0}>0\,</math>

則矩陣<math>G(x_0)\,</math>是[[正定矩陣]]，或者說矩陣<math>G(x_0)\,</math>正定。

若矩陣<math>G(x_0)\,</math>滿足<br><math display="block">\left.\frac{\partial^2 f}{\partial x_1^2}\right|_{x_0}<0\,</math><br />

:<math display="block">\begin{vmatrix}\frac{\partial^2 f}{\partial x_1^2} & \frac{\partial^2 f}{\partial x_1\,\partial x_2} \\  \\ 
\frac{\partial^2 f}{\partial x_2\,\partial x_1} & \frac{\partial^2 f}{\partial x_2^2} \end{vmatrix}_{x_0}>0\,</math>

則矩陣<math>G(x_0)\,</math>是[[負定矩陣]]，或者說矩陣<math>G(x_0)\,</math>負定。<ref>{{cite book |editor1=[[刘二根]] |editor2=[[谢霖铨]] |page=164~166页 |title=线性代数|year=2015.7 |publisher=江西高校出版社|ISBN=978-7-5493-3588-6}}</ref>

於是，二元函數<math>f(x_1,x_2)\,</math>在<math>x_0(x_{10},x_{20})\,</math>點處取得極值的條件表述為：二元函數<math>f(x_1,x_2)\,</math>在<math>x_0(x_{10},x_{20})\,</math>點處的黑塞矩陣正定，則取得極小值；在<math>x_0(x_{10},x_{20})\,</math>點處的黑塞矩陣負定，則取得極大值。

對於多元函數<math>f(x_1,x_2,\cdots,x_n)\,</math>，若在<math>x_0(x_1,x_2,\cdots,x_n)\,</math>點處取得極值，則極值存在的必要條件為

<math display="block">\nabla f(x_0)=\begin{bmatrix}\frac {\partial f}{\partial x_1} & \frac {\partial f}{\partial x_2} & \cdots & \frac {\partial f}{\partial x_n}\end{bmatrix}_{x_0}^T=0\,</math>

取得極小值的充分條件為

:<math display="block">G(x_0)= \begin{bmatrix}
\frac{\partial^2 f}{\partial x_1^2} & \frac{\partial^2 f}{\partial x_1\,\partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_1\,\partial x_n} \\  \\
\frac{\partial^2 f}{\partial x_2\,\partial x_1} & \frac{\partial^2 f}{\partial x_2^2} & \cdots & \frac{\partial^2 f}{\partial x_2\,\partial x_n} \\  \\
\vdots & \vdots & \ddots & \vdots \\  \\
\frac{\partial^2 f}{\partial x_n\,\partial x_1} & \frac{\partial^2 f}{\partial x_n\,\partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_n^2}
\end{bmatrix}_{x_0}\,</math>

正定，即要求<math>G(x_0)\,</math>的各階主子式都大於零，即
<br><math display="block">\left.\frac{\partial^2 f}{\partial x_1^2}\right|_{x_0}>0\,</math><br />

<br><math display="block">\begin{vmatrix}\frac{\partial^2 f}{\partial x_1^2} & \frac{\partial^2 f}{\partial x_1\,\partial x_2} \\  \\ 
\frac{\partial^2 f}{\partial x_2\,\partial x_1} & \frac{\partial^2 f}{\partial x_2^2} \end{vmatrix}_{x_0}>0\,</math><br />
<br><math display="block">\vdots</math><br />
<br><math display="block">| G(x_0) |>0\,</math><br />
取得極大值的充分條件為

:<math display="block">G(x_0)= \begin{bmatrix}
\frac{\partial^2 f}{\partial x_1^2} & \frac{\partial^2 f}{\partial x_1\,\partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_1\,\partial x_n} \\  \\
\frac{\partial^2 f}{\partial x_2\,\partial x_1} & \frac{\partial^2 f}{\partial x_2^2} & \cdots & \frac{\partial^2 f}{\partial x_2\,\partial x_n} \\  \\
\vdots & \vdots & \ddots & \vdots \\  \\
\frac{\partial^2 f}{\partial x_n\,\partial x_1} & \frac{\partial^2 f}{\partial x_n\,\partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_n^2}
\end{bmatrix}_{x_0}\,</math>

負定。<ref>{{cite book |editor1=[[白清顺]] |editor2=[[孙靖明]] |editor3=[[梁迎春]]|page=37~39页 |title=机械优化设计（第6版）|year=2017.6（2018.11重印）|location=北京|publisher=机械工业出版社|ISBN=978-7-111-56643-4}}</ref><ref>{{cite book |editor=[[同济大学数学系]]|page=155页 |title=高等数学（第七版）上册|year=2014.7 |publisher=高等教育出版社|ISBN=978-7-04-039663-8}}</ref><ref>{{cite book |editor=[[同济大学数学系]]|page=113页 |title=高等数学（第七版）下册|year=2014.7 |publisher=高等教育出版社|ISBN=978-7-04-039662-1}}</ref>

== 拓展閱讀 ==
* [[雅可比矩陣]]
* [[梯度]]

== 參考文獻 ==
{{reflist}}

[[Category:矩陣|H]]
[[Category:多变量微积分|H]]