Гессиан функции

Гессиан функции — симметрическая квадратичная форма^[1], описывающая поведение функции во втором порядке.

Для функции ${\displaystyle f}$, дважды дифференцируемой в точке ${\displaystyle x\in \mathbb {R} ^{n}}$

${\displaystyle H(x)=\sum _{i=1}^{n}\sum _{j=1}^{n}a_{ij}x_{i}x_{j}}$

или

${\displaystyle H(z)=\sum _{i=1}^{n}\sum _{j=1}^{n}a_{ij}z_{i}{\overline {z}}_{j}}$

где ${\displaystyle a_{ij}=\partial ^{2}f/\partial x_{i}\partial x_{j}}$ (или ${\displaystyle a_{ij}=\partial ^{2}f/\partial z_{i}\partial {\overline {z}}_{j}}$) и функция ${\displaystyle f}$ задана на ${\displaystyle n}$-мерном вещественном пространстве ${\displaystyle \mathbb {R} ^{n}}$ (или комплексном пространстве ${\displaystyle \mathbb {C} ^{n}}$) с координатами ${\displaystyle x_{1},\ldots ,x_{n}}$ (или ${\displaystyle z_{1},\ldots ,z_{n}}$). В обоих случаях гессиан — квадратичная форма, заданная на касательном пространстве, не меняющаяся при линейных преобразованиях переменных. Гессианом также часто называют и определитель матрицы ${\displaystyle (a_{ij}),}$ см. ниже.

Матрица Гессе

Матрица этой квадратичной формы образована вторыми частными производными функции. Если все производные существуют, то

${\displaystyle H(f)={\begin{bmatrix}{\frac {\partial ^{2}f}{\partial x_{1}^{2}}}&{\frac {\partial ^{2}f}{\partial x_{1}\,\partial x_{2}}}&\cdots &{\frac {\partial ^{2}f}{\partial x_{1}\,\partial x_{n}}}\\\\{\frac {\partial ^{2}f}{\partial x_{2}\,\partial x_{1}}}&{\frac {\partial ^{2}f}{\partial x_{2}^{2}}}&\cdots &{\frac {\partial ^{2}f}{\partial x_{2}\,\partial x_{n}}}\\\\\vdots &\vdots &\ddots &\vdots \\\\{\frac {\partial ^{2}f}{\partial x_{n}\,\partial x_{1}}}&{\frac {\partial ^{2}f}{\partial x_{n}\,\partial x_{2}}}&\cdots &{\frac {\partial ^{2}f}{\partial x_{n}^{2}}}\end{bmatrix}}}$

Определитель этой матрицы называется определителем Гессе, или просто гессианом^{[источник не указан 4391 день]}.

Матрицы Гессе используются в задачах оптимизации методом Ньютона. Полное вычисление матрицы Гессе может быть затруднительно, поэтому были разработаны квазиньютоновские алгоритмы, основанные на приближённых выражениях для матрицы Гессе. Наиболее известный из них — алгоритм Бройдена — Флетчера — Гольдфарба — Шанно.

Симметрия матрицы Гессе

Смешанные производные функции f — это элементы матрицы Гессе, стоящие не на главной диагонали. Если они непрерывны, то порядок дифференцирования не важен:

${\displaystyle {\frac {\partial }{\partial x_{i}}}\left({\frac {\partial f}{\partial x_{j}}}\right)={\frac {\partial }{\partial x_{j}}}\left({\frac {\partial f}{\partial x_{i}}}\right)}$

Это можно также записать как

${\displaystyle f_{x_{i}x_{j}}=f_{x_{j}x_{i}},\quad \forall i,j\in \{1,\ldots ,n\}.}$

В этом случае матрица Гессе симметрична.

Критические точки функции

Если градиент ${\displaystyle f}$ (её векторная производная) равен нулю в некоторой точке ${\displaystyle x_{0}}$, то эта точка называется критической. Достаточным условием существования экстремума в этой точке является знакоопределённость гессиана f (понимаемого в данном случае как квадратичная форма), а именно:

• если гессиан положительно определён, то ${\displaystyle x_{0}}$ — точка локального минимума функции ${\displaystyle f(x)}$,
• если гессиан отрицательно определён, то ${\displaystyle x_{0}}$ — точка локального максимума функции ${\displaystyle f(x)}$,
• если гессиан не является знакоопределённым (принимает как положительные, так и отрицательные значения) и невырожден ${\displaystyle (\det H(f)\neq 0)}$, то ${\displaystyle x_{0}}$ — седловая точка функции ${\displaystyle f(x)}$.

Вариации и обобщения

Вектор-функции

Если ${\displaystyle f}$ — вектор-функция, то есть

${\displaystyle f=(f_{1},f_{2},\dots ,f_{n}),}$

то её вторые частные производные образуют не матрицу, а тензор ранга 3, который можно рассматривать как массив из ${\displaystyle n}$ матриц Гессе:

${\displaystyle H(f)=\left(H(f_{1}),\ldots ,H(f_{n})\right).}$

При ${\displaystyle n=1}$ данный тензор вырождается в обычную матрицу Гессе.

Окаймлённый гессиан

При решении задачи нахождения условного экстремума функции ${\displaystyle f:\mathbb {R} ^{n}\rightarrow \mathbb {R} }$ с ограничениями

${\displaystyle \left\{{\begin{array}{c}g_{1}(x)=0,\\\vdots \\g_{m}(x)=0,\end{array}}\right.}$

где ${\displaystyle x\in \mathbb {R} ^{n}}$, ${\displaystyle m<n}$, для проверки достаточных условий экстремума можно использовать так называемый окаймлённый гессиан функции Лагранжа ${\displaystyle L(x,\lambda )}$, который будет иметь вид^[2]

${\displaystyle \left({\begin{array}{cc}{\dfrac {\partial ^{2}L}{\partial x^{2}}}&{\dfrac {\partial ^{2}L}{\partial x\partial \lambda }}\\\left({\dfrac {\partial ^{2}L}{\partial x\partial \lambda }}\right)^{\mathrm {T} }&{\dfrac {\partial ^{2}L}{\partial \lambda ^{2}}}\end{array}}\right)=\left({\begin{array}{cccccc}{\dfrac {\partial ^{2}L}{\partial x_{1}^{2}}}&\ldots &{\dfrac {\partial ^{2}L}{\partial x_{1}\partial x_{n}}}&{\dfrac {\partial g_{1}}{\partial x_{1}}}&\ldots &{\dfrac {\partial g_{m}}{\partial x_{1}}}\\\vdots &\ddots &\vdots &\vdots &\ddots &\vdots \\{\dfrac {\partial ^{2}L}{\partial x_{n}\partial x_{1}}}&\ldots &{\dfrac {\partial ^{2}L}{\partial x_{n}^{2}}}&{\dfrac {\partial g_{1}}{\partial x_{n}}}&\ldots &{\dfrac {\partial g_{m}}{\partial x_{n}}}\\{\dfrac {\partial g_{1}}{\partial x_{1}}}&\ldots &{\dfrac {\partial g_{1}}{\partial x_{n}}}&0&\ldots &0\\\vdots &\ddots &\vdots &\vdots &\ddots &\vdots \\{\dfrac {\partial g_{m}}{\partial x_{1}}}&\ldots &{\dfrac {\partial g_{m}}{\partial x_{n}}}&0&\ldots &0\end{array}}\right).}$

Проверка достаточных условий экстремума заключается в вычислении знаков детерминантов определённого набора подматриц окаймлённого гессиана. Именно, если существуют ${\displaystyle x^{*}\in \mathbb {R} ^{n}}$ и ${\displaystyle \lambda ^{*}\in \mathbb {R} ^{m}}$ такие, что ${\displaystyle \nabla L(x^{*},\lambda ^{*})=0}$ и

${\displaystyle (-1)^{m}{\mbox{det}}\left({\begin{array}{cccccc}{\dfrac {\partial ^{2}L}{\partial x_{1}^{2}}}&\ldots &{\dfrac {\partial ^{2}L}{\partial x_{1}\partial x_{p}}}&{\dfrac {\partial g_{1}}{\partial x_{1}}}&\ldots &{\dfrac {\partial g_{m}}{\partial x_{1}}}\\\vdots &\ddots &\vdots &\vdots &\ddots &\vdots \\{\dfrac {\partial ^{2}L}{\partial x_{p}\partial x_{1}}}&\ldots &{\dfrac {\partial ^{2}L}{\partial x_{p}^{2}}}&{\dfrac {\partial g_{1}}{\partial x_{p}}}&\ldots &{\dfrac {\partial g_{m}}{\partial x_{p}}}\\{\dfrac {\partial g_{1}}{\partial x_{1}}}&\ldots &{\dfrac {\partial g_{1}}{\partial x_{p}}}&0&\ldots &0\\\vdots &\ddots &\vdots &\vdots &\ddots &\vdots \\{\dfrac {\partial g_{m}}{\partial x_{1}}}&\ldots &{\dfrac {\partial g_{m}}{\partial x_{p}}}&0&\ldots &0\end{array}}\right)>0}$

для ${\displaystyle p=m+1,\ldots ,n}$, то в точке ${\displaystyle x^{*}}$ функция ${\displaystyle f}$ имеет строгий условный минимум. Если же

${\displaystyle (-1)^{p}{\mbox{det}}\left({\begin{array}{cccccc}{\dfrac {\partial ^{2}L}{\partial x_{1}^{2}}}&\ldots &{\dfrac {\partial ^{2}L}{\partial x_{1}\partial x_{p}}}&{\dfrac {\partial g_{1}}{\partial x_{1}}}&\ldots &{\dfrac {\partial g_{m}}{\partial x_{1}}}\\\vdots &\ddots &\vdots &\vdots &\ddots &\vdots \\{\dfrac {\partial ^{2}L}{\partial x_{p}\partial x_{1}}}&\ldots &{\dfrac {\partial ^{2}L}{\partial x_{p}^{2}}}&{\dfrac {\partial g_{1}}{\partial x_{p}}}&\ldots &{\dfrac {\partial g_{m}}{\partial x_{p}}}\\{\dfrac {\partial g_{1}}{\partial x_{1}}}&\ldots &{\dfrac {\partial g_{1}}{\partial x_{p}}}&0&\ldots &0\\\vdots &\ddots &\vdots &\vdots &\ddots &\vdots \\{\dfrac {\partial g_{m}}{\partial x_{1}}}&\ldots &{\dfrac {\partial g_{m}}{\partial x_{p}}}&0&\ldots &0\end{array}}\right)>0}$

для ${\displaystyle p=m+1,\ldots ,n}$, то в точке ${\displaystyle x^{*}}$ функция ${\displaystyle f}$ имеет строгий условный максимум^[3].

История

Понятие введено Людвигом Отто Гессе (1844), который использовал другое название. Термин «гессиан» был введён Джеймсом Джозефом Сильвестром.

См. также

• Якобиан
• Критическая точка (математика)
• Лемма Морса
• Критерий Сильвестра — критерий положительной или отрицательной определённости квадратной матрицы

Примечания

1. Гессиан  (неопр.). Дата обращения: 2 апреля 2016. Архивировано 15 апреля 2016 года.
2. Hallam, Arne Econ 500: Quantitative Methods in Economic Analysis I  (неопр.). Iowa State (7 октября 2004). Дата обращения: 14 апреля 2021. Архивировано 19 апреля 2021 года.
3. Neudecker, Heinz. Matrix Differential Calculus with Applications in Statistics and Econometrics / Heinz Neudecker, Jan R. Magnus. — New York : John Wiley & Sons, 1988. — P. 136. — ISBN 978-0-471-91516-4.

Ссылки

• Камынин Л.И. Математический анализ. Т. 1, 2. - 2001.
• Кудрявцев Л.Д «Краткий курс математического анализа. Т.2. Дифференциальное и интегральное исчисления функций многих переменных. Гармонический анализ», ФИЗМАТЛИТ, 2002, — 424 с. — ISBN 5-9221-0185-4. Или любое другое издание.
• Голубицкий М., Гийемин В. Устойчивые отображения и их особенности, — М.: Мир, 1977.