ФЭНДОМ


В статистике метод оценки Максимальной апостериорной гипотезы (MAP) тесно связан с методом максимального правдоподобия (ML), но использует дополнительную оптимизацию, которая совмещает априорное распределение величины, которую хочет оценить.

ВведениеПравить

Предположим, что нам нужно оценить неконтролируемый параметр выборки \theta на базе наблюдений x. Пусть f - выборочное распределение x, такое, что f(x|\theta) - вероятность x в то время как параметр выборки \theta. Тогда функция

\theta \mapsto f(x | \theta) \!

известна как функция правдоподобия, а оценка

\hat{\theta}_{\mathrm{ML}}(x) = \arg\max_{\theta} f(x | \theta) \!

как оценка максимального правдоподобия \theta.

Теперь, предположим, что априорное распределение g на \theta существует. Это позволяет рассматривать \theta как случайную величину как в Байесовой статистике. тогда апостериорное распределение \theta:

\theta \mapsto \frac{f(x | \theta) \, g(\theta)}{\int_{\Theta} f(x | \theta') \, g(\theta') \, d\theta'} \!

где g плотность распределения \Theta, \Theta - область определения g. Это прямое приложение Теоремы Байеса.

Метод оценки максимального правдоподобия затем оценивает \theta как апостериорное распределение этой случайной величины:

\hat{\theta}_{\mathrm{MAP}}(x)
= \arg\max_{\theta} \frac{f(x | \theta) \, g(\theta)}
  {\int_{\Theta} f(x | \theta') \, g(\theta') \, d\theta'}
= \arg\max_{\theta} f(x | \theta) \, g(\theta)
\!

Знаменатель апостериорного распределения не зависит от \theta и поэтому не играет роли в оптимизации. Заметим, что MAP оценка \theta соответствует ML оценке когда априорная g постоянна (т.е., константа).

ПримерПравить

Предположим, что у нас есть последовательность (x_1, \dots, x_n) IID N(\mu,\sigma_v^2 ) случайных величин и априорное распределение \mu задано N(0,\sigma_m^2 ). Мы хотим найти MAP оценку \mu.

Функция, которую нужно максимизировать задана

\pi(\mu) L(\mu) =  \frac{1}{\sqrt{2 \pi \sigma_m}} \exp\left(-\frac{1}{2} \left(\frac{\mu}{\sigma_m}\right)^2\right) \prod_{j=1}^n \frac{1}{\sqrt{2 \pi \sigma_v}} \exp\left(-\frac{1}{2} \left(\frac{x_j - \mu}{\sigma_v}\right)^2\right),

что эквивалентно минимизации \mu в

 \sum_{j=1}^n \left(\frac{x_j - \mu}{\sigma_v}\right)^2 + \left(\frac{\mu}{\sigma_m}\right)^2.

Таким образом, мы видим, что MAP оценка для μ задана

\hat{\mu}_{MAP} =     \frac{\sigma_m^2}{n \sigma_m^2 + \sigma_v^2 } \sum_{j=1}^n x_j.

СсылкиПравить

Обнаружено использование расширения AdBlock.


Викия — это свободный ресурс, который существует и развивается за счёт рекламы. Для блокирующих рекламу пользователей мы предоставляем модифицированную версию сайта.

Викия не будет доступна для последующих модификаций. Если вы желаете продолжать работать со страницей, то, пожалуйста, отключите расширение для блокировки рекламы.