松原(2008)

松原望(2008)『入門ベイズ統計―意思決定の理論と発展』東京図書。

確率は以下のように定義される。
標本空間の任意の可測事象に対し実数を対応させる関数で、3つの公理をみたす。
(1)任意の可測事象に対し、
(2)
(3)可測事象が互いに排反ならば

である。

条件付き確率の定義


の分割が与えられたとき、ベイズの定理が以下のように表現できる。


ここで、を原因とすれば、は結果に対する原因の確率であり、これを原因の事後確率と呼ぶ。これに対して、を事前確率と呼ぶ。ベイズ統計学では、事前確率が客観的データに基づかなくてもこれを許容し、何かしらの直観や期待に基づいてもよい。これを主観確率あるいは個人確率と呼ぶ。

事前確率と事後確率が同じ性質の場合、観測の繰り返しの中で、事後確率は新たな主観確率となる。事後確率の結果から事前確率を更新することをベイズ更新(Bayesian Updating)と呼ぶ。ベイズ更新の分野としてはカルマンフィルターなどがある。

ベイズの定理からすなわち「事後情報＝事前情報×尤度」という関係が導ける。事後情報が観測できるとき、事前情報を特定する作業をベイズ決定という。結果からまず推定できるのは確率変数の確率分布であり、これを原因としてうまく決定したいのである。
(1)の確率分布を扱いやすい性質、たとえばベータ分布などと仮定する。
(2)結果の観測から、分布のパラメータ(平均や分散など)を推定する。
(3)損失関数を最小化するを選ぶ。
以上のステップを踏めばベイズ決定ができる。損失関数の性質によって、メジアンもモードも単純平均も推定値となりうる。

先述のカルマンフィルターについては、観測可能な時系列データから状態(state)を推定することが目的である。状態空間表現(state space representation)は観測方程式とシステム方程式から構成されている。


観測方程式の誤差項は観測誤差(observation error)である。ここで新たな観測結果を得たときに状態の推定値を更新していきたいのである。簡単に書けば次のように表現できる。あとは観測情報によるイノベーションを組み込むだけである。


ところでサンプルの少なさから事前情報を抽象的に表わすほかないときには、少ないサンプルからでも事前情報を推定しなければならない場合がある。そういうときには経験的ベイズ決定(empirical Bayes estimation)が有用である。

の形をした離散型確率分布を考える。このとき、の期待値の経験的ベイズ推定は

で与えられる。