マルコフ連鎖と確立過程の基礎

マルコフ連鎖と確立過程の基礎について記載します。

確率過程

確率過程とは、時間や空間で確率変動を表現する数学モデルです。
確率過程は、ある確率空間上で定義して、時間や空間の変数に依存する確率変数です。

マルコフ連鎖

マルコフ連鎖とは、マルコフ性を持った確率過程です。
マルコフ性とは、遷移先の状態は直前の状態とそこで行動した状態に依存しているという性質です。

天気の状態に晴れの状態と雨の状態の2つの状態があったします。
直前の状態は、晴れまたは雨で晴れたや雨が降った行動によって次の日の状態は変化します。
また、その状態で次の日に晴れまたは雨が降る確率が変わるとします。

現在の状態が晴れであれば、次の日が晴れの確率は70%で次の日が雨の確率が30%になります。
現在の状態が雨であれば、次の日が晴れの確率は40%で次の日が雨の確率が60%になります。
これがマルコフ性を持った確率過程です。
最初の直前の状態のことを初期分布といい、晴れまたは雨のどちらかになります。

状態確率ベクトル

1日目「晴れ」→2日目「雨」→3日目「雨」.....と2日目などある時刻のときの状態の確率を状態確率といいます。
全ての状態をベクトルにしたものを状態確率ベクトルといいます。
今回の例ですと晴れの確率と雨の確率です。

推移確率行列

推移確率とは、マルコフ連鎖である状態から別の状態へ推移する確率です。
推移する確率を行列にしたものを推移確率行列といいます。
状態確率ベクトルを行列に変換したものです。
先の例では、晴れと雨の状態がありその推移確率に対する行列は次のように記載できます。

定常分布

定常分布とは、1度その分布になると変わらない分布です。
「晴れ」→「雨」→「雨」....と繰り返し状態が変化して一定の時間が経過したときに「晴れ」または「雨」の確率は変わらなくなります。
定常分布は、「晴れ」と「雨の」2つの状態ですのでその2つが求められます。
確率になりますので、「晴れ」と「雨の」は足し合わせれば「1」になります。

既約性

既約性とは、マルコフ連鎖の状態への推移がすべての状態で行える性質です。
有限であるマルコフ連鎖で既約性を満たしている場合は1つの定常分布を持ちます。

再帰性

再帰性とは、もう一度戻る性質です。

ポアソン過程

ポアソン過程とは、時間や空間でイベントが離散的に発生する確率過程です。
ポアソン過程は独立定常増分過程でベントがランダムに発生するポアソン分布に従います。
時間や空間で連続敵に発生したイベントは独立で、指数分布に従います。
また、同じ時間や同じ空間の位置で同時にイベントが発生することはありません。
ポアソン過程は次の式で表せます。

イベントが発生回数を「λ」として、全体の時間を「t」として微小な時間を「Δt」です。
λΔtが確率として考えることができます。

ポアソン過程は、指数分布やガンマ分布と密接な関係で、これらの分布を利用してポアソン過程の性質を表現できます。
また、ポアソン過程は強度（イベント発生率）が一定である場合に「単位強度ポアソン過程」といい、強度が時間や空間によって変化する場合に「非単位強度ポアソン過程」といいます。

ランダムウォーク

ランダムウォークとは、確率で変化する点や物体をランダムで動作させることをモデル化した確率過程です。
前後の動作は独立しており、将来の動作が過去の動作に影響することはありません。
ランダムウォークはマルコフ性を持つ過程で位置の動作がランダムですので、特定の方向やパターンの予測が困難です。
例として、1次元の離散的なランダムウォークでは初期位置を原点（0）として、ランダムに「+1」または「-1」の方向に進むのを繰り返すことで、位置がランダムに変動します。
移動結果をS_nとすると次の式で表せます。

このランダムウォークを1次元対象単純ランダムウォークといいます。

ブラウン運動

ブラウン運動とは、ランダムウォークの一つで確率で変化する点や物体を連続的にランダムで動作させることをモデル化した連続時間確率過程です。
変動が互いに独立であり、時間の連続的な範囲で定義されてある時刻から別の時刻までの間が、連続的に変動します。
ブラウン運動はウィナー過程ともいい、独立定常増分過程です。 独立でランダムな要因ですので、分布はガウス分布に近似します。

ブラウン運動が標準正規分布に従うとき、標準ブラウン運動といいます。