斉時的なマルコフ連鎖の性質-推移確率・状態確率をわかりやすく

斉時的なマルコフ連鎖の性質-推移確率・状態確率をわかりやすく確率過程
スポンサーリンク

どうも!初めましての方は初めまして、初心者のWebサイト勉強のとみーです!

マルコフ連鎖を考えるときは、斉時的なマルコフ連鎖を仮定して話を進めることが多いです。

とみー
とみー

そこで今回は、斉時的なマルコフ連鎖の性質と関連してよく用いられる推移確率についてまとめました!

対象レベル

確率の基本的な知識がある方(高校数学〜大学入門)

以下では、斉時的なマルコフ連鎖を

$$\{X_n\}_{n \geq 0}$$

とし、状態空間(各確率変数の取り得る値の集まり)を

$$E = \{i_0, \cdots, i_n, j\}$$

とします($n \geq 0$)。

スポンサーリンク

推移確率とは

定義

斉時的なマルコフ連鎖は、定義から

\begin{eqnarray} \mathbb{P}(X_{n+1} = j | X_n = i) &=& \mathbb{P}(X_{n} = j | X_{n-1} = i) \nonumber \\ &\vdots& \nonumber \\ &=& \mathbb{P}(X_2 = j | X_1 = i) \nonumber \\ &=& \mathbb{P}(X_{1} = j | X_0 = i) \end{eqnarray}

を満たし、状態 $i$ から状態 $j$ へ遷移する確率は時刻 $n$ には無関係です。

そのため、状態 $i$ から状態 $j$ へ遷移する確率は

$p_{ij}$($i$ と$j$ だけの関数)

と書くことができます。

これを、状態 $i$ から状態 $j$ への遷移確率といいます。

具体例

例えば、画像のようなすごろくを考えましょう。

すごろくはサイコロの目をもとに何マス先に進むかが決まるので、例えばマス1→マス2となる推移確率は、

$$p_{12} = \mathbb{P}(\mbox{1が出る確率}) = \frac{1}{6}$$

となります。

スポンサーリンク

推移確率行列とは

推移確率は、ある状態から次の状態へ遷移する確率なので、状態の数が $N$ のとき推移確率は $N^2$ 個存在します。

定義

すべての推移確率を行列の形に表したものを、推移確率行列といいます。

数式で書くと

$$\boldsymbol{P} = (p_{ij})$$

です。

具体例

先ほどのすごろくの例に戻りましょう。

すごろくのマスは9箇所あるので、推移確率は81個あり、推移確率行列は $9 \times 9$ です。

\begin{eqnarray} \boldsymbol{P} &=& \begin{bmatrix} p_{11} & p_{12} & p_{13} & p_{14} & p_{15} & p_{16} & p_{17} & p_{18} & p_{19} \\ p_{21} & p_{22} & p_{23} & p_{24} & p_{25} & p_{26} & p_{27} & p_{28} & p_{29} \\ p_{31} & p_{32} & p_{33} & p_{34} & p_{35} & p_{36} & p_{37} & p_{38} & p_{39} \\ p_{41} & p_{42} & p_{43} & p_{44} & p_{45} & p_{46} & p_{47} & p_{48} & p_{49} \\ p_{51} & p_{52} & p_{53} & p_{54} & p_{55} & p_{56} & p_{57} & p_{58} & p_{59} \\ p_{61} & p_{62} & p_{63} & p_{64} & p_{65} & p_{66} & p_{67} & p_{68} & p_{69} \\ p_{71} & p_{72} & p_{73} & p_{74} & p_{75} & p_{76} & p_{77} & p_{78} & p_{79} \\ p_{81} & p_{82} & p_{83} & p_{84} & p_{85} & p_{86} & p_{87} & p_{88} & p_{89} \\ p_{91} & p_{92} & p_{93} & p_{94} & p_{95} & p_{96} & p_{97} & p_{98} & p_{99} \end{bmatrix} \\ \\ &=& \begin{bmatrix} 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 & 0 \\ 0 & 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 \\ 0 & 0 & 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} \\ \frac{1}{6} & 0 & 0 & 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} \\ \frac{1}{6} & \frac{1}{6} & 0 & 0 & 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} \\ \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 & 0 & 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} \\ \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 & 0 & 0 & \frac{1}{6} & \frac{1}{6} \\ \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 & 0 & 0 & \frac{1}{6} \\ \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 & 0 & 0 \end{bmatrix} \end{eqnarray}

スポンサーリンク

状態確率とは

推移確率は、ある状態から次の状態へ遷移する確率でしたが、場合によっては

時刻 $n$ で状態 $i$ にいる確率

を求めたい場合があります。

とみー
とみー

上のすごろくの例で言えば、サイコロを2回振ってゴールする(マス9に辿り着く)確率、といった感じです。

この「時刻 $n$ で状態 $i$ にいる確率」を状態確率といいます。

数式

数式では、次のように書きます。

$$p_i^{(n)} = \mathbb{P} (X_n = i)$$

右下の添字は状態、右上の添字は時刻(回数)を表しています。

状態確率ベクトル

ある時刻 $n$ における状態確率は、状態の数だけ存在します。

そこで、すべての状態に関する状態確率をベクトルの形でまとめたものを状態確率ベクトルといいます。

状態の数が $N$ 個のとき、数式では

$$\boldsymbol{p}^{(n)} = [p_{i_1}^{(n)}, \cdots, p_{i_N}^{(n)}]$$

のようになります。

とみー
とみー

具体例は、次の性質を通してご紹介します。

斉時的なマルコフ連鎖の性質

斉時的なマルコフ連鎖の

  1. 状態確率ベクトル
  2. 遷移確率行列

には、次の関係式が成り立ちます。

公式

公式

$$\boldsymbol{p}^{(n)} = \boldsymbol{p}^{(n-1)} \boldsymbol{P} = \boldsymbol{p}^{(0)} \boldsymbol{P}^{n}$$

これは、初期状態の状態確率ベクトルと遷移確率行列がわかれば、任意の時間の状態確率ベクトルが求められるという公式です。

ベイズの定理より、

\begin{eqnarray} \mathbb{P} (X_1 = i_1) &=& \sum_{i_0} \mathbb{P} (X_0 = i_0, X_1 = i_1) \nonumber \\ &=& \sum_{i_0} \mathbb{P} (X_0 = i_0) \mathbb{P}(X_1=i_1|X_0=i_0) \end{eqnarray}

遷移確率、状態確率を使って書き直すと

\begin{eqnarray} p_{i_1}^{(1)} = \sum_{i_0} p_{i_0}^{(0)} p_{i_0i_1} \end{eqnarray}

これを状態の数だけ考えると、次のような行列に関する等式になる。

\begin{eqnarray} \begin{bmatrix} p_{i_0}^{(1)} & \cdots & p_{i_N}^{(1)} \end{bmatrix} = \begin{bmatrix} p_{i_0}^{(0)} & \cdots & p_{i_N}^{(0)} \end{bmatrix} \begin{bmatrix} p_{i_0i_0} & \cdots & p_{i_0i_N} \\ \vdots & \ddots & \vdots \\ p_{i_Ni_0} & \cdots & p_{i_Ni_N} \end{bmatrix} \end{eqnarray}

よって

$$\boldsymbol{p}^{(1)} = \boldsymbol{p}^{(0)} \boldsymbol{P}$$

で、再帰的に

$$\boldsymbol{p}^{(n)} = \boldsymbol{p}^{(n-1)} \boldsymbol{P} = \boldsymbol{p}^{(0)} \boldsymbol{P}^{n}$$

公式の適用-具体例

すごろくの例を続けましょう。

スタート地点がマス1なので、$n=0$ における状態確率ベクトルは

$$\boldsymbol{p}^{(0)} = \begin{bmatrix}1 & 0& 0& 0& 0& 0& 0& 0& 0\end{bmatrix}$$

です。

公式を使うと、

\begin{eqnarray} \boldsymbol{p}^{(1)} &=& \boldsymbol{p}^{(0)} \boldsymbol{P} \nonumber \\ &=& \begin{bmatrix} 1 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \end{bmatrix} \begin{bmatrix} 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 & 0 \\ 0 & 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 \\ 0 & 0 & 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} \\ \frac{1}{6} & 0 & 0 & 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} \\ \frac{1}{6} & \frac{1}{6} & 0 & 0 & 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} \\ \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 & 0 & 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} \\ \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 & 0 & 0 & \frac{1}{6} & \frac{1}{6} \\ \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 & 0 & 0 & \frac{1}{6} \\ \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 & 0 & 0 \end{bmatrix} \\ &=& \begin{bmatrix}0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 & 0\end{bmatrix} \end{eqnarray}

同様の計算をもう1度行うと

\begin{eqnarray} \boldsymbol{p}^{(2)} &=& \boldsymbol{p}^{(1)} \boldsymbol{P} \nonumber \\ &=& \begin{bmatrix} \frac{1}{9} & \frac{1}{12} & \frac{1}{12} & \frac{1}{12} & \frac{1}{12} & \frac{1}{9} & \frac{5}{36} & \frac{1}{6} & \frac{5}{36} & \end{bmatrix} \end{eqnarray}

よって、2回でゴールに辿り着く確率は $\frac{5}{36}$ ということが求められました。

まとめ

今回は、確率過程のマルコフ連鎖についてご紹介しました。

確率過程のおすすめ

コメント

タイトルとURLをコピーしました