PR

斉時的なマルコフ連鎖の性質-推移確率・状態確率をわかりやすく

斉時的なマルコフ連鎖の性質-推移確率・状態確率をわかりやすく 確率過程
記事内に広告が含まれています。
スポンサーリンク

どうも!初めましての方は初めまして、初心者のWebサイト勉強のとみーです!

マルコフ連鎖を考えるときは、斉時的なマルコフ連鎖を仮定して話を進めることが多いです。

とみー
とみー

そこで今回は、斉時的なマルコフ連鎖の性質と関連してよく用いられる推移確率についてまとめました!

対象レベル

確率の基本的な知識がある方(高校数学〜大学入門)

以下では、斉時的なマルコフ連鎖を

$$\{X_n\}_{n \geq 0}$$

とし、状態空間(各確率変数の取り得る値の集まり)を

$$E = \{i_0, \cdots, i_n, j\}$$

とします($n \geq 0$)。

スポンサーリンク

推移確率とは

定義

斉時的なマルコフ連鎖は、定義から

\begin{eqnarray} \mathbb{P}(X_{n+1} = j | X_n = i) &=& \mathbb{P}(X_{n} = j | X_{n-1} = i) \nonumber \\ &\vdots& \nonumber \\ &=& \mathbb{P}(X_2 = j | X_1 = i) \nonumber \\ &=& \mathbb{P}(X_{1} = j | X_0 = i) \end{eqnarray}

を満たし、状態 $i$ から状態 $j$ へ遷移する確率は時刻 $n$ には無関係です。

そのため、状態 $i$ から状態 $j$ へ遷移する確率は

$p_{ij}$($i$ と$j$ だけの関数)

と書くことができます。

これを、状態 $i$ から状態 $j$ への遷移確率といいます。

具体例

例えば、画像のようなすごろくを考えましょう。

すごろくはサイコロの目をもとに何マス先に進むかが決まるので、例えばマス1→マス2となる推移確率は、

$$p_{12} = \mathbb{P}(\mbox{1が出る確率}) = \frac{1}{6}$$

となります。

スポンサーリンク

推移確率行列とは

推移確率は、ある状態から次の状態へ遷移する確率なので、状態の数が $N$ のとき推移確率は $N^2$ 個存在します。

定義

すべての推移確率を行列の形に表したものを、推移確率行列といいます。

数式で書くと

$$\boldsymbol{P} = (p_{ij})$$

です。

具体例

先ほどのすごろくの例に戻りましょう。

すごろくのマスは9箇所あるので、推移確率は81個あり、推移確率行列は $9 \times 9$ です。

\begin{eqnarray} \boldsymbol{P} &=& \begin{bmatrix} p_{11} & p_{12} & p_{13} & p_{14} & p_{15} & p_{16} & p_{17} & p_{18} & p_{19} \\ p_{21} & p_{22} & p_{23} & p_{24} & p_{25} & p_{26} & p_{27} & p_{28} & p_{29} \\ p_{31} & p_{32} & p_{33} & p_{34} & p_{35} & p_{36} & p_{37} & p_{38} & p_{39} \\ p_{41} & p_{42} & p_{43} & p_{44} & p_{45} & p_{46} & p_{47} & p_{48} & p_{49} \\ p_{51} & p_{52} & p_{53} & p_{54} & p_{55} & p_{56} & p_{57} & p_{58} & p_{59} \\ p_{61} & p_{62} & p_{63} & p_{64} & p_{65} & p_{66} & p_{67} & p_{68} & p_{69} \\ p_{71} & p_{72} & p_{73} & p_{74} & p_{75} & p_{76} & p_{77} & p_{78} & p_{79} \\ p_{81} & p_{82} & p_{83} & p_{84} & p_{85} & p_{86} & p_{87} & p_{88} & p_{89} \\ p_{91} & p_{92} & p_{93} & p_{94} & p_{95} & p_{96} & p_{97} & p_{98} & p_{99} \end{bmatrix} \\ \\ &=& \begin{bmatrix} 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 & 0 \\ 0 & 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 \\ 0 & 0 & 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} \\ \frac{1}{6} & 0 & 0 & 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} \\ \frac{1}{6} & \frac{1}{6} & 0 & 0 & 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} \\ \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 & 0 & 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} \\ \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 & 0 & 0 & \frac{1}{6} & \frac{1}{6} \\ \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 & 0 & 0 & \frac{1}{6} \\ \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 & 0 & 0 \end{bmatrix} \end{eqnarray}

スポンサーリンク

状態確率とは

推移確率は、ある状態から次の状態へ遷移する確率でしたが、場合によっては

時刻 $n$ で状態 $i$ にいる確率

を求めたい場合があります。

とみー
とみー

上のすごろくの例で言えば、サイコロを2回振ってゴールする(マス9に辿り着く)確率、といった感じです。

この「時刻 $n$ で状態 $i$ にいる確率」を状態確率といいます。

数式

数式では、次のように書きます。

$$p_i^{(n)} = \mathbb{P} (X_n = i)$$

右下の添字は状態、右上の添字は時刻(回数)を表しています。

状態確率ベクトル

ある時刻 $n$ における状態確率は、状態の数だけ存在します。

そこで、すべての状態に関する状態確率をベクトルの形でまとめたものを状態確率ベクトルといいます。

状態の数が $N$ 個のとき、数式では

$$\boldsymbol{p}^{(n)} = [p_{i_1}^{(n)}, \cdots, p_{i_N}^{(n)}]$$

のようになります。

とみー
とみー

具体例は、次の性質を通してご紹介します。

専門性を活かした就活で差をつけよう!

確率や統計の専門性は理系の就活でかなり優位に働きます。

そのため、エンジニア就活特化のプラットフォームを使えば他では見られない高待遇な就職先が見つかります!

特徴 リンク
UZUZ理系
  • 内定率 86% 以上!
  • ブラック企業徹底排除
  • 機械・電気電子・情報系は特に求人多数
【UZUZ】
エンジニア就活
  • 未経験から即戦力まで幅広く対応
  • IT企業特化の企業研究・就活コラム
  • 企業から直接スカウトも!
【エンジニア就活】
レバテックルーキー
  • 書類通過率 90% 以上
  • プログラミング経験者限定のハイクラス求人
  • 新卒年収 500 万円以上の求人も!
レバテックルーキー

経験不足で大丈夫かな…という方はプログラミングスクールでスキルアップしておくとバッチリです。

特徴 リンク
エンジニアズゲート
  • 完全無料のプログラミングスクール!
  • 95% 超えの就職率
  • 専任のキャリアアドバイザーがサポート
エンジニアズゲート
TechAcademy
  • Web 制作・アプリ開発・AI など幅広いコース
  • 学割あり
  • 初心者からでも副業できるレベルのスキルが身に付く!
テックアカデミー無料体験
とみー
とみー

エンジニアズゲート は特に完全無料なので検討の余地ありです!

斉時的なマルコフ連鎖の性質

斉時的なマルコフ連鎖の

  1. 状態確率ベクトル
  2. 遷移確率行列

には、次の関係式が成り立ちます。

公式

公式

$$\boldsymbol{p}^{(n)} = \boldsymbol{p}^{(n-1)} \boldsymbol{P} = \boldsymbol{p}^{(0)} \boldsymbol{P}^{n}$$

これは、初期状態の状態確率ベクトルと遷移確率行列がわかれば、任意の時間の状態確率ベクトルが求められるという公式です。

ベイズの定理より、

\begin{eqnarray} \mathbb{P} (X_1 = i_1) &=& \sum_{i_0} \mathbb{P} (X_0 = i_0, X_1 = i_1) \nonumber \\ &=& \sum_{i_0} \mathbb{P} (X_0 = i_0) \mathbb{P}(X_1=i_1|X_0=i_0) \end{eqnarray}

遷移確率、状態確率を使って書き直すと

\begin{eqnarray} p_{i_1}^{(1)} = \sum_{i_0} p_{i_0}^{(0)} p_{i_0i_1} \end{eqnarray}

これを状態の数だけ考えると、次のような行列に関する等式になる。

\begin{eqnarray} \begin{bmatrix} p_{i_0}^{(1)} & \cdots & p_{i_N}^{(1)} \end{bmatrix} = \begin{bmatrix} p_{i_0}^{(0)} & \cdots & p_{i_N}^{(0)} \end{bmatrix} \begin{bmatrix} p_{i_0i_0} & \cdots & p_{i_0i_N} \\ \vdots & \ddots & \vdots \\ p_{i_Ni_0} & \cdots & p_{i_Ni_N} \end{bmatrix} \end{eqnarray}

よって

$$\boldsymbol{p}^{(1)} = \boldsymbol{p}^{(0)} \boldsymbol{P}$$

で、再帰的に

$$\boldsymbol{p}^{(n)} = \boldsymbol{p}^{(n-1)} \boldsymbol{P} = \boldsymbol{p}^{(0)} \boldsymbol{P}^{n}$$

公式の適用-具体例

すごろくの例を続けましょう。

スタート地点がマス1なので、$n=0$ における状態確率ベクトルは

$$\boldsymbol{p}^{(0)} = \begin{bmatrix}1 & 0& 0& 0& 0& 0& 0& 0& 0\end{bmatrix}$$

です。

公式を使うと、

\begin{eqnarray} \boldsymbol{p}^{(1)} &=& \boldsymbol{p}^{(0)} \boldsymbol{P} \nonumber \\ &=& \begin{bmatrix} 1 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \end{bmatrix} \begin{bmatrix} 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 & 0 \\ 0 & 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 \\ 0 & 0 & 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} \\ \frac{1}{6} & 0 & 0 & 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} \\ \frac{1}{6} & \frac{1}{6} & 0 & 0 & 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} \\ \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 & 0 & 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} \\ \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 & 0 & 0 & \frac{1}{6} & \frac{1}{6} \\ \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 & 0 & 0 & \frac{1}{6} \\ \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 & 0 & 0 \end{bmatrix} \\ &=& \begin{bmatrix}0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 & 0\end{bmatrix} \end{eqnarray}

同様の計算をもう1度行うと

\begin{eqnarray} \boldsymbol{p}^{(2)} &=& \boldsymbol{p}^{(1)} \boldsymbol{P} \nonumber \\ &=& \begin{bmatrix} \frac{1}{9} & \frac{1}{12} & \frac{1}{12} & \frac{1}{12} & \frac{1}{12} & \frac{1}{9} & \frac{5}{36} & \frac{1}{6} & \frac{5}{36} & \end{bmatrix} \end{eqnarray}

よって、2回でゴールに辿り着く確率は $\frac{5}{36}$ ということが求められました。

確率過程のおすすめ

まとめ

今回は、確率過程のマルコフ連鎖についてご紹介しました。

スポンサーリンク

コメント

タイトルとURLをコピーしました