マルコフ連鎖とは?数式と具体例を通してわかりやすく解説

マルコフ連鎖とは?数式と具体例を通してわかりやすく解説確率過程
スポンサーリンク

どうも!初めましての方は初めまして、初心者のWebサイト勉強のとみーです!

待ち行列理論や確率過程について勉強していると出会うのが、マルコフ連鎖です。

とみー
とみー

今回は、そのマルコフ連鎖についてわかりやすくまとめてみました!

対象レベル

確率の基本的な知識がある方(高校数学〜大学入門)

スポンサーリンク

マルコフ連鎖とは

マルコフ連鎖とは、

  1. マルコフ性を備えた
  2. 確率過程

です。

とみー
とみー

1つずつ言葉の意味を見ていきましょう。

まずは簡単な確率過程からです。

確率過程とは

例として、「コインを $n$ 回投げる」という場面を考えましょう。

具体例

$i$ 回目に出た面を

\begin{eqnarray} X_i(\mbox{裏})=0 \nonumber \\ X_i(\mbox{表})=1 \nonumber \end{eqnarray}

という確率変数 $X_i$ で表すと

$$\{ X_i\}_{1 \le i \le n} = \{ X_1, \cdots, X_n \}$$

は各回の出た面(裏なら0、表なら1)の集まりですね。

このとき、確率変数 $X_n$ は出た面(表か裏か)の関数ですが、同時にサイコロを何回目に振ったかという順番 $n$ の関数にもなっています。

定義

このように、

  1. 確率変数を時間($n$ 回目や時刻 $t$)と紐付け
  2. 時間についてひとまとめにしたもの

確率過程といいます。

ここでいう「時間」は、分、秒といった時間だけのことではなく、$n$ 回目といった回数も含みます。

「時間についてひとまとめ」というのは、$i$ 回目の面を $X_i$ として表すように、確率変数を時間ごとに考えるということです。

とみー
とみー

なので、上の $\{X_i\}_{1 \le i \le n}$ は確率過程です!

ざっくりと、$n$ 回目の出来事を表す確率変数を集めたもの、くらいのイメージが掴めればOKです。

続いては、マルコフ性です。

マルコフ性とは

定義

マルコフ性とは、

次の状態は、現在の状態だけに依存する

という性質です。

こちらも具体例を通して理解しましょう。

具体例

とみー
とみー

次のようなすごろくを考えます。

今回は、$n$ 回サイコロを振った後にいるマス目の値を確率変数 $X_n$ とします。

サイコロを振る前はスタート地点にいるので、$X_0 = 1$ ですね。

さて、ここで $n+1$ 回サイコロを振り終えた時点でマス7にいる(つまり $X_{n+1} = 7$)のはどんなときでしょうか?

正解は、

  • $X_n =6$ で、$n+1$ 回目のサイコロの目が1
  • $X_n =5$ で、$n+1$ 回目のサイコロの目が2
  • $X_n =4$ で、$n+1$ 回目のサイコロの目が3
  • $X_n =3$ で、$n+1$ 回目のサイコロの目が4
  • $X_n =2$ で、$n+1$ 回目のサイコロの目が5
  • $X_n =1$ で、$n+1$ 回目のサイコロの目が6

のいずれかの場合です。

ここで重要なのは、$n$ 回目より前にどこにいたか($X_0, \cdots, X_{n-1}$)は関係ないということです。過去にどんなマスにいようと、$n+1$ 回目にどこにいるかは $n$ 回目にどこにいるかだけで決まるのです。

とみー
とみー

これがマルコフ性です。

マルコフ連鎖とは

以上をまとめると、冒頭の定義の繰り返しになりますが、

  1. マルコフ性を備えた
  2. 確率過程

マルコフ連鎖といいます。

確率過程 $\{X_n\}_{n \in \mathbb{Z}_+}$ がマルコフ過程であることは、数式で書くと次のようになります。

定義

$$\mathbb{P}(X_{n+1} = j | X_n = i, \color{red}\cdots, X_0 = i_0\color{black}) = \mathbb{P}(X_{n+1} = j | X_n = i)$$

とみー
とみー

条件付き確率の「直前の条件以外」は全部無視できるという意味です!

スポンサーリンク

斉時的なマルコフ連鎖

マルコフ連鎖の中には、斉時的なマルコフ連鎖というものが存在します。

定義

斉時性

「今どの状態にいるか」は重要だけど
「今何回目か」はまったく関係ない

という性質です。

数式で見るとこんな感じです。

定義

取り得るすべての $n, i_0, \cdots, i_n, j$ に対して、

\begin{eqnarray} \mathbb{P}(X_{n+1} = j | X_n = i) &=& \mathbb{P}(X_n = j | X_{n-1} = i) \nonumber \\ &\vdots& \nonumber \\ &=& \mathbb{P}(X_2=j|X_1=i) \nonumber \\ &=& \mathbb{P}(X_1=j|X_0=i) \end{eqnarray}

確率変数の添字に注目しましょう。

これは、$n$ 回目で状態 $i$ のときに $n+1$ 回目で状態 $j$ となる確率は

  • $n -1$ 回目で状態 $i$ のときに $n$ 回目で状態 $j$ となる確率
  • $n-2$ 回目で状態 $i$ のときに $n-1$ 回目で状態 $j$ となる確率
  • $1$ 回目で状態 $i$ のときに $2$ 回目で状態 $j$ となる確率
  • $0$ 回目で状態 $i$ のときに $1$ 回目で状態 $j$ となる確率

のすべてと同じということを意味しています。

とみー
とみー

つまり、今が何回目でも状態 $i$ から状態 $j$ に遷移する確率は変わらないということです。

具体例

先ほどのすごろくの例に戻りましょう。

今が1回目でも100回目でも、マス1からマス2に移動できる確率は $\frac{1}{6}$ です。

これは、数式で書けばどんな $n$ に対しても

$$\mathbb{P}(X_{n+1} = 2|X_n = 1) = \frac{1}{6}$$

が成り立つことと同じです。

$X_n$は、$n$ 回サイコロを振った後にいるマス目でしたね。

そのため、マス1からマス2に移動する確率 $p_{12}$ は $n$ に関係なく

$$p_{12} = \frac{1}{6}$$

となります。

同様に、すべての $(i, j) \in \{1, \cdots, 9\}$ について、$n$ とは関係なくマス $i$ からマス $j$ へ移動する確率が求められるので、$\{X_n\}_{n \in \mathbb{N}}$ は斉時的なマルコフ連鎖です。

確率過程のおすすめ
スポンサーリンク

まとめ

今回は、確率過程のマルコフ連鎖についてご紹介しました。

データサイエンスコースも!

コメント

タイトルとURLをコピーしました