数理モデルとマルコフ再生過程

はじめに

ビジネスにおける数理モデルの重要性は近年高まっており、様々な課題を解決するための手法が模索されています。特に、ビジネスや複雑な社会的課題を数学的に解析する分野として、オペレーションズリサーチが挙げられます。本記事では、その分野の中でもしばしば登場する確率モデルに焦点を当てて説明します。オペレーションズリサーチの主要なトピックの一つに、待ち行列モデルがあります。これは、交通流や銀行のATM、コンビニエンスストアのレジで見られる待ち行列を数学的にモデル化し、分析するものです。この文脈で頻繁に取り上げられるのが、マルコフ再生過程です。この確率過程は、マルコフジャンプ過程の一般形であり、記憶効果を持つ確率過程をも含む幅広い現象をモデル化することが可能です。

マルコフ再生過程

マルコフ再生過程について、簡単な定義をまとめていきます。まず簡単のため、一次元の連続時間ランダムウォークを考えます。そこで定義される確率過程は、あるジャンプ$X_i (X_i\in \mathbb{R}, i=1,2,\ldots)$と到着時刻$\tau_i, (i=1,2,\ldots)$のペアとして記述されます。(図1を参照。)その時、マルコフ再生過程$R(t)$を以下のように定義します。

$R(t)=X_1+\cdots+X_n$

ここでジャンプの回数を$n$とし、その$n$は以下を満たします。

$\tau_1+\cdots+\tau_n\leq t <\tau_1+\cdots+\tau_{n+1} $

ここで$t$は時刻を表し、あるマルコフ再生過程を時刻$t$まで観測したという表現になっています。つまり始まった時刻を0とし、ある時刻$t$までに何回ジャンプがあったか、そしてそのジャンプの合計距離が$R(t)$に相当するという確率モデルです。

図1:再生過程のイメージ図。この図では到着時刻$\tau_i$は$T_i$に相当する。

出典[https://journalcam.com/wp-content/uploads/2019/11/090209.pdf]

このジャンプ距離と到着時刻は、ある独立同分布(i.i.d.)の確率分布に従います。また、この再生過程の特殊なケースとして、すべてのジャンプ距離が$1$であるような過程を考慮することができます。すなわち、ある到着時刻に何らかのイベントが発生すると、それを1カウント(イベントの起きた回数)として数えるわけです。これは計数過程(図2)と呼ばれる確率過程であり、以下のように定義されます

$N_t= \max\{n: T_n\leq t\}$

ここで、$T_n$は

$T_n=\sum^n_{i=1} \tau_i$

です。

図2:計数過程のイメージ図。ある到着時刻でカウントが1回ずつ行われる。

出典[https://www.probabilitycourse.com/chapter11/11_1_1_counting_processes.php]

例えば、計数過程を用いることで、交通流のモデリングも可能です。ある地点Aと地点Bがあるとします。車が地点Aを通過する瞬間にストップウォッチをスタートさせ、同じ車が地点Bを通過する瞬間にストップウォッチを停止します。複数の車が通過する状況を想定します。このとき、ストップウォッチによる計測回数を$N_t$とし、各車の到着時刻を$\tau_i$とすると、到着時刻は特定の分布を持つこととなり、この交通流を計数過程と考えることができます。さらにこの確率過程における到着時刻分布が指数分布に従う時、この計数過程はポアソン過程と一致します。このように社会現象やビジネスにおける現象をモデル化することで、事象を数学的に取り扱えることとなり、特定の事象に対して定量的な考察が可能となります。

再生方程式

ある事象を数理モデル化したとして、次に定量的に解析する必要があります。ここでは確率過程を扱っているため、基本的な平均値や分散について解説したいと思います。マルコフ再生過程の特徴の一つとして、この確率過程を考えた際に再生方程式という積分方程式がが常に成り立つことが知られています。再生方程式は確率過程のモーメントを計算するためのものであり、期待値、分散等の計算に役立ちます。簡単のため、ここでは計数過程$N_t$について考えます。$N_t$の期待値を

$m(t)=\mathbb{E}[N_t] = \mathbb{E}[\mathbb{E}(N_t|\tau_1)]$

と条件付き期待値を用いて書き直します。ここで期待値はある確率分布関数$p(t)$で取ることにします。$\tau_1$は初期到着時刻です。今、この期待値を以下のように書き直します。

$m(t)=\int^{\infty}_0\mathbb{E}[N_t|\tau_1=s]p(s)ds$

さらに、時刻を$[0,t]$と$(t,\infty)$の二つの領域に分割します。その結果

$\int^{\infty}_0\mathbb{E}[N_t|\tau_1=s]p(s)ds=\int^{t}_0\mathbb{E}[N_t|\tau_1=s]p(s)ds+\int^{\infty}_t\mathbb{E}[N_t|\tau_1=s]p(s)ds$

を得ます。ここで、$\tau_1=s$は初期の到着時刻であり、観測時間の$t$を超えることはないため右辺の2項目を除くことができます。またさらに、$\mathbb{E}[N_t|\tau_1=s]$は$1+m(t-s)$なため、最終的に以下の再生方程式を得ることができます。(この変形は、renewal propertyという性質を用いており、直感的には時刻0から考えるのではなく、時刻sからの期待値を考えるということを行なっています。もちろん時刻sではイベントが1回しか起きないため、最終的に1イベント+これから起こるイベント数の期待値$m(t-s)$としてm(t)を記述しています。)

$m(t)=\int^{t}_0[1+m(t-s)]p(s)ds=F(t)+(m*p)(t)$

$F(t)$は累積分布関数を表し、2項目は畳み込みを表しています。ここまでの導出では、分布関数を何も限定していないため、あらゆる分布関数に対してこの結果を得ることができます。

次に、この分布を指数分布として考えてみます。指数分布は$F(t)=1-e^{rt}$とし、$r$は指数分布のレートを表します。その結果、期待値は

m(t)=rt

と計算でき、$m(t)=\mathbb{E}[N_t]$は時間が経つにつれ、$r$というレートで増加するという結果が得られます。交通流のモデルとして考えれば、時刻tまでに平均$rt$台、車が通過するというように解釈でき、定量的な結果を考察することができます。さらに分散まで計算すれば、平均値+標準偏差を考えればある程度の交通量の幅を考えることができ、渋滞を軽減するための計画等に役立つと考えられます。

もちろん、現実では到着時刻分布が指数分布でないことも多いため、その都度、確率分布を設定することで平均や分散等の結果を得ることができます。また、記憶効果を考慮するためにはべき乗分布を考える必要があり、計算が少し複雑になってしまいます。

おわりに

この記事では、社会現象の簡単な例とその数理モデル化、特にマルコフ再生過程について説明しました。数理モデルが注目される理由は、感覚的に捉えられていた事象をデータ化して解析したり、定量的な考察を通じて解釈可能にする点にあると考えています。特に確率過程(確率モデル)は、適切に扱えば非常に強力な分析ツールとなりえ、多様な状況への応用が可能です。もしこの記事を読んで興味を持たれたなら、現象のモデル化に例えばマルコフ再生過程を用いることを検討してみてはいかがでしょうか。