最尤推定

母集団分布の形が分かっているがその母数が未知であるときに，$n$個の標本値 $x_{1},x_{2},\ldots,x_{n}$を母集団分布に従う確率変数 $X_{1},X_{2},\ldots,X_{n}$がとることは最も起こりやすい(maximum likelihood)という条件を用いてその母数を決めようとするものである．

例題 5.4   ポワソン母集団から大きさ3の独立な標本を無作為に抽出したとき，その値が $x_{1},x_{2},x_{3}$であったとする．この標本値から母平均$\mu$を推定しよう．

解 標本値 $x_{1},x_{2},x_{3}$は，母集団と同じポワソン分布に従い，かつ互いに独立な確率変数 $X_{1}, X_{2}, X_{3}$をとった値だと考えられる．そのような値をとる確率 $P(X_{1} = x_{1}, X_{2} = x_{2}, X_{3} = x_{3})$を$L$とすると， $X_{1}, X_{2}, X_{3}$は独立より，

$$L = P(X_{1} = 1)P(X_{2} = x_{2})P(X_{3} = x_{3}) = e^{-\mu}\frac{... ...}}}{x_{3}!} = e^{-3\mu}\frac{\mu^{x_{1} + x_{2} + x_{3}}}{x_{1}! x_{2}! x_{3}!}$$

となる．ここで，この確率が最も起こりやすい$\mu$を求める．つまり，$L$が最大となるような$\mu$を求める． $x_{1},x_{2},x_{3}$は標本値として既知であるから，$\mu$の関数としての $L = L(\mu)$は，

$$\frac{dL}{d\mu} = 0$$

のときに最大となる．したがって，

$$\frac{dL}{d\mu} = -3e^{-3\mu}\frac{\mu^{x_{1} + x_{2} + x_{3}}}{x_{1}! x_{2}! x_{3}... ...} + x_{3})e^{-3\mu}\frac{\mu^{x_{1} + x_{2} + x_{3} - 1}}{x_{1}! x_{2}! x_{3}!}$$

$$= -3L + \mu^{-1}(x_{1} + x_{2} + x_{3})L = \frac{L}{\mu}(-3\mu + x_{1} + x_{2} + x_{3}) = 0$$

より，

$$\mu = \frac{1}{3}(x_{1} + x_{2} + x_{3})$$

が母平均の推定値である．

このようにして得られた推定量を最尤推定量といい，推定値を得るために考えた関数$L$を尤度関数といいます．

例題 5.5   $N(\mu,\sigma^2)$に従う正規母集団から，大きさ$n$の独立な標本を無作為抽出したところ，その標本値が $x_{1},x_{2},\ldots,x_{n}$であった．母分散$\sigma^2$が既知のときの母平均$\mu$の最尤推定量を求めよ．

解 $N(\mu,\sigma^2)$の確率密度は

$$f(x) = \frac{1}{\sqrt{2\pi}\sigma}{\rm exp}\{-\frac{(x-\mu)^2}{2\sigma^2}\}$$

である．$n$個の標本は互いに独立なので

$$L = \left((\frac{1}{\sqrt{2\pi}\sigma})^{n}{\rm exp}\left\{-\frac{(x_{1} -\mu)^2 + \cdots + (x_{n} - \mu)^2}{2\sigma^2} \right\}\right)$$

ここで， $x_{1},x_{2},\ldots,x_{n},\sigma^2$は既知だから，

$$\frac{dL}{d\mu} = -\frac{1}{2\sigma^2}\{2(\mu - x_{1}) + 2(x_{2} - \mu) + \cdots + 2(\mu - x_{2})\}L$$

$$= -\frac{1}{\sigma^2}\{n\mu - (x_{1} + x_{2} + \cdots + x_{n})\}L = 0$$

したがって，

$$\mu = \frac{1}{n}(x_{1} + x_{2} + \cdots + x_{n}) = \bar{x}$$

が最尤推定量となる．

演習問題 5.1.2

1. $N(\mu,\sigma^2)$に従う正規母集団から3個の標本 $x_{1},x_{2},x_{3}$を無作為抽出した．母平均$\mu$が既知のときの，母分散$\sigma^2$の最尤推定量を求めよ．