推測統計学における標本の性質

統計学

本記事では、推測統計学における標本の性質について整理していきます。
現在進行形で勉強しながら書いているので、間違いなどありましたらご指摘いただけると幸いです🙇‍♂️


母集団と標本の関係

母集団から標本を無作為に抽出するとき、標本の各データは母集団の確率分布に従って決まります。
つまり、標本の各データは確率変数であると言えます。

また、標本の各データを X_{i} ( i = 1、2、 \ldots 、 n)、母集団の母平均を \mu、母分散を \sigma^{2}とすると、 X_{i}の平均 E(X_{i})、分散 V(X_{i})は、

  • E(X_{i}) = \mu
  • V(X_{i}) = \sigma^{2}

となります。

標本平均と標本分散

標本の標本平均を \overline{X}、標本分散を S^{2}とすると、

  • 標本平均: \overline{X} = \displaystyle \frac{1}{n} \sum_{i=1}^n X_{i}
  • 標本分散: S^{2} = \displaystyle \frac{1}{n} \sum_{i=1}^n (X_{i} - \overline{X})^{2}

となります。これらの統計量も確率変数であると言えます。

標本平均の平均と分散

標本平均 \overline{X}は確率変数なので、何らかの確率分布に従います。
途中式は割愛しますが、標本平均の平均 E(\overline{X})、分散 V(\overline{X})は、

  • 標本平均の平均: E(\overline{X}) = \mu
  • 標本平均の分散: V(\overline{X}) = \displaystyle \frac{\sigma^{2}}{n}

となるので、標本平均 \overline{X}は平均 \mu、分散 \displaystyle \frac{\sigma^{2}}{n}の(何らかの)確率分布に従います。

標本の大きさ nが大きいときは、平均 \mu、分散 \displaystyle \frac{\sigma^{2}}{n}の正規分布に近似的に従うことが知られています(中心極限定理)。

さらに、ここから、

Z = \displaystyle \frac{\overline{X} - \mu}{\displaystyle \frac{\sigma}{\sqrt{n}}}

と標準化すると、 Zは標準正規分布に近似的に従います。

母数と推定量

母集団の統計量を母数、標本から母数を推定するために使う計算式を推定量と呼びます。
点推定を行うときは、以降に説明する一致性と不偏性を満たす推定量を使います。

一致性

標本の大きさ nが大きいときに推定量が母数に一致する性質を一致性、一致性を満たす推定量を一致推定量と呼びます。

すなわち、母数を \theta、推定量を \hat{\theta}とすると、

  • \displaystyle \lim_{n \to \infty} E(\hat{\theta}) = \theta
  • \displaystyle \lim_{n \to \infty} V(\hat{\theta}) = 0

が成り立つような \hat{\theta}が一致推定量です。

不偏性

標本の大きさ nに関係なく推定量の平均が母数に一致する性質を不偏性、不偏性を満たす推定量を不偏推定量と呼びます。

すなわち、母数を \theta、推定量を \hat{\theta}とすると、

  • E(\hat{\theta}) = \theta

が成り立つような \hat{\theta}が不偏推定量です。

母平均と母分散の点推定

母平均の点推定

標本平均 \overline{X}について、

  • 標本平均の平均: E(\overline{X}) = \mu
  • 標本平均の分散: V(\overline{X}) = \displaystyle \frac{\sigma^{2}}{n}

となることから、

  • 一致性
    • \displaystyle \lim_{n \to \infty} E(\overline{X}) = \mu
    • \displaystyle \lim_{n \to \infty} V(\overline{X}) = 0
  • 不偏性
    • E(\overline{X}) = \mu

となり、一致性と不偏性をともに満たすので、標本平均 \overline{X}を使って母平均 \muの点推定ができることが分かります。

母分散の点推定

途中式は割愛しますが、標本分散 S^{2}について、

  • E(S^{2}) = \displaystyle \frac{n - 1}{n} \sigma^{2}
  • V(S^{2}) = \displaystyle \frac{2(n - 1)}{n^{2}} \sigma^{4}

となることから、

  • 一致性
    • \displaystyle \lim_{n \to \infty} E(S^{2}) = \sigma^{2}
    • \displaystyle \lim_{n \to \infty} V(S^{2}) = 0
  • 不偏性
    • E(S^{2}) = \displaystyle \frac{n - 1}{n} \sigma^{2} (\neq \sigma^{2})

となり、一致性は満たすものの不偏性を満たさないので、標本分散 S^{2}を使って母分散 \sigma^{2}の点推定ができないことが分かります。


そこで、

U^{2} = \displaystyle \frac{n}{n - 1} S^{2} = \frac{1}{n - 1} \sum_{i=1}^n (X_{i} - \overline{X})^{2}

となるような推定量 U^{2}を考えると、

  • E(U^{2}) = \sigma^{2}
  • V(U^{2}) = \displaystyle \frac{2}{n - 1} \sigma^{4}

となることから、

  • 一致性
    • \displaystyle \lim_{n \to \infty} E(U^{2}) = \sigma^{2}
    • \displaystyle \lim_{n \to \infty} V(U^{2}) = 0
  • 不偏性
    • E(U^{2}) = \sigma^{2}

となり、一致性と不偏性をともに満たすので、 U^{2}を使って母分散 \sigma^{2}の点推定ができることが分かります。
この推定量 U^{2}を不偏分散と呼びます。

以上をまとめると、

  • 母平均の点推定: 標本平均 \overline{X}を使う
  • 母分散の点推定: 不偏分散 U^{2}を使う

となります。