2つの確率変数に関してまとまっている情報になかなかたどり着けなかったので、個人的な備忘録を兼ねて。

共分散 (Covariance)

2つの確率変数 $X = \{ x_{1}$ 、 $x_{2}$ 、 $\ldots$ 、 $x_{n} \}$ 、 $Y = \{ y_{1}$ 、 $y_{2}$ 、 $\ldots$ 、 $y_{n} \}$ の共分散 $Cov(X, Y)$ は、

$Cov(X, Y) = \displaystyle \frac{1}{n} \sum_{i=1}^n {\{x_{i} - E(X)\}\{y_{i} - E(Y)\}}$

と定義されています。

また、定義より、

$Cov(X, Y) = E(X \cdot Y) - E(X) \cdot E(Y)$

となります。

証明はこちら

$Cov(X, Y) = \displaystyle \frac{1}{n} \sum_{i=1}^n {\{x_{i} - E(X)\}\{y_{i} - E(Y)}\}$
$= \displaystyle \frac{1}{n} \sum_{i=1}^n {\{x_{i} \cdot y_{i} - E(Y) \cdot x_{i} - E(X) \cdot y_{i} + E(X) \cdot E(Y)}\}$
$= \displaystyle \frac{1}{n} \sum_{i=1}^n {(x_{i} \cdot y_{i}) - E(Y) \cdot \frac{1}{n} \sum_{i=1}^n {x_{i}} - E(X) \cdot \frac{1}{n} \sum_{i=1}^n {y_{i}} + E(X) \cdot E(Y) \cdot \frac{1}{n} \sum_{i=1}^n {1}}$
$= E(X \cdot Y) - E(Y) \cdot E(X) - E(X) \cdot E(Y) + E(X) \cdot E(Y)$
$= E(X \cdot Y) - E(X) \cdot E(Y)$

$X$ 、 $Y$ が独立であるとき、 $E(X \cdot Y) = E(X) \cdot E(Y)$ となるので、

$Cov(X, Y) = 0$

となります(逆も成り立ちます)。

期待値・分散

$a$ 、 $b$ を定数とすると、確率変数 $X$ 、 $Y$ の期待値と分散に関して、

$E(aX + bY) = aE(X) + bE(Y)$
$V(aX + bY) = a^{2}V(X) + b^{2}V(Y) + 2ab \cdot Cov(X, Y)$

の関係が成り立ちます。

証明はこちら

・期待値:
$E(aX + bY) = \displaystyle \frac{1}{n} \sum_{i=1}^n (ax_{i} + by_{i})$
$= \displaystyle a \cdot \frac{1}{n} \sum_{i=1}^n x_{i} + b \cdot \frac{1}{n} \sum_{i=1}^n y_{i}$
$= aE(X) + bE(Y)$

・分散:
$V(aX + bY) = \displaystyle \frac{1}{n} \sum_{i=1}^n \{(ax_{i} + by_{i}) - E(aX + bY)\}^{2}$
$= \displaystyle \frac{1}{n} \sum_{i=1}^n [\{(ax_{i} + by_{i}) - \{aE(X) + bE(Y)\}]^{2}$
$= \displaystyle \frac{1}{n} \sum_{i=1}^n [a\{x_{i} - E(X)\} + b\{y_{i} - E(Y)\}]^2$
$= \displaystyle a^2 \cdot \frac{1}{n} \sum_{i=1}^n \{x_{i} - E(X)\}^2 + b^2 \cdot \frac{1}{n} \sum_{i=1}^n \{y_{i} - E(Y)\}^2 + 2ab \cdot \frac{1}{n} \sum_{i=1}^n \{x_{i} - E(X)\}\{y_{i} - E(Y)\}$
$= a^2V(X) + b^2V(Y) + 2ab \cdot Cov(X, Y)$