高校生のためのデータ分析入門 (20)：期待値と分散・共分散の計算シャワー

数学が苦手なうちのJKに、将来必要となるかもしれないデータ分析への抵抗感をなくしてもらう目的で記事を書くことにしました。

前回：高校生のためのデータ分析入門 (19)：カテゴリー変数を説明変数に使う - ねこすたっと

はじめに
期待値の計算
分散・共分散の計算
おわりに

はじめに

期待値や分散についての計算が色々出てきたので、一度まとめておきます。特に必要がなければ、結果だけ確認して読み飛ばしてもOKだけど、新しく導入される教科の「情報」では出てくることがあるかもしれないみたいなので、知っておいて損はないかも。

期待値の計算

期待値は、「変数の実現値を、その値を取る確率で重みづけて平均を取ったもの」で、次のように計算されるんでしたね。

$\begin{aligned} E[X] &= \sum_i^n x_i Pr(X=x_i) \end{aligned}$

離散型変数を想定して書きましたが、連続型変数のときは

和 $\sum_i^n$ → 積分 $\int_{-\infty}^{\infty}$
確率質量関数 $Pr(X=x_i)$ → 確率密度関数 $f(x)$

に変換してください。

定数の期待値

値が固定されているので、期待値もその値です。

$\begin{aligned} E[c] &= c \end{aligned}$

定数倍の期待値

Xをc倍したものの期待値は、E[X]をc倍したものになります。

$\begin{aligned} E[cX] &= \sum_i^n c x_i Pr(X=x_i)\\ &= c \sum_i^n x_i Pr(X=x_i)\\ &= cE[X] \end{aligned}$

和の期待値

「和の期待値」は「期待値の和」です。これはXとYが独立でなくても成り立ちます。

$\begin{aligned} E[X + Y ] &= \sum_i^n \sum_j^m (x_i+y_j) Pr(X=x_i, Y=y_j)\\ &= \sum_i^n \sum_j^m x_i Pr(X=x_i, Y=y_j) + \sum_i^n \sum_j^m y_i Pr(X=x_i, Y=y_j) \\ &= \sum_i^n x_i \sum_j^m Pr(X=x_i, Y=y_j) + \sum_j^m y_i \sum_i^n Pr(X=x_i, Y=y_j) \\ &= \sum_i^n x_i Pr(X=x_i) + \sum_j^m y_i Pr(Y=y_j) \\ &= E[X] + E[Y] \end{aligned}$

第3式から第4式の変形で、以下のような計算が出てきます。

$\begin{aligned} \sum_j^m Pr(X=x_i, Y=y_j) &= Pr(X=x_i) \\ \sum_i^n Pr(X=x_i, Y=y_j) &= Pr(Y=y_j)\\ \end{aligned}$

これは、下のようなXとYの組み合わせとそれに対応している確率が書かれている表で、 $X = x_i$ （赤）あるいは $Y = y_j$ （青）に該当する全ての確率を足し合わせることに相当します。

この表で、それぞれのセルには $X = x_i$ かつ $Y = y_j$ が同時に起こる確率（= 同時確率, joint probability）が収められています。例えば、セルをY方向に足し合わせると、Xがある値のときの全てのパターンの確率がもとまります。これは、表の周辺部分（= 一番右あるいは下）に書いてある、確率の小計を求めることになるので、周辺化（marginalization）と言います。

積の期待値

変数が互いに独立であるときに限り、「積の期待値」は「期待値の積」です。

$\begin{aligned} E[XY ] &= \sum_i^n \sum_j^m x_i y_j Pr(X=x_i, Y=y_j)\\ &= \sum_i^n \sum_j^m x_i y_j Pr(X=x_i) Pr(Y=y_j)\\ &= \sum_i^n x_i Pr(X=x_i) \sum_j^m y_j Pr(Y=y_j)\\ &= E[X] E[Y] \end{aligned}$

「互いに独立である」という条件がないと、 $Pr(X=x_i, Y=y_j) = Pr(X=x_i) Pr(Y=y_j)$ と変形できません。

分散・共分散の計算

分散の計算

下のように、分散は「2乗の期待値 - 期待値の2乗」で計算できます。

$\begin{aligned} V(X) &= E[(X - E[X])^2] \\ &= E[X^2] - (E[X])^2 \end{aligned}$

前にも取り上げたことがあるので、中間の式変形が気になる人は下の記事を参考にしてください。

necostat.hatenablog.jp

共分散の計算

共分散は「積の期待値 - 期待値の積」で計算できます。

$\begin{aligned} Cov(X, Y) &= E[(X - E[X])(Y-E[Y])] \\ &= E[XY - Y E[X] - X E[Y] + E[X]E[Y] ] \\ &= E[XY] - E[Y] E[X] - E[X]E[Y] + E[X]E[Y] \\ &= E[XY] - E[X]E[Y] \end{aligned}$

YをXに置き換えると、「分散 = 2乗の期待値 - 期待値の2乗」になります。分散は共分散の特殊形とみなせるので、共分散の計算を覚えておけば導出できます。

定数の分散・共分散

定数は揺らぐことがないので、分散は0です。

$\begin{aligned} V(c) &= E[c^2] - (E[c])^2 \\ &= c^2 - c^2 \\ &= 0 \end{aligned}$

変数と定数との共分散は0です。もちろん定数同士の共分散も0です。

$\begin{aligned} Cov(aX, b) &= E[abX] - E[aX]E[b] \\ &= ab E[X] - a E[X]b \\ &= 0 \end{aligned}$

定数倍の分散・共分散

係数を2乗して前に出します。

$\begin{aligned} V(cX) &= E[(cX)^2] - (E[cX])^2 \\ &= E[c^2 X^2] - (c E[X])^2 \\ &= c^2 E[ X^2] - c^2 (E[X])^2 \\ &= c^2 \left( E[X^2] - (E[X])^2 \right) \\ &= c^2 V(X) \end{aligned}$

定数倍した変数同士の共分散は、変数の係数の積を前に出します。

$\begin{aligned} Cov(aX, bY) &= E[aXbY] - E[aX]E[bY] \\ &= ab E[XY] - a E[X] b E[Y] \\ &= ab (E[XY] - E[X]E[Y]) \\ &= ab Cov(X,Y) \end{aligned}$

和の分散

和の分散は「分散の和 + 2×共分散」です。何となく(a+b)²の展開の式みたいですね。

$\begin{aligned} V(X+Y) &= E[(X+Y)^2] - (E[X+Y])^2\\ &= E[ X^2 + 2XY + Y^2] - (E[X]^2 + 2E[X]E[Y] + E[Y]^2) \\ &= (E[X^2] - E[X]^2) + (E[Y^2] - E[Y]^2) + 2(E[XY] - E[X]E[Y]) \\ &= V(X) + V(Y) +2Cov(X, Y) \end{aligned}$