【データ解析】相関係数を式で考えてみる - ケィオスの時系列解析メモランダム

相関係数の話の続きです．
chaos-kiyono.hatenablog.com

　今回は確率変数を使って考えてみます．

$Y=aX+bW$ の係数 $a$ ， $b$ と， $X$ と $Y$ の散布図の関係．

$Y=aX+bW$ の係数 $a$ ， $b$ と， $X$ と $Y$ の散布図の関係．

相関って線形な関係
相関する確率変数の生成
Rで互いに相関する正規乱数の生成

相関って線形な関係

　平均0，分散 $\sigma^2$ の確率変数 $X$ と，これと独立な平均0，分散 $\sigma^2$ の確率変数 $W$ を仮定します． $X$ と $W$ の分布については，分散が有限ということだけで形は指定しません．

　 $X$ と線形な依存性がある確率変数 $Y$ を，定数 $a$ ， $b$ を使って次の形で表します．

　 $\begin{eqnarray} Y = a X + b W\end{eqnarray}$

この場合， $a \neq 0$ のとき， $Y$ には $X$ と線形な関係があり， $W$ の係数の $|b|$ が大きいほどその関係性が薄くなります．つまり， $X$ と $Y$ の相関は， $a$ の絶対値が， $b$ の絶対値よりも大きいほど強いと言えそうです．今回は実際に相関係数を計算してこのことを足しためてみます．

以下の計算で使う基本事項として， $Y$ の期待値と分散を計算しておきます． $Y$ の期待値は，

　 $\begin{eqnarray} \mathbb{E} [Y] &=& \mathbb{E} [a X + b W ] \\ &=& a \mathbb{E} [X] + b \mathbb{E} [W ] \\ &=& a \cdot 0 + b \cdot 0 \\ &=& 0 \end{eqnarray}$

$Y$ の分散は，

　 $\begin{eqnarray} {\rm Var} [Y] &=& {\rm Var} [a X + b W ] \\ &=& {\rm Var} [a X] + {\rm Var} [b W ] \\ &=& a^2 {\rm Var} [X] + b^2 {\rm Var} [ W ] \\ &=& a^2 \sigma^2 + b^2 \sigma^2 \\ &=& \left( a^2 + b^2 \right) \sigma^2 \end{eqnarray}$

です．

　上の例では， $a=0$ なら $X$ と $Y$ は独立 ( $W$ は $X$ とは独立なので)です．また， $b=0$ なら $X$ と $Y$ は単に比例しています．

　相関係数 $r$ の定義は，

　 $r = \frac{\displaystyle \mathbb{E} \big[ \left(X- \mathbb{E} \left[ X \right] \right)\left(Y- \mathbb{E} \left[ Y \right] \right)\big]}{\displaystyle \sqrt{\mathbb{E} \big[ \left(X- \mathbb{E} \left[ X \right] \right)^2\big]} \sqrt{\mathbb{E} \big[ \left(Y- \mathbb{E} \left[ Y \right] \right)^2\big]}}$

です．

　上で定義した， $X$ と $Y$ の相関係数を計算すると，

　 $\begin{eqnarray} r &=& \frac{ \mathbb{E} \big[ X \left(a X + bW \right) \big]}{\sqrt{\mathbb{E} \big[ X^2 \big]} \sqrt{\mathbb{E} \big[ \left(a X + b W \right)^2\big]}} \\ &=& \frac{ \mathbb{E} \big[ a X^2 + b X W \big]}{\sqrt{{\rm Var} \big[ X \big]} \sqrt{{\rm Var} \big[ a X + b W \big]}} \\ &=& \frac{ a\, \sigma^2}{\sigma \sqrt{\left( a^2 + b^2 \right) \sigma^2}} \\ &=& \frac{a}{ \sqrt{a^2+b^2}} \end{eqnarray}$

になります．最後の式は，直角三角形をイメージしてもらって，直角をはさむ２辺の長さを $a$ ， $b$ としたときに，斜辺の長さ $\sqrt{a^2+b^2}$ と $a$ の比になっています．

　上の結果を使うと， $a=0$ のとき，つまり， $Y$ と $X$ に相関がないケースでは， $r=0$ になります．

　また， $b=0$ のとき，つまり， $Y$ が $X$ の定数倍のケースでは， $r=1$ か， $r=-1$ になります．

　そして，相関係数の範囲は，

　 $a > 0$ のとき， $0 < r \le 1$ ，

　 $a < 0$ のとき， $-1 \le r < 0$

になることが分かります．

　ということで，相関係数がとる値の範囲は， $-1 \le r \le 1$ です．

　また，「相関係数の推定量」

　 $\hat{r} = \frac{\displaystyle \frac{1}{N}\sum_{i=1}^N \left(x_i-\bar{x} \right)\left(y_i-\bar{y} \right)}{\displaystyle \sqrt{\frac{1}{N}\sum_{i=1}^N \left(x_i-\bar{x} \right)^2} \sqrt{\frac{1}{N}\sum_{i=1}^N \left(y_i-\bar{y} \right)^2}}$

についても， $-1 \le \hat{r} \le 1$ になります．上の計算はこの証明にはなっていないので，この範囲については自分で考えるか，インターネットで検索して調べてみてください．当然，いろんな教科書に載っています．

相関する確率変数の生成

　上の計算を簡単にすることを考えます．簡単化のため，互いに独立な確率変数 $X$ と $W$ は，平均0，分散1とします．そして， $Y$ の分散も1にします．このとき，

　　 $\begin{eqnarray} \mathbb{E} [Y^2] &=& \mathbb{E} [\left(a X + b W \right)^2 ] \\ &=& a^2 + b^2 = 1 \end{eqnarray}$

が成り立つ必要があるので， $b^2=1-a^2$ となります．

　以上の条件でもう一度，相関係数 $r$ を計算してみると，

　 $\begin{eqnarray} r &=& \frac{ a}{\sqrt{a^2 +b^2}} \\ &=& \frac{a}{\sqrt{a^2 + \left( 1 - a^2 \right)}} \\ &=& a \end{eqnarray}$

になります．結局， $a = r$ になりました．

　ということで，相関係数が $r$ の確率変数 $X$ と $Y$ を作りたいとき，まず，平均0，分散1の互いに独立な確率変数 $X$ と $W$ を用意して，

　 $Y = r X + \sqrt{1-r^2} W$

とすれば良いと言うことです．

Rで互いに相関する正規乱数の生成

　真の相関係数が $r$ になる正規乱数をRで生成してみます．使ったスクリプトはこれです．

#　データの長さ
N <- 1000
# 真の相関係数
r <- 0.5
# 2変量乱数の生成
x <- rnorm(N) #　正規乱数
w <- rnorm(N) #　正規乱数
y <- r*x+sqrt(1-r^2)*w
# 相関係数の推定 
r.est <- cor(x,y)
###
# 散布図を描画
y.max <- max(abs(c(x,y)))
par(pty="s",cex.main=1.5)
plot(x,y,xlim=c(-y.max*1.3,y.max*1.3),ylim=c(-y.max*1.3,y.max*1.3),pch=16,col="blue",main=sprintf("r (est) = %.2f",r.est))
if(r >= 0){
 text(y.max*1.2,-y.max*1.2,sprintf("r (true) = %.2f",r),pos=2,cex=1.4,col=2)
 text(-y.max*1.2,y.max*1.2,sprintf("N = %d",N),pos=4,cex=1.4,col=1)
}else{
 text(-y.max*1.2,-y.max*1.2,sprintf("r (true) = %.2f",r),pos=4,cex=1.4,col=2)
 text(y.max*1.2,y.max*1.2,sprintf("N = %d",N),pos=2,cex=1.4,col=1)
}