Rで統計学を学ぶ(8)

この講義では、教科書の第15章「回帰分析」をとりあげます。回帰分析とは、1つあるいは複数の変数の値を用いて、ある一つの変数の値を予測するために用いられる多変量解析の一つです。

このウェブページと合わせて教科書を読み進めてください。

回帰分析では、この切片と偏回帰係数を具体的に求めることにより、目的変数(この例では娘の身長)を予測変数(この例では父親と母親の身長)によってよりよく予測できるようにすることが目的。

目的変数: モデルが予測する対象の変数。従属変数、基準変数ともいう（注意: これらすべてを予告なしに使うことがある）。
予測変数: 目的変数の予測に用いられる変数。独立変数、説明変数ともいう（注意: これらすべてを予告なしに使うことがある）。
予測変数が複数個ある回帰分析を重回帰分析、一つのものを単回帰分析という

Rによる分析: lm(目的変数 ~ 説明変数₁ + 説明変数₂ + ...)

> Data <- data.frame(重回帰データ)		# データフレームに変換
> attach(Data)				# attachすることで、次の省略記法が使える
> ( result <- lm(娘 ~ 父 + 母) )		# Data$娘 を 娘 で表せる
Call:
lm(formula = 娘 ~ 父 + 母)

Coefficients:					# 偏回帰係数と切片
(Intercept)           父           母  
  100.66683      0.38064     -0.04289  

> summary(result)				# 詳しい分析結果の表示

Call:
lm(formula = 娘 ~ 父 + 母)

Residuals:
    Min      1Q  Median      3Q     Max 
-2.7014 -1.3216 -0.4500  0.6065  4.5125 

Coefficients:
             Estimate Std. Error t value Pr(>|t|)    
(Intercept) 100.66683   22.42209   4.490 0.000371 ***
父            0.38064    0.09569   3.978 0.001081 ** 
母           -0.04289    0.09367  -0.458 0.653215    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 1.952 on 16 degrees of freedom
Multiple R-squared: 0.509,      Adjusted R-squared: 0.4476 
F-statistic: 8.294 on 2 and 16 DF,  p-value: 0.003377

この結果から次の回帰式(予測変数が複数なので「重」回帰式)が導かれました: 娘の身長 = 100.67 + 0.381 ×父親の身長 + (-0.043) ×母親の身長ただし、切片と父親の身長の偏回帰係数は1%水準で有意ですが、母親の身長の偏回帰係数は有意でないという結果であることに注意してください。また、Residuals(残差、つまり予測値と実際の値の差)の標準誤差（標準偏差)が1.952となっていますが、これは自由度を16として得られた値であることにも注意しましょう。
[母親の身長を予測変数から外す]

娘の身長データの例では、母親の身長の偏相関係数がほぼ0であり、しかも有意でないことが示されました。この結果から、「simple is best」ということで、予測変数から母親の身長を外してみましょう。
それには、 lm(娘 ~ 父)として回帰分析をやり直す方法もありますが、次のように、関数updateを使う方法があります:

> 単解析結果 <- update(result, .~. - 母)		# 予測変数から「母」を取り除く
> summary(単解析結果)				# 結果の詳しい表示

Call:
lm(formula = 娘 ~ 父)

Residuals:
    Min      1Q  Median      3Q     Max 
-2.6841 -1.2146 -0.4087  0.5352  4.7036 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) 93.32204   15.29708   6.101 1.18e-05 ***
父           0.38516    0.09294   4.144 0.000678 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 1.906 on 17 degrees of freedom
Multiple R-squared: 0.5026,     Adjusted R-squared: 0.4733 
F-statistic: 17.18 on 1 and 17 DF,  p-value: 0.0006784

予想通り、「父」のみでも有意であり、しかもp値が先より小さくなっています。これが示す単回帰モデルは次のとおりです: 娘の身長 = 93.3 + 0.385 ×父親の身長

標準偏回帰係数は次の式で与えられます:

標準偏回帰係数 = 偏回帰係数 × 独立変数の標準偏差 / 従属変数の標準偏差
ここで標準偏回帰係数とは、元データを標準化したときの偏回帰係数のことです。そして、これはRでは次のように求めることができます:

> coef(result)[2:3]*sapply(Data[,2:3],sd)/sd(Data[,1])
         父          母 
 0.70254903 -0.08093953

なお、coef(result)は、lm関数の結果から偏回帰係数を抽出するための関数で、 coef(result)[2:3]により、父親と母親の偏回帰係数が取り出せています。それぞれの値に対し、標準偏回帰係数の定義どおり、独立変数の標準偏差(sd(Data[,2])とsd(Data[,3])を掛け、従属変数の標準偏差(sd(Data[,1]))で割っているのが上のプログラムでした。

ここで、回帰分析の例で示したlm関数の出力の最後の２行に注目します:

Multiple R-squared: 0.509,      Adjusted R-squared: 0.4476 
F-statistic: 8.294 on 2 and 16 DF,  p-value: 0.003377

lm関数の結果において、Multiple R-Squaredの値によって示されるのは重相関係数の二乗(または決定係数)といい、説明力を示す値です。予測変数を用いて目的変数(の２乗)をどの程度説明できるかを表しています。その値が0.509 ならば、およそ 50% を説明できた、となります。
なお、lm関数の結果の最後の行、F-statisticとはF値のことで、この結果得られたモデルのp値などを示しています。この例では p値は 0.0034 ですから、1%の水準で有意となっています。

回帰直線について: 回帰分析では、目的変数は予測変数の一次式で表されています。予測変数が一個ならば(2次元平面において)直線になり、予測変数がニ個ならば(3次元空間において)平面になります。
前に例題とした娘の身長データ（目的変数)において、父親の身長を唯一の予測変数としたとき、娘の身長 = 93.3 + 0.385×父親の身長という回帰式(予測変数が1個なので「単」回帰式です)が得られました。これは1次式ですから直線です。これを父親の身長と娘の身長の散布図に重ねて書くには次のようにします:

> plot(父, 娘)			# 散布図
> abline(lm(娘 ~ 父))			# 回帰直線を重ね書き

参考：統計的学習理論

ここでfが何らかの形で書けると仮定するものを「パラメトリック(parametric)」手法、仮定しないものを「ノンパラメトリック(non-parametric)」手法という。この観点からみると、ここで取り上げた回帰分析は、関数fがXの線形一次式で書けると仮定したパラメトリック手法の一つとなる(実際には「線形」回帰分析には、Xの対数、平方根、自乗なども式に含める）。そしてfの推定は、残差平方和(つまり誤差の2乗の和)が最小になるようXの係数を求める「最小二乗法」が用いられているとみなせる。

今の話から推測できるように、パラメトリックな手法でも関数fを線形と仮定しない(つまり非線形)方法がある。またノンパラメトリックな手法もたくさんある(特に人工知能やデータマイニングと関連）。これらについては「機械学習」、「統計的学習」、「データマイニング」をキーワードとして学んでいってほしい。
お勧め文献:
Hastie, T., Tibshirani, R., & Friedman, J. (2009) The elements of statistical learning. Springer (杉山ら訳 (2014)『統計的学習の基礎』共立出版)
James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013) An Introduction to Statistical Learning: with Applications in R. Springer.

Rで統計学を学ぶ(8)

回帰分析

課題 1

参考：統計的学習理論

演習問題

問題 8-1.

問題 8-2.