【演習問題】重回帰分析【統計検定準1級】

【本記事の内容】重回帰分析の演習問題

前回書いた記事の関連記事です。

【5分でわかる】重回帰分析を簡単解説【例題付き】

重回帰分析を「わからない」「サクッと理解したい」人向けに「例題付き」でわかりやすく簡単に解説します。重回帰分析は統計解析（多変量解析）で最も広く応用されている分野の1つです。また、AI・機械学習の勉強にも必須です。

mathmatical22.xyz

2019.09.13

実際に統計検定準一級（※）で出題された問題の改題を扱います。

※2016.6月の検定問題の改題&一部抜粋です。

【演習問題】重回帰分析

【データセット】

【問題】

年齢\(x\),年齢の2乗\(x^2\),100m走のタイムを目的変数\(y\)として、最小二乗推定により重回帰式

$$y=\hat{\alpha} + \hat{\beta_1} x + \hat{\beta_2} x^2$$

を求めよ。

（方針）

\(x,x^2\)をそれぞれ\(x_1, x_2\)と置き換えて考えれば、前回の記事「回帰係数」の部分で説明した考え方を応用できます。

【解答】

説明変数行列Xは

$$\boldsymbol{X}=\begin{pmatrix} 1 & 10 &100 \\ 1 & 15 & 225 \\ … & … & … \\ 1 & 30 & 900\end{pmatrix}$$

目的変数ベクトルyは

$$\boldsymbol{y}=(16.5 ,13.7 , … ,16.8)^T$$

となります。

回帰係数ベクトル\(\hat{\beta}=(\hat{\alpha} ,\hat{\beta_1} , \hat{\beta_2})^T\) は

$$\boldsymbol{\beta} = (\boldsymbol{X}^T \boldsymbol{X})^{-1} \boldsymbol{X}^T \boldsymbol{y}$$

で求まります。

まず、

$$\boldsymbol{X}^T \boldsymbol{X}= \begin{pmatrix} 5 & 100 &2250 \\ 100 & 2250 & 55000 \\  2250 & 55000 & 1421250\end{pmatrix} $$

$$(\boldsymbol{X}^T \boldsymbol{X})^{-1}= \begin{pmatrix} 15.8 & -1.68 & 0.04 \\ -1.68 & 0.19 & -0.005 \\ 0.04 & -0.005 & 0.0001 \end{pmatrix}$$

となります。

次に、

$$\boldsymbol{X}^T \boldsymbol{y} = (77.4 ,1559.5 ,35477.5 )^T$$

となります。

よって、回帰係数ベクトルは

$$\boldsymbol{\beta} = (\boldsymbol{X}^T \boldsymbol{X})^{-1} \boldsymbol{X}^T \boldsymbol{y} =  (22.1 ,-0.811 ,0.021 )^T $$

となり、求める答えは

$$y=22.1 – 0.811 x + 0.021 x^2$$

となります。

※ちなみに検定本番では、手計算+電卓のみでこのような問題を解く必要がありました。（変換の誘導があって、多少計算量は落ちますが）

何か意見・指摘があればコメント欄にてお待ちしております。