Python 数学、統計、機械学習：重回帰分析
1.重回帰分析
Bostonデータセットの各項目の内容を説明変数として、scikit-learn を用いて線形回帰モデルを作成、重回帰分析を行ってみる。
- from sklearn import datasets
- import pandas as pd
- import statsmodels.formula.api as smf
- import matplotlib.pyplot as plt
- import numpy as np
- def multi_regression(*feature_index):
- """
- 重回帰分析
- https://pythondatascience.plavox.info/scikit-learn/%E7%B7%9A%E5%BD%A2%E5%9B%9E%E5%B8%B0
- https://pythondatascience.plavox.info/matplotlib/%E6%A3%92%E3%82%B0%E3%83%A9%E3%83%95
- :return:
- """
- boston = datasets.load_boston()
- df = pd.DataFrame(boston.data)
- df.columns = boston.feature_names
- df['PRICE'] = pd.DataFrame(boston.target)
- x = df.loc[:, ['{0}'.format(x) for x in feature_index]]
- y = df['PRICE']
- model = smf.OLS(y, x)
- result = model.fit()
- print(result.summary())
- # numpy sort
- # https://qiita.com/supersaiakujin/items/c580f2aae90818150b35
- desc_idx = np.argsort(result.tvalues.values)[::-1]
- labels = []
- values = []
- for idx in desc_idx:
- labels.append(feature_index[idx])
- values.append(result.tvalues.values[idx])
- plt.bar(labels, values)
- plt.legend(title="r^2(adj) = {0:.6}".format(result.rsquared_adj))
- plt.show()
- if __name__ == "__main__":
- multi_regression('CRIM', 'ZN', 'INDUS', 'CHAS', 'NOX', 'RM', 'AGE', 'DIS', 'RAD', 'TAX', 'PTRATIO', 'B', 'LSTAT')
- # multi_regression('RM', 'AGE', 'TAX', 'B')
分析結果について、summary() メソッドを呼び出すことで、以下の結果表が得られる。
- OLS Regression Results
- ==============================================================================
- Dep. Variable: PRICE R-squared: 0.959
- Model: OLS Adj. R-squared: 0.958
- Method: Least Squares F-statistic: 891.1
- Date: Mon, 04 Jun 2018 Prob (F-statistic): 0.00
- Time: 22:53:10 Log-Likelihood: -1523.8
- No. Observations: 506 AIC: 3074.
- Df Residuals: 493 BIC: 3129.
- Df Model: 13
- Covariance Type: nonrobust
- ==============================================================================
- coef std err t P>|t| [0.025 0.975]
- ------------------------------------------------------------------------------
- CRIM -0.0916 0.034 -2.675 0.008 -0.159 -0.024
- ZN 0.0487 0.014 3.379 0.001 0.020 0.077
- INDUS -0.0038 0.064 -0.059 0.953 -0.130 0.123
- CHAS 2.8564 0.904 3.160 0.002 1.080 4.633
- NOX -2.8808 3.359 -0.858 0.392 -9.481 3.720
- RM 5.9252 0.309 19.168 0.000 5.318 6.533
- AGE -0.0072 0.014 -0.523 0.601 -0.034 0.020
- DIS -0.9680 0.196 -4.947 0.000 -1.352 -0.584
- RAD 0.1704 0.067 2.554 0.011 0.039 0.302
- TAX -0.0094 0.004 -2.393 0.017 -0.017 -0.002
- PTRATIO -0.3924 0.110 -3.571 0.000 -0.608 -0.177
- B 0.0150 0.003 5.561 0.000 0.010 0.020
- LSTAT -0.4170 0.051 -8.214 0.000 -0.517 -0.317
- ==============================================================================
- Omnibus: 204.050 Durbin-Watson: 0.999
- Prob(Omnibus): 0.000 Jarque-Bera (JB): 1372.527
- Skew: 1.609 Prob(JB): 9.11e-299
- Kurtosis: 10.399 Cond. No. 8.50e+03
- ==============================================================================
- Warnings:
- [1] Standard Errors assume that the covariance matrix of the errors is correctly specified.
- [2] The condition number is large, 8.5e+03. This might indicate that there are
- strong multicollinearity or other numerical problems.
- No handles with labels found to put in legend.
いろいろ警告が出ていますが、結果の見方を知りたい。
説明変数の各項目については、Bostonデータセットを引き続き使用
| 項目 | 内容 |
| 最小二乗回帰(OLS : Ordinary Least Squares regression) | 分析モデルとして最小二乗法を使用 |
| 回帰係数(ceof) | 回帰係数は単位の影響を受けるため、影響度の指標としては利用できない |
| 標準誤差(std err) | 平均からのバラツキを示す指標、分散の正の平方根 |
| t値(t) | 目的変数に対するそれぞれの説明変数の影響度を表す。回帰係数は単位の影響を受け、影響度の指標に利用できないため、回帰係数を標準誤差で除し単位の影響を受けないt値を利用する。t値の絶対値が大きいほど、影響度の強い説明変数といえる |
| P-値 | p値 は、全く効果がない場合(係数=0)に、分析結果として出る係数の値が、A以上になる確率を表す。 |
| 下限97.5% | 97.5%の信頼区間下限。 |
| 上限97.5% | 97.5%の信頼区間上限 |
| 重決定 R2(R-squared) | 寄与率または決定係数と呼ばれ、回帰式全体の精度を表す。1に近いほど制度が高いといえる。 |
| 補正 R2(Adj R-squared) | 自由度調整済み決定係数 |
t値を降順にソートして棒グラフにプロット。
住宅価格に影響を与えている変数を分析できる。
