【初心者向け】特徴量重要度の算出 (LightGBM) 【Python】【機械学習】

# ライブラリのインポート
import pandas as pd # 基本ライブラリ
import numpy as np # 基本ライブラリ
import matplotlib.pyplot as plt # グラフ描画用
import seaborn as sns; sns.set() # グラフ描画用
import warnings # 実行に関係ない警告を無視
warnings.filterwarnings('ignore')
import lightgbm as lgb #LightGBM
from sklearn import datasets
from sklearn.model_selection import train_test_split # データセット分割用

# データフレームを綺麗に出力する関数
import IPython
def display(*dfs, head=True):
    for df in dfs:
        IPython.display.display(df.head() if head else df)

# 特徴量重要度を棒グラフでプロットする関数 
def plot_feature_importance(df): 
　　n_features = len(df)                              # 特徴量数(説明変数の個数) 
　　df_plot = df.sort_values('importance')            # df_importanceをプロット用に特徴量重要度を昇順ソート 
　　f_importance_plot = df_plot['importance'].values  # 特徴量重要度の取得 
　　plt.barh(range(n_features), f_importance_plot, align='center') 
　　cols_plot = df_plot['feature'].values             # 特徴量の取得 
　　plt.yticks(np.arange(n_features), cols_plot)      # x軸,y軸の値の設定
　　plt.xlabel('Feature importance')                  # x軸のタイトル
　　plt.ylabel('Feature')                             # y軸のタイトル

# Boston データセットの読み込み
boston = datasets.load_boston()
df = pd.DataFrame(boston.data, columns=boston.feature_names) # データフレームへの格納

# データの確認
print(df.shape) # データサイズの確認(データ数,特徴量数(変数の個数))
display(df)     # df.head()に同じ(文中に入れるときはdisplay()を使う)

# 説明変数,目的変数
X = df.drop('CRIM',axis=1).values # 説明変数(CRIM以外の特徴量)
y = df['CRIM'].values             # 目的変数(CRIM)

# トレーニングデータ,テストデータの分割
X_train, X_test, y_train, y_test = train_test_split(X, y,test_size=0.20, random_state=2)

# 学習に使用するデータを設定
lgb_train = lgb.Dataset(X_train, y_train)
lgb_eval = lgb.Dataset(X_test, y_test, reference=lgb_train) 

# LightGBM parameters
params = {
        'task': 'train',
        'boosting_type': 'gbdt',
        'objective': 'regression', # 目的 : 回帰  
        'metric': {'rmse'}, # 評価指標 : rsme(平均二乗誤差の平方根) 
}

# モデルの学習
model = lgb.train(params,
                  train_set=lgb_train, # トレーニングデータの指定
                  valid_sets=lgb_eval, # 検証データの指定
                  )

# 特徴量重要度の算出 (データフレームで取得)
cols = list(df.drop('CRIM',axis=1).columns)         # 特徴量名のリスト(目的変数CRIM以外)
f_importance = np.array(model.feature_importance()) # 特徴量重要度の算出
f_importance = f_importance / np.sum(f_importance)  # 正規化(必要ない場合はコメントアウト)
df_importance = pd.DataFrame({'feature':cols, 'importance':f_importance})
df_importance = df_importance.sort_values('importance', ascending=False) # 降順ソート
display(df_importance)

# 特徴量重要度の可視化
plot_feature_importance(df_importance)

# 特徴量重要度の算出 (データフレームで取得)
cols = list(df.drop('CRIM',axis=1).columns)       # 特徴量名のリスト(目的変数CRIM以外)
# 特徴量重要度の算出方法 'gain'(推奨) : トレーニングデータの損失の減少量を評価
f_importance = np.array(model.feature_importance(importance_type='gain')) # 特徴量重要度の算出 //
f_importance = f_importance / np.sum(f_importance) # 正規化(必要ない場合はコメントアウト)
df_importance = pd.DataFrame({'feature':cols, 'importance':f_importance})
df_importance = df_importance.sort_values('importance', ascending=False) # 降順ソート
display(df_importance)

# 特徴量重要度の可視化
plot_feature_importance(df_importance)

# Breast Cancer データセットの読み込み 
bc = datasets.load_breast_cancer() 
df = pd.DataFrame(bc.data, columns=bc.feature_names) # データフレームへの格納 
df['target'] = bc.target # 目的変数の追加
# データの確認 
print(df.shape) # データサイズの確認(データ数,特徴量数) 
display(df) # df.head()に同じ(文中に入れるときはdisplay()を使う) 

# 説明変数,目的変数 
X = df.drop('target',axis=1).values # 説明変数(target以外の特徴量) 
y = df['target'].values             # 目的変数(target) 

# トレーニングデータ,テストデータの分割 
X_train, X_test, y_train, y_test = train_test_split(X, y,test_size=0.20, random_state=2)

# 学習に使用するデータを設定
lgb_train = lgb.Dataset(X_train, y_train)
lgb_eval = lgb.Dataset(X_test, y_test, reference=lgb_train) 

# LightGBM parameters
params = {
        'task': 'train',
        'boosting_type': 'gbdt',
        'objective': 'binary',        # 目的 : 2クラス分類  
        'metric': {'binary_error'},   # 評価指標 : 誤り率(= 1-正答率) 
}

# モデルの学習
model = lgb.train(params,
                  train_set=lgb_train, # トレーニングデータの指定
                  valid_sets=lgb_eval, # 検証データの指定
                  )

# 特徴量重要度の算出 (データフレームで取得)
cols = list(df.drop('target',axis=1).columns) # 特徴量名のリスト(目的変数target以外)
f_importance = np.array(model.feature_importance()) # 特徴量重要度の算出
f_importance = f_importance / np.sum(f_importance) # 正規化(必要ない場合はコメントアウト)
df_importance = pd.DataFrame({'feature':cols, 'importance':f_importance})
df_importance = df_importance.sort_values('importance', ascending=False) # 降順ソート
display(df_importance)

# 特徴量重要度の可視化
plot_feature_importance(df_importance)

# 特徴量重要度の可視化
n_display = 10 # 上位10個に制限
plot_feature_importance(df_importance.iloc[:n_display,:])

# 特徴量重要度の算出 (データフレームで取得)
cols = list(df.drop('target',axis=1).columns)     # 特徴量名のリスト(目的変数target以外)
# 特徴量重要度の算出方法 'gain'(推奨) : トレーニングデータの損失の減少量を評価
f_importance = np.array(model.feature_importance(importance_type='gain')) # 特徴量重要度の算出 //
f_importance = f_importance / np.sum(f_importance) # 正規化(必要ない場合はコメントアウト)
df_importance = pd.DataFrame({'feature':cols, 'importance':f_importance})
df_importance = df_importance.sort_values('importance', ascending=False) # 降順ソート
display(df_importance)

# 特徴量重要度の可視化
n_display = 10 # 上位10個に制限
plot_feature_importance(df_importance.iloc[:n_display,:])

# iris データセットの読み込み 
iris = datasets.load_iris()
df = pd.DataFrame(iris.data, columns=iris.feature_names) # データフレームへの格納
df['target'] = iris.target # 目的変数の追加 

# データの確認
print(df.shape) # データサイズの確認(データ数,特徴量数) 
display(df) # df.head()に同じ(文中に入れるときはdisplay()を使う) 

# 説明変数,目的変数 
X = df.drop('target',axis=1).values # 説明変数(target以外の特徴量) 
y = df['target'].values # 目的変数(target) 

# トレーニングデータ,テストデータの分割 
X_train, X_test, y_train, y_test = train_test_split(X, y,test_size=0.20, random_state=2)

# 学習に使用するデータを設定
lgb_train = lgb.Dataset(X_train, y_train)
lgb_eval = lgb.Dataset(X_test, y_test, reference=lgb_train) 

# LightGBM parameters
params = {
        'task': 'train',
        'boosting_type': 'gbdt',
        'objective': 'multiclass', # 目的 : 多クラス分類 
        'num_class': 3,            # クラス数 : 3
        'metric': {'multi_error'}, # 評価指標 : 誤り率(= 1-正答率) 
        #　他には'multi_logloss'など
}

# モデルの学習
model = lgb.train(params,
                  train_set=lgb_train, # トレーニングデータの指定
                  valid_sets=lgb_eval, # 検証データの指定
                  )

# 特徴量重要度の算出 (データフレームで取得)
cols = list(df.drop('target',axis=1).columns)       # 特徴量名のリスト(目的変数target以外)
f_importance = np.array(model.feature_importance()) # 特徴量重要度の算出
f_importance = f_importance / np.sum(f_importance)  # 正規化(必要ない場合はコメントアウト)
df_importance = pd.DataFrame({'feature':cols, 'importance':f_importance})
df_importance = df_importance.sort_values('importance', ascending=False) # 降順ソート
display(df_importance)

# 特徴量重要度の可視化
plot_feature_importance(df_importance)

# 特徴量重要度の算出 (データフレームで取得)
cols = list(df.drop('target',axis=1).columns) # 特徴量名のリスト(目的変数target以外)
# 特徴量重要度の算出方法 'gain'(推奨) : トレーニングデータの損失の減少量を評価
f_importance = np.array(model.feature_importance(importance_type='gain')) # 特徴量重要度の算出 //
f_importance = f_importance / np.sum(f_importance) # 正規化(必要ない場合はコメントアウト)
df_importance = pd.DataFrame({'feature':cols, 'importance':f_importance})
df_importance = df_importance.sort_values('importance', ascending=False) # 降順ソート
display(df_importance)

# 特徴量重要度の可視化
plot_feature_importance(df_importance)