📏決定木における、ブースティングとバギングの違いについて教えてください

決定木におけるブースティングとバギングは、どちらもアンサンブル学習の一種で、複数のモデルを組み合わせることで予測の性能を向上させる手法ですが、そのアプローチには大きな違いがあります。

バギング

• 全体概念: バギング（Bootstrap Aggregatingの略）は、複数のモデル（決定木など）を独立に訓練し、その予測結果の平均（回帰の場合）や多数決（分類の場合）を取ることで最終的な予測を行います。

• データの取り扱い: 各モデルは、元の訓練データセットからブートストラップ（ランダムに重複を許してサンプリング）されたデータセットを使用して訓練されます。

• 目的: バギングは、モデルのバリアンス（過剰適合）を減らすことを目的としています。

• 代表的なアルゴリズム: ランダムフォレストがバギングの代表的な例です。

ブースティング

• 全体概念: ブースティングは、複数の弱学習器（基本的には性能が低いモデル）を順番に訓練していき、誤りを修正しながら最終的な強学習器を構築する手法です。

• データの取り扱い: 各弱学習器の訓練では、前の学習器が誤って分類したデータに対して、次の学習器はより重点を置いて学習します。つまり、誤分類されたデータの重みを増やしていきます。

• 目的: ブースティングは、モデルのバイアス（未学習）を減らし、予測の精度を向上させることを目的としています。

• 代表的なアルゴリズム: AdaBoost（Adaptive Boosting）やGradient Boostingがあります。

まとめ

• バギングは、複数の独立したモデルを平行して訓練し、その結果を組み合わせることでモデルのバリアンスを低減します。これにより、過剰適合を防ぎます。

• ブースティングは、複数のモデルを順番に訓練し、前のモデルの誤りを次のモデルが修正する形で、モデルのバイアスを低減します。これにより、未学習の問題を改善します。

どちらの手法もそれぞれのシナリオに応じて有効であり、使用するデータや解決しようとする問題に応じて選択されます。

import random

# 訓練データセット
training_data = [...]

# モデルの集合
models = []

# モデルの数
n_models = 10

# バギングによるモデルの訓練
for i in range(n_models):
    # ブートストラップサンプリング（データのランダム選択）
    sample_data = random.choices(training_data, k=len(training_data))
    model = train_model(sample_data)
    models.append(model)

# 新しいデータに対する予測
new_data = [...]
predictions = [model.predict(new_data) for model in models]

# 予測の平均または多数決を取る
final_prediction = majority_vote(predictions)  # 分類の場合
# final_prediction = mean(predictions)  # 回帰の場合

# 訓練データセット
training_data = [...]
weights = [1/len(training_data)] * len(training_data)  # 各データポイントの重み

# モデルの集合
models = []
# モデルの重み
model_weights = []

# モデルの数
n_models = 10

# ブースティングによるモデルの訓練
for i in range(n_models):
    model, error = train_model_with_weights(training_data, weights)
    models.append(model)
    
    # モデルの重みを計算（低いエラーほど高い重み）
    model_weight = calculate_model_weight(error)
    model_weights.append(model_weight)
    
    # データの重みの更新
    weights = update_weights(weights, model, model_weight, training_data)
    
# 新しいデータに対する予渲
new_data = [...]
predictions = [model.predict(new_data) for model in models]

# 加重平均または加重投票による最終予測
final_prediction = weighted_vote(predictions, model_weights)

これらの擬似コードは、バギングとブースティングの基本的な概念を示しています。バギングでは、データのランダムなサブセットを使用して複数のモデルを独立に訓練し、その予測を組み合わせます。一方、ブースティングでは、一連のモデルを逐次的に訓練し、各ステップで前のモデルの誤りを修正することに重点を置きます

ここで、  Dはデータセット、 Aは分割基準となる属性、 Values(A)はその属性が取り得る値の集合、 D v ​ は属性  Aの値が �vであるデータのサブセット、  mはクラスの総数、 p i ​ はクラス  iに属するデータポイントの割合です。