不正検出モデルを SageMaker の組み込みアルゴリズム XGBoost でトレーニングしています。データセットは正常取引 99%・不正取引 1% という極端なクラス不均衡があり、初期モデルは Accuracy（正解

Question

不正検出モデルを SageMaker の組み込みアルゴリズム XGBoost でトレーニングしています。データセットは正常取引 99%・不正取引 1% という極端なクラス不均衡があり、初期モデルは Accuracy（正解率）99% を記録しましたが、不正取引をほとんど検出できていません。この問題に最も効果的に対処する方法を 2 つ選択してください。

Accepted Answer

正解: XGBoost の scale_pos_weight ハイパーパラメータに正例（不正取引）と負例（正常取引）の比率（約 99）を設定してクラス不均衡を補正する / 評価指標を AUC-ROC（受信者動作特性曲線下面積：閾値に依存しない判別能力の総合指標）または F1 スコア（適合率と再現率の調和平均）に変更する。クラス不均衡（正常取引99%：不正取引1%）への対処として有効な2つのアプローチを解説します。

選択肢Aのscale_pos_weightは、マイノリティクラス（不正取引）の損失をマジョリティクラス（正常取引）より重く扱うことで、モデルが不正パターンを学習しやすくなります。正例と負例の比率（約99）を設定することでクラス不均衡を直接補正できる有効な手法です。

選択肢BのAccuracyを引き続き使用しながら決定しきい値のみを変更するアプローチは根本的な解決策になりません。Accuracyは全件の正解率であり、99%が正常取引のデータでは全件を正常と予測するだけで99%のAccuracyが達成できてしまうため、不正検出の改善には不十分です。

選択肢CのAUC-ROCはすべての分類しきい値での判別能力を評価し、F1スコアは少数クラスの適合率と再現率を均衡良く評価するため、クラス不均衡データに適した評価指標です。

選択肢Dのmax_depthの増加はモデルの複雑度を上げますが、クラス不均衡そのものを補正する機能はなく、過学習リスクが高まるだけです。

選択肢Eのlearning_rateを下げてトレーニングラウンド数を増やす手法は収束改善には有効ですが、クラス不均衡の根本的な解決策にはなりません。

Answer

評価指標として Accuracy を引き続き使用し、決定しきい値のみを 0.5 から下げる — Accuracyはマジョリティクラスに偏った評価になるため、クラス不均衡データには不適切です。決定しきい値の下げだけでは根本的な解決にはなりません。

Answer

max_depth を大幅に増加させてモデルの複雑度を上げる — モデル複雑度の増加はクラス不均衡の根本的な解決策ではなく、過学習や汎化性能低下のリスクが増加します。

Answer

learning_rate を大幅に下げてトレーニングラウンド数を増やす — 学習率の調整はクラス不均衡への直接的な対処ではなく、トレーニング時間の増加のみが結果です。