MLAMLモデルの開発
医療診断支援システムを開発するMLエンジニアが、患者の症状データから10種類の疾患を分類する多クラス分類モデルをSageMakerで構築しています。データセットは疾患ごとにサンプル数が大きく異なり、希少疾患は全体の1〜3%にとどまります。ビジネス要件として「すべての疾患クラスを均等に評価し、希少疾患の見落としを防ぐこと」が求められています。最も適切なモデル評価指標はどれですか？
Aマイクロ平均F1スコアを使用し、全クラスの真陽性・偽陽性・偽陰性を集計して一括計算する
マイクロ平均F1スコアは全サンプルのTP・FP・FNを一括集計して計算するため、サンプル数の多いクラスが結果を支配する。希少疾患（1〜3%）の評価性能は多数派クラスに埋もれ、全クラスを均等評価するという要件を満たさない。
Bマクロ平均F1スコアを使用し、各クラスのF1スコアを個別計算した後に全クラスを均等な重みで平均する
✓ 正解
マクロ平均F1スコアは各クラスのF1を個別計算して単純平均するため、サンプル数に関係なく全10クラスを均等に評価できる。希少疾患クラスの診断性能が多数派クラスに埋もれず、「均等評価・見落とし防止」の要件を直接満たす指標である。
C正解率（Accuracy）を使用し、全テストサンプルにおける正しく分類された割合のみで性能を評価する
Accuracyはクラス不均衡が大きい場合、希少クラスをすべて多数派クラスに誤分類しても高い値を示す欺瞞的な指標になる。全体の97〜99%を占める多数派疾患だけを正解してもAccuracyは高くなり、希少疾患の見落とし防止要件を満たさない。
D重み付き平均F1スコアを使用し、各クラスのサンプル数比率を重みとして加重平均で性能を評価する
重み付き平均F1スコアは各クラスのサンプル数比率で重み付けするため、全体の90%以上を占める多数派クラスの影響が過大になる。希少疾患クラスを「均等に評価」する要件とは逆方向の重み付けをするため適切でない。
解説
マクロ平均F1スコアは、各クラスのF1スコアを個別に計算した後、全クラスを均等な重みで単純平均します。クラスごとのサンプル数の差を無視して各クラスを等価に評価するため、希少疾患クラスの診断性能が多数派クラスに埋もれることなく、ビジネス要件「全クラスの均等評価・希少疾患の見落とし防止」を直接満たします。
選択肢Aのマイクロ平均F1スコアは全サンプルのTP・FP・FNを集計して一括計算するため、サンプル数の多い多数派クラスに支配され、希少疾患クラス（1〜3%）のパフォーマンスが実質的に軽視されます。
選択肢Cの正解率（Accuracy）はクラス不均衡が大きい場合に欺瞞的な指標となり、希少クラスをすべて誤分類しても全体精度が高く見えるため、均等評価の要件を満たしません。
選択肢Dの重み付き平均F1スコアはサンプル数比率で重み付けするため、多数派クラスの影響が過大になり、「希少疾患クラスを均等評価する」という要件とは逆方向の指標になります。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでMLAを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →