MLAMLモデルの開発
あるエネルギー会社のMLエンジニアが、電力需要を予測する回帰モデルを SageMaker で開発しています。電力需要の大幅な予測外れは送電網の安定運用に重大な影響を与えるため、評価ではわずかなずれより「大きな誤差」を強く重視し、外れ値的な大誤差を厳しくペナルティしたいと考えています。モデル選定時に重視すべき評価指標として最も適切なものはどれですか。
A二乗平均平方根誤差（RMSE）を用い、誤差を二乗することで大きな予測外れを強く反映させる
✓ 正解
誤差を二乗してから平均するため、大きな予測外れほど指標値を急激に押し上げ厳しくペナルティできる。送電網への影響が大きい大誤差を重視したいという回帰問題の要件に最も合致する評価指標である。
B適合率（Precision）を用い、陽性と予測したうち実際に陽性だった割合を評価する
適合率は陽性予測の正確さを測る分類指標であり、連続値を出力する電力需要予測のような回帰モデルには適用できない。大誤差を強調する目的にも対応せず不適切である。
C平均絶対誤差（MAE）を用い、すべての誤差を同じ重みで平均して評価する
MAE はすべての誤差の絶対値を均等な重みで平均するため、外れ値的な大誤差も小さな誤差と同じ扱いになる。大きな予測外れを特に厳しく評価したいという要件には合致しない。
DAUC-ROC を用い、しきい値を変化させたときの真陽性率と偽陽性率の関係を評価する
AUC-ROC はしきい値を変化させた際の真陽性率と偽陽性率を評価する二値分類の指標であり、回帰モデルの誤差評価には用いられない。電力需要という連続値予測には適さない。
解説
RMSE（二乗平均平方根誤差）は各誤差を二乗してから平均し平方根をとる回帰指標で、二乗の効果により大きな誤差ほど指標値への寄与が急激に増大します。
そのため「大幅な予測外れを厳しくペナルティしたい」という要件に最も合致し、外れ値的な大誤差に敏感なモデル評価が可能です。
選択肢Bの適合率（Precision）は分類問題の指標であり、連続値を予測する回帰には適用できない。
選択肢Cの MAE は全誤差を均等に扱うため、大きな誤差を特別に強調できず要件に合わない。
選択肢Dの AUC-ROC は二値分類のしきい値性能を測る指標で、回帰モデルの評価には使用できない。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでMLAを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →