モデルは、悪くなってから変えればよい。
そう考えたくなることがあります。
もちろん、精度の低下は大事なサインです。
ただ、モデルを変えるべきタイミングは、
悪くなったあとに初めて考えるものではありません。
前提が変わったのか。
一時的に外れただけなのか。
まだ使い続けてよいのか。
見直しに入るべきなのか。
そこをその都度考えるのではなく、
何が起きたら見直しに入るのかを、先に決めておくことが必要です。
この記事では、
モデルを変えなさすぎることも、変えすぎることも避けるために、
更新判断をどう設計しておくかを整理します。
モデルは、変えなさすぎても変えすぎても危ない
モデルは、いつ変えるべきか。
この問いは、思っているほど単純ではありません。
精度が落ちるまで使い続けると、
すでに前提が変わったモデルを、
そのまま判断に使い続けてしまうことがあります。
一方で、少し成績が悪くなっただけで変えてしまうと、
一時的なブレに反応して、
予測結果そのものが不安定になります。
つまり、モデルは
変えなさすぎても危ないし、変えすぎても危ない。
だから必要なのは、
悪くなってから慌てて考えることではなく、
何が起きたら見直しに入るのかを、先に決めておくことです。
見直しに入るサインは、精度低下だけではない
モデルを見直すべきかどうかは、
精度だけを見ていても判断しきれません。
精度の低下は大事なサインです。
ただ、それは前提が変わった結果として、
あとから表に出てくることがあります。
見直しに入るサインとして、
少なくとも次の3つは見ておく必要があります。
1）母集団が変わっている
顧客層、商品構成、地域、チャネル。
モデルを作ったときと比べて、
予測対象の中身が変わっていないか。
2）外部環境や業務前提が変わっている
景気、金利、制度、審査方針。
同じ変数を使っていても、
その意味や効き方が変わることがあります。
3）劣化が一時的ではなく、継続している
一度大きく外れただけなのか。
それとも、これまでの前提では説明しにくいズレが続いているのか。
ここを見分けずに変えると、変えすぎのリスクが出ます。
モデル更新で見るべきなのは、
「精度が落ちたか」だけではありません。
そのモデルが、まだ同じ前提の上に立っているかです。
研究でも実務でも、「同じ前提で使い続けてよいか」を見てきました
研究でも実務でも、
私は「同じ前提で扱い続けてよいか」を何度も確認してきました。
研究：観測条件が変われば、同じ量を測っているとは限らない
研究では、同じ「銀河の形」を測っているつもりでも、
観測する波長域や分解能、ノイズの大きさが違えば、
そのまま比較してよいとは限りません。
たとえば、遠方の銀河と近傍の銀河を比べるときには、
赤方偏移の影響を考えて、
本来の銀河で見ている波長域が揃うように観測データを選ぶ必要があります。
分解能の違いが比較に混ざらないよう、
使う望遠鏡やデータの条件も揃える必要がある。
遠方銀河ではノイズも大きくなるので、その影響も評価しなければなりません。
つまり、結果が出る前から、
観測条件が違えば「同じものを測っている」とは言えなくなる。
だから、条件を揃える。
揃わないなら、そのまま同じ解析結果として扱わない。
これは、解析後の確認ではなく、解析前に設計しておくべき前提でした。
実務：変えるべきか、まだ使うべきかは前提と継続性で決まる
実務でも同じです。
信用リスクのモデルでは、
マクロ環境の変化や審査方針の変更によって顧客構成が変わると、
過去のデータを前提に作ったモデルを
そのまま使い続けてよいとは限らなくなります。
特に、ポートフォリオが良化したのか悪化したのか。
予測対象の中身が変わっているなら、
モデルが代表している母集団そのものを見直す必要があります。
ただし、少し精度が落ちたからといって、
すぐにモデルを変えればよいわけでもありません。
新しいデータがたまたま大きく外れただけかもしれない。
一時的な劣化なのか、継続的な劣化なのかを見極めずに変えると、
予測結果が不安定になり、かえって実務で使いにくくなります。
だから必要なのは、
「精度が落ちたら変える」という後追いの運用でも、
「環境が変わったらすぐ変える」という反応的な運用でもありません。
どんな変化を見直しのサインとするのか。
どの程度の劣化が続いたら更新判断に入るのか。
その基準を、あらかじめ設計しておくことです。
「使い続ける／見直す／変える」を分けておく
モデル更新で一番避けたいのは、
「まだ使ってよいのか」
「見直しに入るべきなのか」
「もう変えるべきなのか」
を、その都度その場で考えることです。
ここは、あらかじめ三段階に分けておくと整理しやすくなります。
使い続けてよい
- 母集団・外部環境・業務前提が、モデル構築時に想定した範囲内にある
- 性能も、想定したばらつきの範囲に収まっている
- そのまま判断に使うことを、説明できる
見直しに入るべき
- 顧客構成や外部環境に変化が見え始めている
- 性能の劣化が、一時的なブレではなく継続する可能性がある
- まだ変えると決める段階ではないが、追加検証や代替案の準備を始める必要がある
変えるべき
- 以前の前提では説明できない変化が続いている
- モデルが代表している母集団が、すでに変わっている
- そのまま使い続けると、意思決定の根拠として守れない
大事なのは、
「見直す」と「変える」を分けることです。
見直しのサインが出た時点で検証に入り、
本当に前提が崩れていると確認できたら変える。
この段階分けを先に設計しておくと、
変えなさすぎることも、変えすぎることも避けやすくなります。
そのモデル、いつまで“同じ前提”で使えますか？
最後に一つだけ、確認させてください。
そのモデルは、いつまで“同じ前提”で使えるモデルでしょうか。
- いまのモデルは、どの母集団を代表していますか。
- どんな環境変化が起きたら、見直しに入ると決めていますか。
- 精度が落ちる前に、前提が変わったことを説明できますか。
もしここで少しでも引っかかるなら、
モデルが悪いのではなく、
使い続ける条件と見直しに入る条件の設計が、まだ終わっていないのかもしれません。
分析やKPIを、
「このまま意思決定に使ってよいか」
判断に迷う場合は、
設計段階から一緒に整理します。
具体的な相談の進め方は、「相談について」のページにまとめています。
