そのKPI、意思決定に使ってはいけない理由

KPIは毎月見ている。
数字も説明できる。

それでも、会議で
「それで、次はどう判断する?」
と聞かれた瞬間に、一瞬言葉が止まる。

数字が間違っているわけではない。むしろ、正しい。

ただ、そのKPIを判断の根拠として使ってよいかは別の話です。

この記事では、KPIを否定するのではなく、
後で困らない形で意思決定に使うための線引きを整理します。

「このKPI、うちのケースは一度整理した方がいいかもしれない」
そう感じるポイントがないか、確認してみてください。

目次

KPIが「ある」のに、判断に迷う理由

KPIは毎月見ている。
数字も説明できる。

それでも、
「この数字を根拠に、次の判断をしていいのか」
と聞かれると、少し言葉に詰まる。

数字が間違っているわけではない。
むしろ、数字はきれいに揃っている。

ただ、結論としては使おうとすると、
どこかに“言い切れなさ”が残る。

私は、研究でも実務でも、
この状態を何度も見てきました。

その違和感には、きちんとした理由があります。

KPIが“判断に使えなくなる”3つの構造

「言い切れなさ」が残るとき、
たいてい問題は数字そのものではありません。
その数字が“何を代表しているか”が整理されていないだけです。

実務でよく見かける構造は、
だいたい次の3つに集約されます。

① 母集団が変わっている

前月比や前年差で数字を見ていても、
実際には対象や条件が少しずつ変わっている。

数字は比較できそうに見える。
でも「同じものを比べている」とは言い切れません。

たとえば、
新規と既存の比率、チャネル構成、価格帯、顧客層の偏りが変わるだけで、
KPIは簡単に動きます。

② 分布を見ずに、平均だけを見ている

KPIは一つの数字に要約されるため、
その裏にあるばらつきや偏りが見えなくなります。

平均としては改善していても、
判断としては不安が残るケースは少なくありません。

たとえば、
一部の拠点・一部の商品・一部の顧客セグメントだけが動いていて、
全体平均が“良く見える”ことがあります。

③ 「測れること」と「言っていいこと」を混同している

数値としては測定できている。
けれど、そのまま結論として使ってよいかは別の話です。

私は研究でも、
「測定はできているが、科学研究の結論としては使えない」
という場面を何度も経験してきました。

この線引きが曖昧なまま、
KPIが意思決定に使われてしまうことがあります。

たとえば、
“この施策が効いた” “市場が変わった” と言うには、前提が足りないのに、
数字だけが一人歩きする場面です。

研究でも実務でも、同じ失敗を何度も見てきました

研究の現場では、
データを見た瞬間に「結論が言えそう」になることがあります。
私も一度、ある年代のサンプルで
「あるタイプが増えていそうだ」と言えそうな見え方に出会いました。

ただ、そのときに引っかかったのは、
現象が変わったかどうか以前に、
測り方の誤差だけで“増えたように見える結論”が作られていないか、という点でした。
誤差の入り方をシミュレーションで確かめると、
見えていた差はほとんど説明できてしまいました。
その結果、私は結論を「変化がある」ではなく
「不確実性は大きいが、有意な変化は確認できない」に弱めました。

実務でも、似た構図は何度も出てきます。
たとえば信用リスクのモデル設計で、
見かけの精度(=決定係数 R²)だけを見ると
「こちらが圧勝です」と言えてしまうモデルが出てくることがあります。

でも、その場で一度立ち止まります。
点数が少ない状態で変数を増やすと、
“当たって見える”モデルが簡単に作れてしまうからです。
そこで私は、R²だけで結論にせず、
汎化性能(未知データに対する予測性能)
推計の安定性(推定係数のぶれ)を確認しました。
すると、見かけの精度は低くても、
そちらの観点では別のモデルの方が明らかに良かった。
結果として私は、“精度が高い方”ではなく
安定して運用できる方、つまり判断に耐える方を採用しました。

会議でも同じです。
「結局、どちらを採用すべきですか?」と聞かれたとき、
どちらが良いかを一つに固定するのではなく、
厳密性や中長期の説明責任を重視するならこちら、
短期運用が目的という前提なら簡易な選択肢も許容、
という形で目的条件で線を引いて着地させてきました。

こうした判断は、KPIや分析を否定するためではありません。
後で説明に困らない形で意思決定に使うために、
結論の方向性や強さを調整するということです。

KPIを意思決定に使ってよい最低条件

会議でKPIを出すと、
数字そのものより、次の3つを確認されることが多いはずです。

  • 「このKPIを、どの判断に使う前提ですか?」
  • 「結論として、どこまで言ってよいですか?」
  • 「その結論が崩れるのは、どんなときですか?」

KPIを意思決定に使ってよい最低条件は、
私はまずこの3つに言葉で答えられる状態だと思っています。

1)比較の前提を言えるか

前月比や前年差で語る前に、
何が同じで、何が変わっている可能性があるか。
ここが言葉になっていないKPIは、結論に使いにくくなります。

2)「改善」と言ってよい条件を決めているか

たとえば「○○%改善した」と言えるのか、
それとも「有意な改善は確認できない」と書くべきなのか。
小サンプルなら「検証には最低でも○○件が必要」と条件を添えるのか。
結論の強さは、言い回しではなく判定基準で決まります。

3)その結論が崩れる条件を想定しているか

どんなときに、このKPIは当てにならなくなるのか。
それが言えないまま結論に使うと、後から説明が難しくなります。

ここまで揃ってはじめて、
そのKPIは「判断の根拠」として使える状態に近づきます。
ただ、実際にはここから先が各社・各状況で違います。

あなたのKPIは、どこまでの判断に使っていますか?

ここまで読んで、
「うちのKPIは大丈夫だろうか」と感じたなら、
まず確認したいのは一つだけです。

そのKPIを、どこまでの判断に使っているでしょうか。

たとえば、

  • 現場の改善(運用の微調整)に使っているのか
  • 予算配分や人員配置に使っているのか
  • 投資判断や撤退判断にまで使っているのか

会議で「それで、どう判断する?」と聞かれた瞬間、
KPIは単なるモニタリングではなく、意思決定の根拠になります。

判断の重さが上がるほど、
前提や線引きが曖昧なままでは使いにくくなります。

「数字はあるのに、なぜか言い切れない」
そんな違和感があるなら、
KPIそのものではなく、
判断の範囲の整理が追いついていないのかもしれません。

分析やKPIを、
「このまま意思決定に使ってよいか」
判断に迷う場合は、
設計段階から一緒に整理します。

具体的な相談の進め方は、「相談について」のページにまとめています。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

意思決定のためのデータ設計 顧問。研究と実務の両方で、数字は出ているが結論に使うと危険な場面で、どこまで言ってよいかの線引きをしてきました。判断に迷う場合は設計段階から一緒に整理します。

コメント

コメントする

目次