「改善した」と言ってよい条件・ダメな条件

数字が上がった。
前月より良い。
それだけで「改善した」と言いたくなることがあります。

でも会議で、こう聞かれた瞬間に空気が変わります。
「何と比べたんですか？」
「条件は同じですか？」

数字が間違っているわけではない。
ただ、「改善」と言い切るには前提が要ります。

この記事では、前後比較を否定するのではなく、
「改善した」と言ってよい条件／ダメな条件の線引きを整理します。

「改善しました」が一番危ない瞬間

数字が上がった。
前月よりも良い。
だから会議では、こう言いやすい。
「改善しました」

でも、その言葉が一番危ないのは、次の質問が来たときです。
「何と比べたんですか？」
「条件は同じですか？」

その瞬間に、数字の意味が変わります。
数字は正しい。
それでも、「改善」と言い切るには前提が足りないことがあります。

前後比較は、簡単に“改善”を作る

前後比較が危ういのは、
数字が間違っているからではありません。
“同じものを比べているつもりで、少しずつ違うものを比べてしまう”からです。

実務でよく起きるのは、だいたい次の3つです。

• 比較対象がズレる（母集団が変わる）
  新規と既存の比率、チャネル、商品、価格帯、顧客層。
  どれかが変わるだけで、数字は動きます。
• 観測条件がズレる（測り方が変わる）
  定義や集計ルール、計測の抜け漏れ、システム変更。
  “改善”のように見えて、実は測り方の差ということがあります。
• 外部要因が混ざる（施策以外の影響）
  季節性、市場環境、競合、キャンペーン、制度変更。
  施策の前後に重なると、効果に見える変化が簡単に作られます。

前後比較は便利です。
ただ、「改善」と言い切るときは、
この3つが動いていないと言えるかが問われます。

研究でも実務でも、「改善」と言い切らずに済ませた経験がある

研究の現場では、データを見た瞬間に「変化がある」と言えそうになることがあります。
私も一度、ある年代のサンプルで「割合が増えていそうだ」と言えそうな見え方に出会いました。

ただ、そのときに立ち止まったのは、
その差が“本当に現象の変化”なのか、
それとも誤差やバイアスで作られた見え方なのか、という点でした。
誤差の入り方をシミュレーションで確かめると、見えていた差はほとんど説明できてしまった。
結論は「変化がある」ではなく、「不確実性は大きいが、有意な変化は確認できない」に弱めました。

実務でも同じです。
「改善した」と言うには、前後比較の数字だけでは足りません。
比較の前提が揃っているか、外部要因が混ざっていないか、そして不確実性はどれくらいか。
ここを確認すると、「xx%改善した」と言える場面もあれば、
「今回はサンプルが小さく、有意な改善は見られなかった（検証には最低でもxx件が必要）」と書くべき場面もあります。

大事なのは、言い回しで弱めることではなく、
判定基準で結論の強さを決めることです。

「改善」と言ってよい最低条件

「改善した」と言ってよいかどうかは、言い回しの問題ではありません。
比較の前提と、判定基準が揃っているかで決まります。

ここも、結論の強さを三段階に分けておくと安全です。

「改善した」と言ってよい（強い結論）

• 比較対象（母集団）が揃っている（誰を比べているかが同じ）
• 観測条件が揃っている（定義・測り方・集計ルールが同じ）
• 外部要因の影響を説明できる（施策以外の要因を置ける）
• そして、判定基準を満たしている
  → 例：「xx%改善した（統計的に有意）」

条件付きなら言える（弱い結論）

• 数字の差はあるが、不確実性が大きい／前提が完全には揃わない
• その場合は結論の強さを落として、条件も一緒に書く
  → 例：「今回は小サンプルのため有意な改善は見られなかった」
  → 例：「統計的に確認するには最低でもxxサンプルが必要」

言うと危ない（断言）

• 前後比較の数字だけで「改善した」と言い切る
• 「施策の効果だ」と因果まで言い切る
• 将来も同じ改善が続くと保証する

「改善」と言うかどうかは、
最後は文章ではなく、判定基準で決める。
ここが揃うと、後から説明に困りません。

あなたの「改善」は、何が変わっても残りますか？

最後に一つだけ、確認させてください。
あなたが言おうとしているその「改善」は、何が変わっても残りますか。

• 比較対象（顧客層やチャネル構成）が少し変わっても、同じ結論を言えますか。
• 定義や集計ルールが少し変わっても、同じ結論を言えますか。
• 季節や市場環境が違う局面でも、同じ結論を言えますか。

もしここで少しでも引っかかるなら、
数字が間違いなのではなく、
「改善」と言い切るための前提整理がまだ終わっていないだけかもしれません。

分析やKPIを、
「このまま意思決定に使ってよいか」
判断に迷う場合は、
設計段階から一緒に整理します。

具体的な相談の進め方は、「相談について」のページにまとめています。