仮説検証とは — 仮説の立て方より先に、勝ち負けの決め方を封じる

仮説検証のつまずきは、仮説より「比べ方」にある

仮説検証と聞くと、多くの解説は仮説の立て方から始まります。ただ、小さな会社でつまずくのは、立てた仮説の良し悪しよりも、試した結果の勝ち負けを決める比べ方の方です。数が少ないまま二つを比べると、本当は差が無くても「効いた」と出てしまい、当てずっぽうと変わらない判定で次の手を決めることになります。

大和ViSiON を運営する株式会社命も、この落とし穴に入っていました。運営会社は、自社の記事の書き方を 2 通り用意し、少数の記事どうしを 28 日目の検索の表示で比べて、勝った方の書き方を採る形で改善を回していました（株式会社命の判断の記録・社の実測 2026-10-25）。

ところが、実際の記事の表示の数字は、頁ごとに数十倍の開きがありました。このばらつきで試算すると、本当は差が無くても「効いた（1.3 倍以上）」と出る率が 40%、「逆に効いた（0.77 倍以下）」と出る率が 41% でした（株式会社命の判断の記録・社の実測 2026-10-25）。差が無い時でも、ほとんどの回でどちらかの勝ちに見えてしまう。これでは判定になりません。

社長の頼みは「改善効果の薄い、頓珍漢な A/B テストで PDCA を回してほしくない。でも PDCA はできるだけ速く回したい」でした（株式会社命の判断の記録・社の実測 2026-10-25）。速く回すことと、判定になる比べ方をすることを、両方満たす形が要ったのです。

大きな会社でも、打つ手の多くは効きません。「70〜90% の案は効かないか逆に動く」という報告があります（O'Reilly Radar・Kohavi と Thomke を引いた記事・https://www.oreilly.com/radar/the-sobering-truth-about-the-impact-of-your-business-ideas/ ・取得 2026-10-25）。効く手が少ないのに、判定が偶然の差で揺れれば、外れを勝ちと取り違える回が増えます。速く回すほど、その取り違えも速く積もります。

始める前に、物差し・基準・判定日を書いて封じる

比べ方を作り直して、最初に置いたのは次の決まりです。試しを始める前に、判定の物差し（どの数字で見るか）・判定の基準（どうなれば効いた／外れか）・判定日を書いて封じる。封じた後は変えない（株式会社命の改善の回し方の決まり・社の実測 2026-10-25）。結果を見てから基準を動かすと、どんな結果も「効いた」と読めてしまうからです。

封じる記録の道具は、起票した後に 7 つの欄を変えられない作りにしました（株式会社命の改善の回し方の決まり・社の実測 2026-10-25）。後出しをしないと心に決めるより、後出しができない形にしておく方が確かです。

もう一つ、書く前に確かめるのが「何の段を動かす試しか」です。運営会社は、一番詰まっている段を動かす試しかどうかを、試しを走らせる前に通す門の一つにしています（株式会社命の改善の回し方の決まり・社の実測 2026-10-25）。詰まっていない段をいくら良くしても、全体の数字は動きません。どの段が一番細いかの見つけ方は制約理論とはに、物差しに何を選ぶかはKPI 設定とはにまとめています。

出典: 株式会社命の改善の回し方の決まり（試しを始める前に書いて封じる物と、試しを走らせる前に通す門・社の実測 2026-10-25）。「書かずに始めると」の列の言い回しは大和ViSiON 編集部がまとめたもの

数が集まらない時は、二つに分けて比べず、大きく変える

小さな会社の一番の悩みは、比べるだけの数が集まらないことです。運営会社は、判定までに要る数が 8 週で集まるかを先に見ます。集まらなければ、二つの群に分けて比べるのをやめ、大きく変える 1 回にするか、全部に当てて前後で見ると決めています（株式会社命の改善の回し方の決まり・社の実測 2026-10-25）。

判定の線も、数から決めます。偶然の差に埋もれずに本当の差を見つけられる見込み（ここでは「見つける力」と呼びます）が 5 割に届かない組の「効いた」は採りません（株式会社命の改善の回し方の決まり・社の実測 2026-10-25）。見つける力が 50% 未満の試しは「勝者の呪い」に落ち、たまたま良く出た結果ほど本当の効き目を大きく見せる、と指摘されています（Kohavi ほか, Econ Journal Watch 23(1), 2026-03・https://econjwatch.org/articles/power-analysis-is-essential ・取得 2026-10-25）。

この試算を受けて、運営会社は書き手の置き方も変えました。2 人目の書き手は毎日の書き手から外し、始める前の門を通った大きな試しの時だけ書く役にしました。社長の答えは「推奨どおりで OK です」でした（株式会社命の判断の記録・社の実測 2026-10-25）。小さな違いを毎日比べて偶然に振り回されるより、門を通った大きな違いを一つずつ確かめる形です。

あわせて、途中で勝ちそうな方へ寄せていく試し方も使わないと決めました（株式会社命の改善の回し方の決まり・社の実測 2026-10-25）。数が少ないうちに寄せれば、偶然の差をそのまま追いかけることになるからです。

早く出る合図は「続ける／やめる」にだけ使う

判定日まで待てないと、早く出る合図を見たくなります。記事なら、検索に載ったか、表示が出始めたか、です。運営会社は、こうした早い合図は「続ける／やめる」にだけ使い、勝ちにはしないと決めています（株式会社命の改善の回し方の決まり・社の実測 2026-10-25）。

早い合図（代わりの物差し）は本当の物差しを完全には予測しないため、そのまま勝ち負けに使うと誤って「勝ち」と出やすいことが知られています（Duan ほか, WSDM 2021・https://arxiv.org/abs/2106.01421 ・取得 2026-10-25）。載らない、表示が出ない、という合図で止めるのは損の小さい判断なので使ってよい。勝ちを決めるのは、封じた判定日に、封じた物差しで読んだ結果だけです。

外れを早く消す — 試す前に閉じた仮説

仮説検証のやり方で効くのは、外れを安く、早く消すことです。運営会社の門は、ほとんどは外れる前提で、安い物から数を打つと置いています（株式会社命の改善の回し方の決まり・社の実測 2026-10-25）。そして一番安い外し方は、試す前に前提を確かめることです。

縦動画の運営の改善では、一番詰まっている段の仮説の 1 本（行動の合図の言葉を、動画の終わりの方で見せていないから伝わっていない）を、試す前に外れとして閉じました。確かめると、合図の言葉は 7.2 秒から終わりの画面に既に映っていたのです。前提が違っていました（株式会社命の判断の記録・社の実測 2026-10-26）。

代わりに、その仮説を細かく割った枝（合図の言葉を 3.0 秒から出す）を、全部の動画に当てて前後で見る形で走らせました（株式会社命の判断の記録・社の実測 2026-10-26）。数を二つに分けない、前の節の形です。

始める前に止めた試しもあります。記事を入口にした登録の数を数える口がまだ無いので、登録を動かす試しは、口ができるまで始めないと決めました（株式会社命の判断の記録・社の実測 2026-10-25）。結果を読む物差しが測れると確かめてから始める。測れない段の試しは始めない、という門です。

結果は「効いた・外れ・判定不能」の三つで閉じる

判定日が来たら、結果は三つのどれかで閉じます。「たぶん効いた」「少し良さそう」は置きません。

出典: 株式会社命の改善の回し方の決まり（結果は効いた／外れ／判定不能の三つ・社の実測 2026-10-25）。表の言い回しは大和ViSiON 編集部がまとめたもの

判定不能は、負けでも引き分けでもありません。測り方が足りなかった、という知らせです。そこで次に立てるのは、別の打ち手ではなく、測り方を直す仮説です（株式会社命の改善の回し方の決まり・社の実測 2026-10-25）。外れを消さずに残すのは、半年後に同じ思いつきを、同じ試し方でもう一度試さないためです。

次に試す仮説は、点を付けて並べる

外れる前提で数を打つなら、どれから打つかの順が要ります。運営会社は、仮説に届く範囲 × 効き目 × 確かさ ÷ 手間で点を付けて並べます。確かさは、一次の出典か自社の実測が在れば 0.8、無ければ 0.5 です（株式会社命の改善の回し方の決まり・社の実測 2026-10-25）。

点の付け方を先に決めておくと、思いつきの面白さや、言い出した人の声の大きさで順が決まることが減ります。二つの案に割れた時に何で比べるかを書いておく考え方は判断基準とはにまとめています。

小さな会社で仮説検証サイクルを回す手順

運営会社の決まりを、自分の会社で回す順に並べると次のとおりです。

1. 一番詰まっている段を一つ選び、そこを動かす仮説を立てる。仮説が複数あれば、届く範囲・効き目・確かさ・手間で点を付けて並べる
2. 物差し・基準・判定日を書いて封じる。封じた後は変えない
3. 要る数が集まるかを見る。集まらなければ二つに分けて比べず、大きく変えるか、全部に当てて前後で見る
4. 結果を読む物差しが測れるかを確かめる。測れなければ始めない。前提が確かめられる仮説は、試す前に確かめる
5. 早い合図は、続ける／やめるにだけ使う。勝ちにはしない
6. 判定日に、効いた・外れ・判定不能のどれかで閉じる。外れは残し、判定不能なら測り方を直す

試しの元になる目標の置き方は会社の目標設定とはに書いています。こうした比べ方の決まりが紙に在れば、試しを回すのが社長でなくても、AI でも、同じ判定ができます。判断まで任せる経営の全体像はAI 経営とはにまとめています。

よくある質問

仮説検証とは何ですか

打つ手が効くかどうかを、始める前に決めた物差しと基準で確かめ、効いた手だけを残していくやり方です。仮説の立て方だけでなく、勝ち負けを決める比べ方を先に決めておく事が要になります。

仮説検証のフレームワークは、何を使えばよいですか

型の名前より先に、試しを始める前に判定の物差し・判定の基準・判定日を書いて封じ、後から変えない形を作る事です。結果は効いた・外れ・判定不能の三つで閉じます（株式会社命の改善の回し方の決まり・社の実測 2026-10-25）。

数が少ない小さな会社でも、A/B テストで仮説検証できますか

数が少ないまま二つに分けて比べると、判定になりません。運営会社の試算では、本当は差が無くても「効いた」と出る率が 40% でした（株式会社命の判断の記録・社の実測 2026-10-25）。要る数が集まらない時は、二つに分けず、大きく変える 1 回にするか、全部に当てて前後で見ます。

仮説検証サイクルを速く回すには、どうすればよいですか

外れを安く、早く消します。試す前に前提を確かめれば、走らせずに閉じられる仮説があります。運営会社では、縦動画の合図の言葉が 7.2 秒から既に映っていたと確かめ、仮説を試す前に外れとして閉じました（株式会社命の判断の記録・社の実測 2026-10-26）。

仮説が外れた時は、どうすればよいですか

外れた仮説の行は消さずに残し、同じ仮説・同じ試し方を二度立てません。判定不能だった時は、別の打ち手ではなく、測り方を直す仮説を立てます（株式会社命の改善の回し方の決まり・社の実測 2026-10-25）。

出典

• 株式会社命の判断の記録（自社の記事の書き方を 2 通り用意し、少数の記事どうしを 28 日目の検索の表示で比べていた。頁ごとに数十倍の開きのある実際の数字で試算すると、差が無くても「効いた（1.3 倍以上）」と出る率が 40%、「逆に効いた（0.77 倍以下）」と出る率が 41%・社の実測 2026-10-25）
• 株式会社命の判断の記録（試算を受けて比べ方を作り直し、2 人目の書き手は始める前の門を通った大きな試しの時だけ書く役にした・社の実測 2026-10-25）
• 株式会社命の改善の回し方の決まり（物差し・基準・判定日を始める前に封じる。試しを走らせる前に通す門。結果は効いた／外れ／判定不能の三つ。仮説の点の付け方・社の実測 2026-10-25）
• 株式会社命の判断の記録（記事を入口にした登録の数を数える口ができるまで、登録を動かす試しは始めない・社の実測 2026-10-25）
• 株式会社命の判断の記録（縦動画の運営の改善で、合図の言葉は 7.2 秒から既に映っていたため仮説を試す前に閉じ、3.0 秒から出す枝を全部の動画に当てて前後で見た・社の実測 2026-10-26）
• O'Reilly Radar「The sobering truth about the impact of your business ideas」 https://www.oreilly.com/radar/the-sobering-truth-about-the-impact-of-your-business-ideas/ （取得 2026-10-25）
• Kohavi ほか「Power Analysis is Essential」Econ Journal Watch 23(1), 2026-03 https://econjwatch.org/articles/power-analysis-is-essential （取得 2026-10-25）
• Duan ほか, WSDM 2021 https://arxiv.org/abs/2106.01421 （取得 2026-10-25）