overfit.ing

バックテストは意味がないのか。意味がなくなる 3 つの使い方

「バックテストは意味がない」という意見をよく見かけます。このサイトの検証の記録から言えるのは、バックテストそのものに意味がないのではなく、使い方によって意味がなくなる、ということです。

結論SUMMARY

フォワードテスト (ルールを決めた後の期間で確かめること) も同じで、取引の回数が少ないうちは何も判定できません。何回あれば何が言えるかを、最後に計算しました。

たくさん試すと、偶然でも「効いて見える」MULTIPLE TESTING

ビットコインの売買の合図 (インジケーターの条件) を、一斉に検定した記録です。

試した数に見合うだけ合格の基準を厳しくすると、「有意」に見えたものは残りませんでした。バックテストで良い結果が 1 つ見つかっても、その裏で何個試したかが分からなければ、偶然かどうかは判断できません。

詳しくは「122 個の売買の合図を一斉に調べたら、合格は 0 件だった」。

選んだデータだけで確かめると、別のデータで崩れるOUT OF SAMPLE

「ほとんどの区間でプラス」は安定して見えますが、たくさん試せば当てずっぽうでも出る程度の結果でした。設定を選んだのと同じデータで成績を測ると、選んだ分だけ良く見えます。選ぶのに使っていないデータ (別の銘柄や別の期間) で確かめて、初めて意味のある結果になります。

詳しくは「BTC で 6 区間中 5 区間プラスに見えた手法を、ETH に持ち込んだら」。

検証の仕組みが、未来を見ていることがあるLOOKAHEAD

M5 の 10:00 の足は 10:00〜10:04 の 5 本の 1 分足から成り、終値が決まるのは 10:05。修正前はその足のシグナルを 10:00 の 1 分足から有効にしていたので最初の建玉は 10:01 (4 分早い)、修正後は 10:05 の 1 分足から有効で最初の建玉は 10:06 になる。 (当サイト実測 / 出典 / 2026-10-21)

長い時間足の合図を短い時間足で使うとき、足が閉じる前からその合図を使うと、まだ決まっていない終値を先に知っていることになります。バックテストの成績が良くても、実際の売買では同じことはできません。これは FX (GBPJPY) の研究で見つけた誤りで、市場の種類に関係なく起こります。

詳しくは「5 分足の合図を 1 分足に写すとき、4 分の先読みが紛れ込んだ」。

フォワードテストは、取引の回数で言えることが決まるFORWARD TEST

バックテストの代わりにフォワードテスト (デモ口座や少額で、ルールを決めた後の相場を確かめること) をすればよい、という意見もあります。ただ、フォワードテストも取引の回数が少ないうちは、良かったのか偶然なのかを区別できません。

勝率の範囲は Wilson 区間 (勝ち負けのような二択の割合について、本当の値がどこからどこまでにありそうかを出す計算方法の 1 つ) で、95% の範囲として計算した。 (当サイト実測 / 出典 / 2026-10-22)

勝率 55% が出たときに、本当の勝率がどの範囲にありそうかを、取引の回数ごとに並べました。範囲が 50% を含むうちは、当てずっぽうと区別できません。

取引の回数本当の勝率の範囲 (95%)50% を含むか
20回34.2% 〜 74.2%含む
50回41.3% 〜 67.9%含む
100回45.2% 〜 64.4%含む
200回48.1% 〜 61.7%含む
400回50.1% 〜 59.8%含まない
1000回51.9% 〜 58.1%含まない

計算すると、勝率 55% でも取引が 20 回なら、本当の勝率の 95% の範囲は 34.2%〜74.2% で、当てずっぽうの 50% を含む。 (当サイト実測 / 出典 / 2026-10-22)

当てずっぽうと区別するのに要る取引の回数

勝率 52%2,402 回勝率 55%385 回勝率 60%97 回勝率 65%43 回

計算すると、勝率 55% の手法を当てずっぽうの 50% と区別できる (95% の範囲の下限が 50% を上回る) のは、取引が 385 回以上のとき。 (当サイト実測 / 出典 / 2026-10-22) 勝率が 50% に近いほど、必要な回数は大きく増えます。さらに、手法をいくつも試した中の 1 つがこの基準を満たしても、最初の節と同じく偶然でありえます。

計算の前提: 勝率だけで損益は決まりません (勝ちと負けの大きさの比も関わります)。ここは勝率だけを取り出した、いちばん単純な場合です。また、取引どうしが互いに独立で、勝率が期間を通じて変わらないという前提です。相場の局面が変わると、実際にはもっと多くの回数が要ります。

意味のある使い方HOW TO USE

  1. 試した数を記録する。良く見えた 1 つだけでなく、試したものを全部数える。
  2. 合格の基準を、結果を見る前に決めて書き残す。
  3. 設定を選ぶのに使っていないデータ (別の期間や別の銘柄) で確かめる。
  4. 合図は足が閉じてから使う。上位足の値を使うときも同じ。
  5. 取引の回数から、言えることの範囲を計算する。

このサイトの検証記事は、この順で確かめています (検証の方法)。

よくある質問FAQ

バックテストは意味がないのですか

意味がないのではなく、使い方によって意味がなくなります。たくさん試して良く見えた 1 つだけを信じたり、設定を選んだのと同じデータだけで確かめたりすると、偶然を実力と見間違えます。

バックテストとフォワードテストの違いは

バックテストは、過去のデータでルールどおりに売買したらどうなったかを計算します。フォワードテストは、ルールを決めた後の期間 (まだ見ていない相場) で確かめます。大事なのは、確かめるデータが「ルールを決めるのに使っていないデータ」かどうかです。過去のデータでも、選ぶのに使わない期間を最初に取り分けておけば、同じ役割を果たします。

フォワードテストは何回取引すればいいですか

出た勝率によって変わります。勝率 55% なら、当てずっぽうと区別できるのは 385回 以上です (上の計算)。勝率が 50% に近いほど、必要な回数は増えます。

FX でも同じですか

同じです。ここで挙げた 3 つの落とし穴は、市場の種類によりません。3 つ目の先読みの誤りは、FX (GBPJPY) の研究で見つけたものです。

このサイトの記事ARTICLES

最終更新日: