Chercheur de stratégies
recherche systématique avec split exploration/holdout
Comment on cherche sans se mentir
Il est tentant de chercher automatiquement la stratégie qui aurait rapporté le plus. Mais avec assez d'essais, on trouve toujours quelque chose par hasard — c'est le fléau des tests multiples.
Voici comment on procède ici, honnêtement :
- On coupe les données en deux dans le temps : la partie exploration (~2/3, les saisons les plus anciennes) et la partie holdout (~1/3, les saisons récentes, jamais utilisées pour choisir).
- On teste ~100 combinaisons (stratégie × plage de cote × alignement) sur l'exploration.
- Pour chaque config, on affiche aussi son ROI sur le holdout.
Une bonne stratégie tient sur les deux périodes. Une stratégie qui brille sur l'exploration et s'effondre sur le holdout, c'est du bruit.
Résultats de la recherche
~100 combinaisons testées, tri à ta guise
| Stratégie | Cotes | Filtre | n expl |
ROI expl |
n hold |
ROI hold |
Verdict |
|---|
✓ tient = ROI positif sur les DEUX périodes. ≈ bruit = performance qui s'effondre sur le holdout. ↺ inversé = négatif en exploration, positif en holdout — probablement du bruit côté holdout (échantillon plus petit). ✗ perdant = perd de l'argent sur les deux périodes.