Analyse du modèle
précision, calibration, comparaison au marché
Comparaison des modèles
sur 1857 matchs communs à tous les modèles
| Modèle | RPS | Log-loss | Brier | Précision |
|---|---|---|---|---|
| market_fd_avgmeilleur | 0.2016 | 0.9838 | 0.5859 | 52.6% |
| dixon_coles | 0.2082 | 1.0072 | 0.6017 | 51.5% |
RPS, log-loss, Brier : plus petit = meilleur. Le RPS pénalise davantage les erreurs "loin" (annoncer une victoire alors que c'est une défaite est plus grave qu'annoncer une victoire alors que c'est un nul). Le marché (cotes des bookmakers) sert de référence : battre le marché sur du 1N2 est très difficile car il agrège les paris de tout le monde.
Calibration — dixon_coles
est-ce que nos probabilités reflètent la réalité ?
| Tranche annoncée | n | Annoncé (moy) | Observé | Écart |
|---|---|---|---|---|
| 0.0 → 0.1 | 53 | 7.9% | 9.4% | +0.015 |
| 0.1 → 0.2 | 666 | 16.2% | 16.1% | -0.002 |
| 0.2 → 0.3 | 2320 | 25.4% | 25.6% | +0.002 |
| 0.3 → 0.4 | 1001 | 34.3% | 32.5% | -0.019 |
| 0.4 → 0.5 | 715 | 45.0% | 45.5% | +0.005 |
| 0.5 → 0.6 | 472 | 54.5% | 54.9% | +0.004 |
| 0.6 → 0.7 | 245 | 64.4% | 69.4% | +0.049 |
| 0.7 → 0.8 | 84 | 73.7% | 69.0% | -0.047 |
| 0.8 → 0.9 | 15 | 83.0% | 86.7% | +0.036 |
Idée : quand le modèle annonce 60 %, est-ce que ça arrive vraiment ~60 % du temps ? Un modèle bien calibré a un écart proche de zéro dans chaque tranche. Un écart négatif marqué dans les hautes probas signifie que le modèle est trop confiant.
Précision du favori par tranche de cote
les favoris cotés 1,50 gagnent-ils vraiment ~67 % du temps ?
| Cote favori | n | Cote moy. | Brut | Dévigé | Observé | Écart | IC 95 % |
|---|---|---|---|---|---|---|---|
| 1.00-1.50 | 372 | 1.34 | 74.6% | 72.4% | 74.7% | +0.024 | [70.1% ; 78.9%] |
| 1.50-2.00 | 734 | 1.75 | 57.1% | 55.2% | 54.2% | -0.010 | [50.6% ; 57.8%] |
| 2.00-2.50 | 758 | 2.23 | 44.8% | 43.0% | 43.4% | +0.004 | [39.9% ; 47.0%] |
| 2.50-3.50 | 194 | 2.59 | 38.7% | 36.9% | 38.1% | +0.012 | [31.6% ; 45.1%] |
Brut = 1 / cote. Contient la marge du bookmaker (~6 % sur du 1N2). Dévigé = la marge retirée. C'est la probabilité réelle annoncée par le marché — celle qu'il faut comparer à la fréquence observée.
★ = l'écart est statistiquement notable (la proba dévigée sort de l'intervalle de confiance de la fréquence observée). Sans étoile, l'écart peut être du bruit — on ne conclut pas.