Ένα μοντέλο που λέει «70%» πρέπει να έχει δίκιο στα περίπου 7 στα 10 τέτοια tips. Αυτό ελέγχουμε, και το ποσοστό επιτυχίαςi μόνο του δεν το ελέγχει.
Brier score
Το Brieri score είναι το μέσο τετραγωνικό σφάλμα των πιθανοτήτων. Για ένα ενδεχόμενο είναι (πιθανότητα − αποτέλεσμα)², όπου αποτέλεσμα 1 αν έγινε και 0 αν όχι. Μικρότερο είναι καλύτερο.
Μια πρόβλεψη 50/50 παίρνει πάντα 0,25. Άρα ένα μοντέλο έχει αξία μόνο αν στη μεγάλη εικόνα κάνει καλύτερα από την αγορά, στους ίδιους αγώνες. Για 1Χ2 έχουμε τρεις εκβάσεις και το άθροισμα μετριέται στις τρεις.
Πίνακας βαθμονόμησης
Ομαδοποιείς τις προβλέψεις ανά εύρος πιθανότητας και βλέπεις πόσο συχνά έγινε το ενδεχόμενο σε κάθε ομάδα. Σε ένα καλά βαθμονομημένο μοντέλο οι δύο στήλες ταιριάζουν.
| Πρόβλεψη | Στοιχήματα | Έγιναν | Διαφορά |
|---|---|---|---|
| 50% έως 60% | 200 | 55% | μικρή |
| 60% έως 70% | 180 | 66% | μικρή |
| 70% έως 80% | 120 | 64% | υπερεκτίμηση |
Το ότι δύο μοντέλα βρίσκουν τον ίδιο αριθμό σωστών δεν τα κάνει ίσα. Το ένα μπορεί να έχει αξιόπιστες πιθανότητες και το άλλο να υπερεκτιμά. Μετράει η βαθμονόμηση, όχι μόνο η επιτυχία.
Πρακτικοί κανόνες
- Σύγκρινε πάντα με την αγορά στους ίδιους αγώνες, όχι με το 0,25.
- Χρειάζεσαι εκατοντάδες προβλέψεις πριν βγάλεις συμπέρασμα.
- Μοντέλο που υπερεκτιμά τα φαβορί χάνει χρήματα ακόμα κι αν «προβλέπει» τα περισσότερα αποτελέσματα.