in data science, Modele Statystyczne, Programowanie w R

Piłka nożna – regresja logistyczna

Drugi model też będzie łatwy w interpretacji, choć bardziej wymagający jeśli chodzi o przygotowanie danych. Głównie dlatego, że będziemy musieli pozbyć się silnie skorelowanych zmiennych oraz zdecydować się na jakiś sposób ich selekcji. Sprawdźmy, jak skuteczna okaże się regresja logistyczna.

Korelacje

W zbiorze występują grupy silnie skorelowanych zmiennych. Żeby rozwiązać ten problem użyję pewnego triku. Metoda jest opisana na przykład tutaj: http://research.stowers.org/mcm/efg/R/Visualization/cor-cluster/index.htm

Polega to na tym, że na zmiennych stosujemy grupowanie hierarchiczne przyjmując zamiast macierzy odległości  – odpowiednio przekształconą macierz korelacji. Ja przekształcam macierz korelacji do macierzy odległości odejmując wartość bezwzględną  korelacji od 1. (dissimilarity = 1-abs(cor(X)))

Efektem grupowania hierarchicznego jest poniższy dendrogram.

dendrogram korelacji zmiennych

Dzięki dendrogramowi możemy zidentyfikować grupy silnie skorelowanych zmiennych. Czerwoną linią zaznaczyłem punkt odcięcia, na który się zdecydowałem. Po jego zastosowaniu otrzymałem 11 grup zmiennych.

Z każdej grupy wybrałem jedną zmienną – reprezentantkę. Do wyboru użyłem rankingu zmiennych stworzonego na podstawie importance z lasu losowego. Reprezentantką grupy zostawała najsilniejsza zmienna.

 

Model

Na wyselekcjonowanych jedenastu zmiennych zbudowałem model regresji logistycznej. Wyglądał tak:

regresja logistyczna - modelPo usunięciu nieistotnych zmiennych:

Jeszcze raz sprawdzam korelację.

Macierz korelacji

Nadal występują skorelowane zmienne, ale współczynnik korelacji nie przekracza 0.5, co jest do zaakaceptowania. Szczególnie w hobbystycznym projekcie 🙂

 

Wyniki

Uzyskane wyniki znajdziesz w tabeli poniżej.

Zbiór Dokładność (Accuracy) ROC AUC
Treningowy 60% 0.62
Walidacyjny 59% 0.62
Kursy bet365 63% 0.67

Wyniki są stabilne. Model nie jest przeuczony. Nadal jednak trochę brakuje do benchmarku jakim jest model bukmachera.

Write a Comment

Comment