Ratingsystemet Elo er sat skak – men endnu ikke mat

Her en nyhed til nørder: Ratingsystemet Elo, der måler skakspilleres styrke, kan sagtens gøres bedre, viser en onlinekonkurrence. En dansk studerende ligger i Top 10 med en model, som han også bruger til at måle europæiske fodboldholds styrke med.


Statistikere og matematikere fra hele verden er i gang med igen at redde verden: de udfordrer ratingsystemet Elo, som til daglig bruges til at vurdere bl.a. skakspilleres styrke med.

På hjemmesiden kaggle.com konkurrerer de om, hvor godt deres hjemmelavede algoritmer klarer sig i forhold til etablerede modeller og til hinanden.

Ud af de lige nu 195 bidrag ligger det officielle Elo-system på en 86. plads, mens en dansk datalogistuderende fra SDU, Rasmus Ulvund Svendsen, ligger på en imponerende 7. plads med sin model, som egentlig var udviklet til amerikansk fodbold.

»Jeg bruger noget fra en fyr kaldet Hal Stern, som kiggede på amerikansk fodbold,« siger Rasmus Ulvund Svendsen.

»Han fandt ud af, at hvis man gav alle holdene en rating, så vil forskellen på deres rating være et godt estimat for resultatet, når to hold spiller mod hinanden. I fodbold er det målforskellen, og i skak er det et point for en gevinst, et halv point for en uafgjort og nul point for tab,« fortæller Ulvund Svendsen.



Hans tilgang er at minimere den kvadrerede afvigelse mellem rating og resultat. På den måde får hver spiller en rating, der afspejler deres indsats efter deres modstanderes rating er taget i betragtning.

»Jeg fik ideen fra tidligere forsøg på at rate fodboldhold, hvor denne fremgangsmåde bragte de mest præcise resultater,« siger Rasmus Ulvund Svendsen.

Han synes, at Kaggle er en rigtig god idé. Forskellige algoritmer konkurrerer om at forudsige nye data, og den mest effektive algoritme vinder. Indtil videre har Kaggle-deltagere slået de bedste betting-bureauer og banker i at forudsige vinderen af Melodi Grand Prix 2010 og VM i foldbold.

Formatet giver mulighed for, at universiteter og virksomheder kan få hjælp med deres forudsigelse af nye data. Der har for eksempel været en konkurrence med HIV-data, hvor man udpeger de genetiske markører i HIV’s genetiske kode, der forudsiger en ændring af virulensen.

Meget tyder på, at konceptet kan bringe nyttige opdagelser med sig. Ud over Elo-konkurrencen er der lige nu også en konkurrence med turisme-data.

Simpelhed er en styrke
I skak-konkurrencen har forskerne forsøgt sig med alt fra neurale netværk over maskinlæring og kunstig intelligens til data mining og business intelligence. Den føres af den portugisiske fysiker Filipe R.N.C. Maia, der ligesom Rasmus Ulvund Svendsen tilstår, at han ikke er ekspert i hverken skak eller statistik. I Top 10 bruger seks af deltagerne en variant af systemet chessmetrics, tre en variant af Elo-systemet og en enkelt bruger et ‘hjemmelavet ensemble af rekursiv binær partitionering’.

Fælles for mange af metrikkerne er, at de bruger viden om fordelen ved at have hvid eller sort samt viden om ikke bare modstanderens styrke, men også modstanderens modstanders styrke, og modstanderens modstanders modstanders styrke, og så videre, som kan indarbejdes i modellen og gøre den meget mere præcis.

Elo-systemet – opkaldt efter den ungarsk-fødte amerikanske fysiker og skakmester Arpad Elo, der udviklede det – er meget mere simpelt. Det kigger på forskellen på to spilleres rating og beregner forventningsværdien af et udfald baseret på en foruddefineret kurve. Vinderen får så forventningsværdien som rating oveni.

»I min model er rækkefølgen ligegyldig,« forklarer Rasmus Ulvund Svendsen.

»Hvis jeg slår dig i skak, og du slår Kasparov bagefter, så ved min model, at jeg nok cirka er på højde med både dig og Kasparov, hvorimod Elo-modellen ikke kan regne bagud og vide, at jeg også er på højde med Kasparov.«

Men simpelheden i Elo er også en styrke. Det er utroligt nemt at regne en Elo-rating ud på en lommeregner, og skakspillere gør det jævnligt selv, når de er til en skakturnering. Så selvom Elo ikke klarer sig så godt på kaggle.com, kan systemets transparens og primitive algoritme alligevel vise sig at blive foretrukket af skakspillere i praksis.

FC Barcelona er bedst
Rasmus Ulvund Svendsen mener, at hans system kan bruges til andre sportsgrene.

»Jeg har for eksempel brugt det til at pege på de bedste klubhold i fodbold i Europa,« siger han.

Hvis man propper 1.600 europæiske top-klubholds resultater fra de sidste fire år ind i samme model, får Ulvund automatisk en rating for dem alle. Listen topper lige nu med Barcelona og fortsætter med Chelsea, Manchester United, Real, Inter, Bayern, Arsenal, Liverpool og Porto.

»Tallene er normaliserede, så det bedste hold altid har tallet 10 og de næste 9,8 og så videre nedad. Det er gjort sådan for at forskellen i rating svarer til målforskellen i resultatet. Hvis Barcelona har 10 og Chelsea har 9,8 betyder det, at hvis de to hold mødte hinanden på neutral bane, ville Barcelona gennemsnitligt vinde med en målforskel på 0,2 mål,« forklarer Ulvund Svendsen.

»Jeg overvejer selv at holde en konkurrence med forudsigelse af fodbold-resultater efter denne. Jeg har et stort datasæt, der kunne bruges til formålet.«

Skakrating-konkurrencen slutter den 15. november, hvor alle hold evalueres med et ukendt datasæt og den endelige vinder kåres. Så hvis der er nogen, som går med en hemmelig statistiker i maven, er der stadig mulighed for at indsende en model og prøve kræfter med nogle af de bedste i verden.

0 comments:

There was an error in this gadget