MeisterTrainerForum

Bitte loggen sie sich ein oder registrieren sie sich.

Einloggen mit Benutzername, Passwort und Sitzungslänge
Erweiterte Suche  

Autor Thema: [FM 2017] Schiedsrichterexperiment  (Gelesen 3837 mal)

Eckfahne

  • Profi
  • ****
  • Offline Offline
[FM 2017] Schiedsrichterexperiment
« am: 29.Mai 2017, 21:48:41 »

Da ich in den F2017 bisher nicht "reingekommen" bin in dem Sinn, dass ich eine Welt, eine Mannschaft und eine Taktik gefunden hätte, die für mich gepasst hätten, aber trotzdem einfach spielen wollte, habe ich beschlossen das Ganze im Rahmen eines kleines Experiments zu tun und so das Angenehme mit dem Nützlichen zu verbinden.

Das Innenleben der Schiedsrichter ist ja leider ein ziemliches Mysterium und ich hatte schon länger die Idee dem mal mit einem kleinen statisischen Testlauf beizukommen. Ich habe mich dazu ein Land mit kleinem Schiri-Pool gesucht (damit das Editieren nicht zu einem zu großen Aufwand führt, ich aber andererseits alle Schiedsrichter des Landes modifizieren kann); meine Wahl fiel auf Indonesien. Ich habe für eine Saison den Erstligaclub "Borneo F.C." übernommen und mich mit Hilfe des Ingame-Editors unkündbar gemacht (und ja, das war auch mal wieder notwendig, da ich mit meiner Tatktik-Stümperei im FM2017 mal wieder einen mit optimistischen Prognosen ausgestatteten Club zum Abstieg geführt habe ;) Aber das nur am Rande)

Den editierten Schiedsrichtern habe ich "aussagekräftige" Vor- und Nachnamen gegeben, mit denen sich gewisse Attributseinstufungen (ich habe nur die Wertstufen 1-10-20 verwendet) verbinden, so zum Beispiel für "Discipline":

Wayne = Discipline 1
Mitt = Discipline 10
Hardy = Discipline 20

Ausgewertet habe ich vorallem die Schiedsrichterstatistiken am Ende der Saison, auf die sich auch die meisten der gewonnenen Erkenntnisse stützen.

Ich habe zwar zur Gewinnung von weiteren Daten auch sämtliche eigenen Spiele jeweils nach Spielende genauer ausgewertet (z.B. Kartenverteilung Heim/Auswärts, Fouls, Abseits, Nachspielzeiten), auch um die editierten Schiedsrichter "in Aktion" zu erleben und ggfs. Beobachtungen abseits bloßer Statistik zu machen (z.B. bestimmte "Szenen" eines Schiedsrichterverhaltens) sowie die verbale Schiedsrichter-Bewertung einsehen zu können.
Allerdings ist mir während des Testes auch klar geworden, dass diese Daten dann statistisch größtenteils durch meine Spieleweise erheblich beeinflusst sind und daher wenig nützlich sein dürften. Lediglich die Nachspielzeiten habe mir ich dann genauer angeschaut (da ich hier zumindest keine systematische Verzerrung durch meine Taktik annehmen muss), mit bescheidenem Erkenntnisgewinn allerdings (s.u.)
Letztenendes wird kein Weg dran vorbeiführen, diese Werte auch in KI-Spielen zu erheben (soweit möglich, die verbale Schiri-Bewertung kann man m.W. nicht einsehen).  Ich plane das eventuell in einem weiteren Test zu tun (in dem ich dann auch einige weitere Schwächen dieses ersten Testes ausbessere)

Nun aber zu den Ergebnissen... 

Allowing Flow Die Bezeichnung legt nahe, dass dieses Attribut die Anzahl der Unterbrechungen und Schiedsrichtereingriffe beeinflusst, vielleicht auch die Gewährung von Vorteil (späteres Abpfeifen von Regelwidrigkeiten) Einen zweifelsfreien statistischem Niederschlag in den global gemessenen Daten konnte ich nicht finden (auch wegen etwas ungünstig gewählter Attributskonstellationen), ein Einfluss auf Platzverweise (niedrigerer AF = mehr) und Elfmeter (höherer AF = mehr) wäre aber möglich.
"Gefühlt" verhielt sich das Attribut in den eigenen Spielen jedenfalls in dem Sinne, dass ein hoher Allowing Flow einige Situationen produzierte, von den der Kommentar sagte, dass Spieler X Glück hatte oder eine Situation nicht als Foul eingeschätzt wurde, obwohl die Tackling-Animation eher an ein Rotfoul erinnerte. Vielleicht Engine-Zufälle oder sich selbsterfüllende innere Erwartung, vielleicht auch nicht...
Möglicherweise ist der Haupteffekt auch einfach, dass kleinliche Schiedsrichter eher Fouls und vielleicht auch Abseits pfeifen -ohne bei ersteren allerdings automatisch schneller zu Gelb zu greifen-, dazu müssen aber Daten aus KI-Spielen ausgewertet werden, da die Spiele mit eigener Beteiligung hier garantiert verzerrt sind. Sollte ich Zeit für einen zweiten Test finden, wird dieses Attribut einer der Schwerpunkte sein.


Discipline Dieses Attribut dürfte das bereits am besten "erforschte" sein und es dürfte zumindest auch das sein, was eine Schiedsrichterpersönlichkeit am deutlichsten in der Wahrnehmung ausmacht. Ich hatte mich für diesen Test trotzdem entschlossen es zu untersuchen. Leider habe ich unterschätzt, wie sehr es die Auswertung z.T. erschwert, da es -zumindest bei der Kartenstatistik- vieles einfach überstrahlt und ich hatte auch meine Werte etwas unglücklich gewählt.
Immerhin konnte ich die bekannten Zusammenhänge größtenteils bestätigen (linearer Anstieg der Kartenzahl, 10 oder 11 als Mittelwert produziert eher zu wenig Verwarnungen).
"Neu"  war für mich die Erkenntnis, dass sich Discipline nicht auf die Zahl der gegebenen Elfmeter auszuwirken scheint. Ausserdem bleibt festzuhalten, dass -trotz des starken Einflusses auf die Zahl der Verwarnungen- hier durchaus andere Attribute auch mitreinspielen (bei Pressure und Refereeing bin ich mir ziemlich sicher, für Allowing Flow könnte es ebenfalls gelten)


Important Matches Ich habe mich dagegen entschlossen dieses Attribut in meine Testreihe aufzunehmen, da es nahezu unmöglich erscheint sämtlichq vom FM als "wichtig" betrachtete Spiele für jeden Schiedsrichter zweifelsfrei herauszufinden und auf Auffälligkeiten hin zu untersuchen. Wenn überhaupt müsste man dieses Attribut wahrscheinlich über viele Spielzeiten betrachten; kurzfristig fürchte ich eher, dass es einen weiteren Fehlerfaktor für die Einschätzung der anderen Attribute bedeutet, wenn Schiris in bestimmten Spielen dann deshalb ausnahmsweise total versagen oder aufblühen. Daher habe ich konstant den Wert 10 gesetzt.


Pressure Mein persönliches Highlight im Test  :D  Hier lassen sich mit einiger Sicherheit mindestens zwei Effekte anhand von Zahlen belegen:
1) Elfmeter - nervenstarke Schiedsrichter geben deutlich mehr Auswärtselfmeter! Da sich die Anzahl der Heimelfmeter allerdings nicht oder nicht in gleichem Maße verringert, werden insgesamt auch mehr Elfmeter von den "Eisvögeln" gegeben
2) Karten Insbesondere Rote Karten sind bei nervenschwachen Schiedsrichtern deutlich wahrscheinlicher (möglicherweise als Ausdruck der Angst "Kontrolle" über das Spiel zu verlieren); bei den gelben ist der Effekt auch da, aber schwächer ausgeprägt.
Ob die Kartenverteilung für Heim-/Auswärtsteams ebenfalls wie bei den Elfmetern beeinflusst wird weis ich noch nicht – der Wert müsste für KI-Spiele manuell erhoben werden und bei meinen eigenen Spielen konnte ich einen solchen Effekt nicht nachweisen.


Refereeing  Das Attribut scheint sich darauf zu beziehen, was ein Schiedsrichter überhaupt "pfeifenswertes wahrnimmt" und höhere Werte resultieren in mehr Karten und Elfmetern. Das Attribut interagiert damit mit Discipline und Pressure und verstärkt entsprechende Effekte (z.B. hat Herr Wayne Keinplan mit Discipline 1 und Refereeing 1 es auf sage und schreibe EINE Gelbe Karte in 48 Spielen gebracht...sein Kollege mit Pressure 1 zusätzlich kam dann schon auf 6 gelbe Karten in 51)
Daraus könnte auch resultieren, dass Fehlentscheidungen hinsichtlich nichtgegebener Elfmeter bei einem niedrigen Wert häufiger werden. Das ist natürlich schwer messbar, da man bei KI-Spielen kaum feststellen kann, ob eigentlich gerechtfertigte Strafstöße nicht gegeben wurden... Bei meinen ca. 40 Spielen in der Saison lautete die Schiedsrichterbewertung einmal "failed to award penalty for host"...und Herr Hardy Keinplan fällt in die Kategorie Refereeing 1. Keine belastbare Stichprobe, aber vielleicht ein Hinweis.
Paradoxerweise fand ich für meine weitere Vermutung, dass hohe Refereeing-Werte gute "Zahlen-Noten" für die Männer in Schwarz nach sich ziehen nicht nur nicht bestätigt...nein, im Gegenteil...die Schiedsrichter mit niedrigem R-Wert schnitten sogar besser ab. Keine Ahnung, ob hier Überlagerungseffekte mit anderen Attributen wirken, es schlicht Zufall war oder das Notensystem für den Eimer ist...


Running Line Da dieses Attribut nur für Einsätze als Seitenassistent eine Rolle spielen soll, ich aber weder Kenntnis habe wie es hier wirkt noch die Möglichkeit habe auch nur zu sehen WER in einem Spiel assistiert, habe ich es konstant für alle editierten Schiris auf 10 gesetzt.


Timekeeping  Hier stellt sich zunächst für mich die Frage, was dieses Attribut genau bewirkt... Ok, es dürfte etwas mit Nachspielzeiten zu tun haben, alles andere wäre eine Überraschung. Aber dann hört es auf...Beeinflusst das Attribut nur die angekündigte Nachspielzeit, die der FM meines Wissens als Minimum auch immer einhält? Die Zeit, die dann noch im Ermessen des Schiris drauf kommt? Beides? Und entscheidet das Attribut einfach "grundsätzlich immer mehr oder weniger" Nachspielzeit je nach Zahlenwert (und dann würde sich noch die frage stellen, in welche Richtung die Skala wirkt...)? Oder geht es eher darum, ob ein Schiedsrichter in einem Spiel X die Extrazeit korrekt bemisst, d.h. ein niedriger Wert begünstigt Fehler in beide Richtungen, während ein hoher Wert für eine "richtige" und "faire" Nachspielzeit sorgt (die genauso "extrem" kurz oder lang sein kann)? Letzteres wäre für eine Testreihe der absolute Horror, denn das dürfte sich kaum in blanken Zahlen niederschlagen und bei KI-Spielen zu ermitteln, was eine faire Nachspielzeit ist dürfte ein Ding der Unmöglichkeit sein, was sich an die Mammutaufgabe anschließt, dort überall manuell die Nachspielzeit zu erfassen.
Ich habe mich daher bei diesem Test auf meine Spiele beschränkt und die Nachspielzeiten der 3 Schiri-Gruppen mit den Ausprägungen 1,10 und 20 zusammengezählt und den Durchschnittswert ermittelt. Die gefundenen Unterschiede sind zwar nicht riesig und die Stichprobe mit je 10-15 Spielen pro Gruppe könnte größer sein, aber das gefundene Muster könnte ein Hinweis darauf sein, dass eher meine zweite These zutrifft (also Einfluss auf die Korrektheit der Erfassung):

- Referees mit Timekeeping 20 hatten den höchsten Wert (für die Nachspielzeiten der ersten und zweiten HZ zusammen im Durchschnitt 6 Minuten)
- jene mit 10 kamen nur auf 4,6 Minuten
- interessant war dann die 1er Gruppe...die hatten dann wieder 5,4


Feedback, Fragen, eigene Theorien usw. sind willkommen  :)

Zu den Anhängen:
- Editorfile
- ein RaR-File mit meinem Auswertungssheet (enthält die kumulierten Statistiken jedes Schiris aus 1.,2.Liga und Pokal sowie meine errechneten pro-Spiel-Wahrscheinlichkeiten)
- beispielhaft einen Screenshot der Referees der 2.indonesischen Liga nach Saisonende 

[gelöscht durch Administrator]
« Letzte Änderung: 29.Mai 2017, 23:12:04 von Eckfahne »
Gespeichert

Octavianus

  • Administrator
  • Lebende Legende
  • ******
  • Offline Offline
Re: [FM 2017] Schiedsrichterexperiment
« Antwort #1 am: 29.Mai 2017, 22:56:02 »

Vielen Dank für diese sehr aufschlussreichen Tests! SI selbst schenkt diesem Bereich relativ wenig Beachtung, deshalb finde ich solche Testreihen sehr spannend. Auch, um die deutschen Schiedsrichter noch besser zu bewerten. :)
Gespeichert
Ständig im Einsatz für einen besseren FM und für ein tolles Forum :)

Du hast FRAGEN? Hier gibt es ANTWORTEN rund um den FM!

Leland Gaunt

  • Fussballgott
  • ******
  • Offline Offline
Re: [FM 2017] Schiedsrichterexperiment
« Antwort #2 am: 29.Mai 2017, 23:21:37 »

Puh, muss ich morgen noch mal in Ruhe lesen - aber den Bereich finde ich nahezu noch gar nicht beleuchtet und daher recht interessant.
Die Frage die ich mit stelle ist nur, wie genau kann ich einen Schiri vor dem Spiel überhaupt "scouten" um deine Erkenntnisse zu nutzen?
Gespeichert
FMGaunt

Das magische Dreieck 2.0

Immer schön GErade bleiben!

Mipri1996

  • Bambini
  • *
  • Offline Offline
Re: [FM 2017] Schiedsrichterexperiment
« Antwort #3 am: 29.Mai 2017, 23:22:12 »

Moin Moin!
Sowas zu machen ist absolut verrückt, aber im Besten Sinne! Du solltest oder könntest deine Ergebnisse ja mal weiterreichen, denn dieses Wissen kann die Entwickler auch weiterbringen!
Gespeichert
"Nach 3 x Zweiter, folgt jetzt erster" - Bernd Schneider (2002 vor der WM)
"Hauptsache maximal weit weg" - Thomas Broich und jeder Kreisklassentrainer

Eckfahne

  • Profi
  • ****
  • Offline Offline
Re: [FM 2017] Schiedsrichterexperiment
« Antwort #4 am: 30.Mai 2017, 08:42:25 »

Die Frage die ich mit stelle ist nur, wie genau kann ich einen Schiri vor dem Spiel überhaupt "scouten" um deine Erkenntnisse zu nutzen?

Das ist leider tatsächlich ein Problem. Es macht sicher Sinn sich die Statistik des Referees des nächsten eigenen Spiels anzuschauen, die Aussagekraft beschränkt sich aber eben auf Karten und Elfmeter. Das gleiche sollte man nochmals am Saisonende machen, denn da dürften sich Zusammenhänge deutlicher zeigen und man ist besser gerüstet für die kommende Saison. Ob sich die Mühe lohnt dauerhaft Schiedsrichterleistungen in normalen Spielen in KI-Partien einzusehen...ich bezweifle es eher.
Mein Test ist daher auch in erster Linie einfach Neugier geschuldet und soll wie von Octavianus angemerkt eine kleine Unterstützung für den Research sein (der es hier von Haus aus schwer hat, weil SI andere Prioritäten setzt) und hier doppelt Arbeit hat: Es dürfte schon aufwendig genug sein z.B. ein Gefühl dafür zu bekommen, welche Schiedsrichter in der Real-Life-Bundesliga wie mit dem Thema Nachspielzeit umgehen....und dann hat man im Spiel ein Attribut von dem niemand genau weis was es eigentlich macht :) Und selbst wenn man besser "gemesse" Werte wie Kicker-Noten für Offizielle bzw. die verbale Kurzzusammenfassung der Leistung dort hat, stellt sich immer noch die Frage was das bei welchen Attributen in Zahlen heißen soll. Auch Wechselwirkungen sind hier interessant oder einfach das Ausschließen von vermuteten Zusammenhängen. Und wie wir vom Discipline-Attribut wissen, ist eine manuelle Research-Eingabe tendenziell immer besser als den FM würfeln zu lassen - denn dort ist die Skala so verschoben, dass ein Gutteil der zufällig erzeugten Schiris unrealistisch wenige Karten zeigt.


Moin Moin!
Sowas zu machen ist absolut verrückt, aber im Besten Sinne! Du solltest oder könntest deine Ergebnisse ja mal weiterreichen, denn dieses Wissen kann die Entwickler auch weiterbringen!

Es war beides - ein bißchen fieselig manchmal, aber die Befriedigung der Neugier und das Entdecken von Zusammenhängen hat entschädigt :) Was die Entwickler angeht...vielleicht mache ich mir tatsächlich die Mühe und poste die Ergebnisse übersetzt und in Kurzform mal im englischen Forum, wenn ich fertig mit meinen Tests bin...viel Hoffnung habe ich aber nicht (siehe Post von Octavianus)

---

Auf Grund der positiven Resonanz habe ich übrigens bereits mit ersten Vorbereitungen für einen zweiten Test begonnen :)
« Letzte Änderung: 30.Mai 2017, 08:51:55 von Eckfahne »
Gespeichert

Eckfahne

  • Profi
  • ****
  • Offline Offline
Schiedsrichterexperiment FM2017 - die 2.
« Antwort #5 am: 17.Juni 2017, 12:31:12 »

Ich habe den 2.Test tatsächlich wie geplant durchgezogen... :)

Ich habe die vergebenen Werte für Schiedsrichterattribute auf Grund meiner Erfahrungen im ersten Test nochmals überarebitet (generell "Discipline" auf 15, Benennung mit Abkürzung und Wert der geänderten Attribute, 5er Schritte und Test überwiegend Test einzelner Attribute statt Kombinationen) einen neuen Spielstand in Indonesien gestartet und sämtliche Spiele einer KI-Saison der 1.Liga dort manuell ausgewertet. Da die erste Liga dort 18 Mannschaften hat, ist meine Stichprobe vom Umfang her mit der einer deutschen Bundesligasaison gleich (316 Spiele).

Die Auswertung im Bezug auf einzelne Attribute folgt noch, ich stelle das Datensheet für Interessierte aber hier schon mal ein.

Einige Beobachtungen konnte ich aber schon beim Rausschreiben der Daten machen:

- Die Auswirkungen des Refereeing-Attributes (R) sind nicht zu unterschätzen. Sie sind zwar im Bezug auf die Kartenmenge nicht linear und ganz so stark wie bei Discipline (D), aber Extremwerte im unteren Bereich sollten mit Vorsicht gewählt werden (R=1 u. D=15 zusammen führen zu ca. 1,5 Gelben karten pro Spiel, bei R=5 sind es dann schon durchschnittlich knapp 3. Höhere R-Werte steigern das noch auf ca. 3,5, aber der Anstieg flacht ab und zwischen R=15 und R=20 besteht dann kaum noch ein Unterschied). Ausserdem verstärken sich R und D direkt, daher sollten kombinierte niedrige oder hohe Werte mit Bedacht gewählt werden (und ein "Auswürfeln" - vorallem beider - dieser Werte unterbleiben!) Weiterhin fällt eine signifikant geringere Anzahl gepfiffener Fouls auf, wenn der R-Wert geringer ist und das führt mich dann zum nächsten Punkt...

- Notengebung für Schiris: Ich bin mir jetzt sicher, dass die Beobachtung des ersten Tests kein Zufall war. Das Spiel bevorzugt tendenziell eher Schiedsrichter, wenn sie wenige Karten zeigen bzw. wenig Fouls pfeifen, sich "nicht ins Spiel" einmischen. Daher führt u.a. ein niedriger Refeering-Wert zu besseren Noten. Man kann darüber streiten, ob das realistisch ist...es sollte aber auf jeden Fall beachtet werden, falls die Schiri-Noten mehr als Kosmetik sind (d.h. sollte das Spiel analog zur Realität den "Aufstieg" von Schiedsrichtern im Spielverlauf an Noten festmachen). Es könnte auch daran liegen, dass das Spiel die Schiedsrichter"fehler" bereits verzerrt abbildet:
* Recht oft liest man in den verbalen Schiedsrichterbewertungen, dass der Schiedsrichter eine Mannschaft bevorzugt (und das schlägt immer auf die Note; mehr als 6,X geht dann wohl nicht) - und das Spiel macht das an Karten und evtl. Elfmetern fest. Für die Noten ist das fatal...denn gibt ein Schiri keine Karten oder Elfmeter, mischt sich also nicht ein, braucht er den Punkt nicht zu fürchten. Wer Karten verteilt, hat das Risiko sie einseitig zu verteilen...und selbst wenn sie "gerecht" verteilt sind, gibts oft ne üble Note.
* Platzverweise werden manchmal als ungerechtfertigt gerügt...aber ich habe es noch nie erlebt, dass der Schiri eine schlechte Note bekommt, weil er einen Spieler NICHT vom Platz gestellt hat (evtl. lizenzbedingt? Weil der Spieler dann konsequenterweise nach dem Spiel noch vors Sportgericht müsste? Wobei es Gerichtsverhandlungen wegen Sperren gibt es ja :-\ ) Vielleicht liegt es aber auch daran, dass man dafür Spieler mit sehr üblen Charakterzügen braucht, die erst im Spiel generiert werden können...
* Elfmeterfehlentscheidungen sind wohl in beide Richtungen möglich; ich bin mir aber nicht sicher, ob hier nicht nicht auch die gerügten "ungerechtfertigten" Elfmeter dominieren. Es könnte daran liegen, dass das Spiel hier häufiger drauf zurückgreift (Spieler begehen Schwalben, Interviewfragen)
* Abseitsfehlentscheidungen meine ich zwar auch schon in beiden Richtungen erlebt und im Spielbericht erwähnt gefunden zu haben, aber sehr oft kams nicht vor und ich bin mir nicht mal sicher, ob ich das im F17 überhaupt schon hatte

[gelöscht durch Administrator]
« Letzte Änderung: 17.Juni 2017, 17:00:07 von Eckfahne »
Gespeichert

Bayernfahne

  • Nationalspieler
  • *****
  • Offline Offline
Re: [FM 2017] Schiedsrichterexperiment
« Antwort #6 am: 19.Juli 2017, 16:05:24 »

Vielen Dank für diese Testreihe, wirklich sehr interessant!  :)
Gespeichert
Ich kann, dass ich nichts kann.

Eckfahne

  • Profi
  • ****
  • Offline Offline
Re: [FM 2017] Schiedsrichterexperiment
« Antwort #7 am: 07.April 2018, 13:08:17 »

Ich wollte hier schon viel eher weitermachen, kam aber leider nie dazu...bis jetzt...

Ich habe mir mal den Spaß gemacht in meiner Stichprobe zu schauen, was denn unterschiedliche Ausprägungen von Timekeeping bei Schiris bewirken hinsichtlich der Nachspielzeit...leider war schon die Feststellung der exakten Nachspielzeit in den KI-Spielberichten kein Spaß und manchmal lies sich kaum festmachen, ob es eine Minute mehr oder weniger war, weshalb ich dann ein Minimal-/Maximalwert notiert habe:

Referee TK=1 bringt es auf 11 Spiele mit 53-58 Minuten Nachspielzeit, also 4,82 - 5,27
Referee TK=5 hat in 10 Spielen 52-53 Minuten nachspielen lassen... 5,2-5,3
Referee TK=15 hat 13 Spiele mit 62-65 Minuten... 4,77 - 5
Referee TK=20 hat 16 Spiele mit 79-84 Minuten... 4,94 - 5,25

Bei zwei weiteren Referees war die Änderung bei TK mit einem anderen Attribut gekoppelt:

Referee AF=1 P=1 R=20 TK=20 ließ in 14 Partien zwischen 67 und 70 Minuten weiterlaufen... 4,79 - 5
Referee R=20 TK=20 in 17 Spielen 87 o. 88 Minuten... 5,12 - 5,18

Daraus lässt sich leider gar kein Zusammenhang ablesen und leider fehlt auch der Durchschnittsschiri mit 10 in allen Werten in der Stichprobe, da der FM2017 den damals irgendwie nicht in der 1.Liga indonesischen Liga einsetzen wollte. Es bleibt nur der ziemlich sichere Schluss, dass die Auswirkungen dieses Attributs auf die Nachspielzeit vermutlich eher marginal sind und wahrscheinlich sogar eher durch andere überlagert werden (ich denke da an Refeering und Allowing Flow) Außerdem ist die Nachspielzeit zumindest gefühlt so ein Thema wo SI gerne mal in einem Patch nachjustiert (und das eben gerade *nicht* durch Datenbankänderungen mit diesem Attribut) - ein weiterer Hinweis darauf, dass es hier wohl keinen großen und einfachen Effekt wie bei anderen Attributen gibt.

---

Bei Gelegenheit werde ich noch Allowing Flow näher untersuchen und schauen, ob Pressure die Kartenverteilung hinsichtlich Heim- und Gastmannschaft beeinflusst.

Dann fehlt eigentlich nur noch ein Langzeittest zu Important Matches. Den hatte ich mir eigentlich für den FM2018 vorgenommen, aber mit dem Wegfall der "verbalen Schiedsrichterbenotung" selbst in eigenen Spielen hat SI das ziemlich schwer gemacht. Ich bin mir aus einem Kurztest mit dem FM2017 inzwischen zwar ziemlich sicher, dass ein niedriger Wert gehäuft Fehlentscheidungen (vorallem Elfmeter) produziert (und das auch gerne in wichtigen Spielen, wie der Attributsname nahelegt ), aber natürlich wäre eine etwas fundiertere Langzeitbeobachtung trotzdem sinnvoll, auch um z.B. die Auswirkung auf Schirinoten zu prüfen.
« Letzte Änderung: 07.April 2018, 13:09:55 von Eckfahne »
Gespeichert

Der Baske

  • Lebende Legende
  • ******
  • Offline Offline
Re: [FM 2017] Schiedsrichterexperiment
« Antwort #8 am: 07.April 2018, 14:04:41 »

Starke Analyse. Props für deinen Zeitaufwand.
Auf so eine Idee wäre ich nie gekommen, stark.
Gespeichert
Für eine Handvoll Dollar mache ich alles!

Botschafter des Quan!
MTF U20 Weltmeister 2011 + MTF AfricaCup Sieger 2011
Gegen Social Media & Laubbläser
'A sports called football but it's mainly played by hands, sorry but i don't get it.

Eckfahne

  • Profi
  • ****
  • Offline Offline
Re: [FM 2017] Schiedsrichterexperiment
« Antwort #9 am: 03.Juni 2018, 12:51:39 »

Ich habe -mangels eines mich bisher fesselnden "echten Spielstandes" - im FM 2018 nun mal eine Saison mit im Bezug auf das Attribut Important Games modifizierten Schiedsrichtern durchgezogen. Ich habe dazu alle deutschen Schiedsrichter in den anderen Attributen gleichgesetzt (überall 11, außer Disziplin auf 13), dann drei Gruppen mit 1 (Anfangsbuchstabe Nachname A-H), 11 (I-O) und 20 (P-Z) für IG gebildet.  Da die Datenmenge bei ca. 150 betroffenen Schiedsrichtern recht groß ist und das Spiel nur eine ligenweise bzw. personenbezogene Auswertung erlaubt, habe ich zuerst die Werte der in der ersten Bundesliga regelmäßig (8 oder mehr Einsätze, zwei mit 1 bzw. 2 Einsätzen hab ich außen vor gelassen) eingesetzten Referees näher untersucht, um bei ggfs. gefundenen Auffälligkeiten die restlichen Daten zum Prüfen zu nutzen.

Letzeres kann ich mir aber glaube ich sparen - denn weder die Betrachtung nur der Bundesligaspiele (die als Stichprobe aber ohnehin zu klein und anfällig für Ausreißer ist) noch die aller Spiele hat irgendwelche nicht-zufälligen Unterschiede zu Tage gefördert (s.u.) - ich habe es auch nicht wirklich erwartet, da das Attribut ja nur auf einzelne, aus FM-Sicht "wichtige" Spiele wirkt - selbst wenn es also einen quantitativen und linearen Einfluss auf die Häufigkeit von Karten und Elfmetern geben sollte, würde diese vermutlich in der Vielzahl der Spiele untergehen - gleiches gilt für die Schiri-Noten. Davon abgesehen halte ich für wahrscheinlicher, dass dieses Attribut lediglich die Wahrscheinlichkeit und Häufigkeit von "Schiedsrichterversagen" in diesen wichtigen Spielen festlegt - und die "Fehler" sich im Bezug auf die statistischen Werte ausgleichen (d.h., dass z.B. verweigerte gerechtfertigte Elfmeter unberechtigte ausgleichen).

Lässt sich die letzte Hypothese irgendwie belegen? 100%ig nicht, da der FM schon immer und seit der Ausgabe 2018 noch mehr mit Informationen im Bereich Schiedsrichter(entscheidungen) geizt. Trotzdem kann man natürlich einzelne Spiele untersuchen - und ein paar Auffälligkeiten lassen sich dann schon finden:

- Ich habe im Thread Kurioses ein eigenes Spiel mit 4 Elfmetern in einer HZ aus diesem Save gepostet - es ist wie gesagt schwierig zu beurteilen wann Elfmeter ungerechtfertigt sind, aber es war zumindest ein Schiri mit IG 1 der sie gegeben hat...
- Im Pokalfinale gab es in 120 Minuten 6 gelbe Karten (von denen 2 zu Gelb-Rot führten) und der Schiri aus der IG-1-Gruppe hat nur eine 6,2 bekommen
- auch in den Finalspielen der Landespokale zeigt sich eine gewisse Tendenz, dass Schiedsrichter aus o.g. Gruppe schlechte Noten erhalten; leider lassen sich aber aus unerfindlichen Gründen (volle Details sind von Beginn an aktiviert gewesen) keine Match-Details einsehen

---

Fazit: Das Attribut kann genutzt werden, um Schiedsrichter abzubilden, die zu zufälligen Fehlern in wichtigen Spielen neigen. Klar abzugrenzen zu Pressure, da dies (s. Eingangspost) Karten und Elfmeter systematisch beeinflusst.

[gelöscht durch Administrator]
Gespeichert

Eckfahne

  • Profi
  • ****
  • Offline Offline
Re: [FM 2017] Schiedsrichterexperiment
« Antwort #10 am: 10.Juni 2018, 09:38:06 »

Allowing Flow Ich habe hierzu die Daten aus dem 2.Experiment im FM2017 mit dem kompletten KI-Spiele einer Erstligasaison nochmals untersucht - hinsichtlich gepfiffener Fouls und Abseitssituationen im Spiel, da ich hier am ehesten einen Einfluss des Attributes vermute. Ich habe allerdings nur die Schiedsrichter einbezogen, bei denen ausschlielich AF geändert war.

Bei den Fouls könnte es sein, dass Schiris mit einem hohen AF-Wert seltener Fouls pfeifen. In der Stichprobe ergab sich folgender Durchschnitt pro Spiel:

AF  1 = 23,9
AF  5 = 25,7
AF 10 = 24,3
AF 20 = 20

Der Wert bei AF 20 fällt schon deutlich ab; warum allerdings der Schiedsrichter mit AF 1 aus der Rolle fällt, weis ich nicht. Sinn machen würde das jedenfalls (lässt eher laufen bei Kleinigkeiten bzw. Geben von Vorteilssituationen statt Freistößen)


Die Werte für Abseitssituationen:

AF   1  =   5,9
AF   5  =   4,8
AF 15  =   5,9
AF 20  =   6,4

Auch hier ein Muster und AF=1 fällt aus der Reihe - allerdings verstehe ich den Zusammenhang nicht (sollte denn ein nicht-zufälliger bestehen). Soweit ich weiß, zählt der FM mit dem Wert alle Abseitssituationen im Spiel, mannschaftsweise getrennt (...und ich habe dann zusammengezählt, da ich das Attribut nicht irgendwie mit heim-/auswärts in Zusammenhang sehe). Daraus würde folgen, dass ein Schiedsrichter mit hohem AF-Wert einfach öfter Abseits pfeift - und das ergibt für mich wenig Sinn. Sinn machen würde es, wenn er im Falle eines Falles später entscheiden würde und dann vielleicht pfeifen würde, wenn tatsächlich ein Tor fällt (das bildet der FM aber m.W. statistisch nicht ab). Vielleicht sind die Werte für Abseitssituationen aber auch eine Folge von den vielen Foulwertungen - wo ständig abgepfiffen wird, entwickeln sich weniger Angriffe, die im Abseits enden können...

Gelbe Karten sind für mich unauffällig (4,4 / 3,4 / 4,6 / 4,1), für Rote Karten und Elfmeter ist die Stichprobe zu klein. Da ich mich aber auch die Werte für Fouls und Abseits nicht wirklich glücklich zurücklassen, werde ich das wohl für den FM2018 o. 19 nochmal systematischer aufgreifen, also mich alleine auf dieses Attribut konzentrieren und die alles andere normieren (sowie wie ich es mit Timekeeping gemacht habe). Da ich dann nur den Foul- und Abseitswert für KI-Spiele manuell erheben muss und der entsprechenden Schirigruppe zuordnen muss, ginge das vom Aufwand her.
Gespeichert