Eine Spurensuche zum AMS-Algorithmus
Als ich am 10. Oktober 2018 den Standard las, stand dort: „Ab 2019 wird das AMS das Potenzial von Arbeitslosen flächendeckend von einem Computerprogramm screenen lassen. Das soll Förderungen treffsicherer machen. Kritiker befürchten eine Schlechterstellung von Schwächeren.“
Im Artikel wurde neben allgemeinen Informationen über den AMS Algorithmus die Synthesis Forschung GmbH genannt, die den Algorithmus im Auftrag des AMS entwickelt hat, aber wirklich weiterführende, tiefgehende Informationen waren nicht zu finden.
Als Masterstudent der Wirtschaftsinformatik war für mich rasch klar: Wenn dort etwas falsch gemacht wird, dann betrifft es früher oder später uns alle, denn arbeitslos wird man leicht einmal. Darum galt es herauszufinden, wie der Algorithmus funktioniert, was er berücksichtigt, was nicht und ob er diskriminiert oder nicht.
Erste Anlaufstelle: BMASGK
Und so habe ich mich auf die Spurensuche gemacht, begonnen beim Bundesministerium für Arbeit, Soziales, Gesundheit und Konsumentenschutz (BMASGK). Das BMASGK sitzt im Verwaltungsrat des AMS und entscheidet gemeinsam mit Vertreter*innen des Finanzministeriums, der Arbeiterkammer, Gewerkschaft, Wirtschaftskammer und der Industriellenvereinigung darüber, ob das AMS solch ein Programm durchführen darf oder nicht.
Deswegen habe ich am 11. Oktober 2018 eine Anfrage gestellt und nach Details zum Algorithmus gefragt. (1) Ich wollte den Quelltext dieser Software, denn dies würde mir und anderen ermöglichen, diesen zu erforschen und mögliche Fehler zu entdecken. Weiters stellte ich die Frage, ob der Algorithmus mittels Software-Audit extern untersucht wird, ob die Daten vor der Einspeisung kontrolliert werden, wie hoch Fehlerraten sind und wie Fehler in der Software aufgezeigt und rückgemeldet werden können. Eine der wichtigsten Fragen war für mich die nach den Langzeitauswirkungen. Denn solche Systeme können sogenannte Feedback-Loops erzeugen. So könnte beispielsweise eine niedrig qualifizierte Person mit Migrationshintergrund arbeitslos werden und aufgrund schlechter Einstufung niemals den Sprung in höher qualifizierte Jobs schaffen, da alle Versuche der Weiterbildung vom System abgeblockt werden. Diese mangelnde Weiterbildung wird dann vom System negativ interpretiert und zementiert den Status dieser Person.
Einteilung in drei Kategorien
Zwischenzeitlich wurden mehr Details über den AMS-Algorithmus bekannt. Dieser teilt Menschen in drei Kategorien ein: Wenn die Wahrscheinlichkeit, dass man „kurzfristig“ (binnen sieben Monaten für die Dauer von mindestens 90 Tagen) eine Beschäftigung findet, höher als 66 Prozent bewertet wird, kommt man in die Kategorie A. Wenn die vom System prognostizierten langfristigen Jobchancen (180 Tage Beschäftigung innerhalb von 24 Monaten) unter 25 Prozent liegen, fällt man in die Kategorie C. Alle anderen Personen werden der Kategorie B zugeordnet, auf die das AMS künftig seine Mittel konzentrieren möchte.
Das AMS berechnet diese Chancen in mehreren Modellen unter Verwendung von linearer Regression. Historische Daten werden herangezogen und bei Personen wird über einen Zeitraum verglichen, ob diese einen Job fanden oder nicht. Aus dem kurzfristigen Modell (Betrachtungszeitraum sieben Monate) wurde nun auch in den Medien berichtet, dass Frauen mit Betreuungspflicht eher in Kategorie B fallen, im Gegensatz zu Männern, bei denen Betreuungspflicht keine Verschlechterung in der Arbeitssuche bedeutete. Das zitierte Modell war bis dahin jedoch nicht publiziert und somit nicht wissenschaftlich zu untersuchen.
Das öffentliche Modell
Am 29. Oktober erhielt ich meine erste Antwort vom BMASGK mit der Beschreibung des „öffentlichen“ Modells, einem 16-seitigen PDF, das zwischenzeitlich durch die Medien gegangen und in mehreren Artikeln analysiert worden ist. Weder ein Quelltext noch eine Antwort auf irgendeine meiner Fragen war dabei.
In meiner zweiten Anfrage stellte ich meine Fragen konkreter und verlangte die Ausstellung eines Bescheides bei Nichtbeantwortung. Auch tat ich diesen Wundersatz dazu, den man sich als Journalist oder NGO-Mitglied merken sollte: „Ich stelle diese Anfrage als Campaigner des Vereins epicenter.works und beabsichtige, die Auskünfte und Dokumente für weitere Analysen und Veröffentlichungen zu verwenden. Ich erfülle die vom Verwaltungsgerichtshof in seiner Entscheidung Ra 2017/03/0083-10 (29. Mai 2018) festgehaltenen Kriterien eines sogenannten ‚social watchdog‘.“
Die Einstufung als „social watchdog“ ermöglicht es berechtigten Personen, nicht nur Auskünfte kostenfrei zu erhalten, sondern tiefere Einblicke in die sonst vorherrschende Intransparenz der österreichischen öffentlichen Verwaltung zu erlangen, zumindest theoretisch. Praktisch brachte diese zweite Anfrage nämlich kein Resultat. Auskunft bekam ich keine, dafür einen Bescheid, der dies bestätigte.
Bereit den Rechtsweg beschreiten zu müssen, kam mir dann doch noch eine andere Idee: Wenn das BMASGK nicht zuständig ist, dann vielleicht das AMS selbst? Und siehe da, ich bekam erstmalig Auskunft. Herr Professor Wagner Pinter von der Synthesis Forschung GmbH rief mich sogar persönlich an, um die Fragen mit mir durchzugehen, die er für das AMS für mich beantworten sollte.
Ich bekam ein paar spannende Infos, zum Beispiel zu den Kosten des Projekts: Entwicklungskosten von 237.142,8 Euro, Einführungskosten von circa 360.000 Euro pro Jahr (2015 bis 2019), ab dann geschätzte Kosten zur Modellweiterentwicklung von 75.000 Euro pro Jahr und IT-Wartungskosten von 61.000 Euro pro Jahr.
Zu komplex
Zum eigentlichen Modell bekam ich lediglich unvollständige Informationen. Mir wurde nämlich nur das kurzfristige, jedoch keines von den 96 verschiedenen langfristigen Modellen geschickt – mit dem Hinweis, uns die Daten der anderen Modelle zu senden, sei zu viel Aufwand und würde das AMS 4.500 Euro kosten. Nachdem mein Verein epicenter.works Bereitschaft signalisiert hat, diese 4.500 Euro zu bezahlen, wurde uns mitgeteilt, dass diese Daten erst dokumentiert und aufbereitet werden müssen, dass wir sie dann aber in sechs bis sieben Monaten gratis erhalten werden.
Während also das System offenbar zu kompliziert ist, um darüber detailliert Auskunft zu geben, bleibt es gleichzeitig im Einsatz, weil die Evaluierung ergeben hätte, dass es funktioniert. Ich frage mich, ob Erwin Schrödinger sein theoretisches Konstrukt „Schrödingers Katze“ auch aufgrund der Erfahrungen mit österreichischen Behörden entwickelt hat? Solange man nicht nachschaut, funktioniert der AMS-Algorithmus gut, gleichzeitig ist er aber zu komplex, um ihn zu verstehen.
Was wir nun wissen
Uns wurde eine recht ausführliche Beschreibung des kurzfristigen Modells gegeben. Wir wissen anhand welcher Parameter man in Kategorie A fällt, daher keine Ausbildung bekommt, weil man überqualifiziert ist (oder Saisonarbeiter*in – denn die Vorgabe „kurzfristig“ als Durchrechnungszeitraum von sieben Monaten zu definieren, zielt darauf ab, Saisonarbeiter*innen von Kursen auszuschließen). Gesetzlich festgelegte Zielgruppen kommen automatisch in Kategorie B (zum Beispiel Jugendliche mit Ausbildungsgarantie). Unsere größte Wissenslücke ist, wie man in die Kategorie C kommt. Da hier mehrere Diskriminierungen ineinandergreifen, muss der Fokus auf den Umgang mit dieser Gruppe gerichtet werden. Darüber nicht mehr Auskunft zu erhalten, ist unsere größte Kritik am AMS-Algorithmus.