Gemeinsame Modellierung kann Schulen dabei helfen, Schulabbrecher vorherzusagen und zu verhindern

Ein von Cornell gemeinsam geleitetes Forschungsteam stellte fest, dass für Schulen, die nicht über die Ressourcen verfügen, Lernanalysen durchzuführen, um den Schülern zum Erfolg zu verhelfen, eine Modellierung auf der Grundlage von Daten anderer Institutionen genauso gut funktionieren kann wie eine lokale Modellierung, ohne dass die Fairness darunter leidet.

„Um datengesteuerte Modelle nutzen zu können, braucht man Daten“, sagte Rene Kizilcec, Assistenzprofessor für Informationswissenschaft am Cornell Ann S. Bowers College of Computing and Information Science. „Und in vielen Schulen, insbesondere in Schulen mit geringeren Ressourcen, die am meisten von Lernanalyseanwendungen profitieren würden, sind Daten selten zugänglich.“

Kizilcec ist leitender Autor von „Cross-Institutional Transfer Learning for Educational Models: Implications for Model Performance, Fairness, and Equity“, das am 12. Juni auf der Association for Computing Machinery Conference on Fairness, Accessibility and Transparency (ACM FAccT) vorgestellt wird -15 in Chicago. Der Hauptautor ist Josh Gardner, Doktorand der Informatik an der University of Washington.

Kizilcec und sein Team verwendeten anonymisierte Daten von vier US-Universitäten und wandelten sie in eine gemeinsame Struktur um, um zu modellieren, welche Studenten wahrscheinlich ihr Studium abbrechen werden. Nur die universitätsspezifischen Modelle – keine individuellen Studentendaten, die Datenschutzprobleme aufwerfen – wurden zwischen den Mitgliedern des Forschungsteams geteilt.

In den USA brechen jedes Jahr mehr als eine Million Studenten ihr Studium ab. Es ist 100-mal wahrscheinlicher, dass sie mit ihren Studiendarlehenszahlungen in Verzug geraten, als diejenigen, die ihren Abschluss machen. Dies hat dazu geführt, dass die Bundesregierung Vorschriften erlassen hat, die Hochschulen und Universitäten dazu anregen, die Zahl der Schulabbrecher zu reduzieren, indem sie sie dazu verpflichten, Abbrecherquoten sowie Rankings zu melden, die die Abschlussquoten berücksichtigen.

Kizilcec sagte, dass große Institutionen über die Ressourcen verfügen, um prädiktive Datenanalysen durchzuführen. Aber Institutionen, die am meisten von diesen Daten profitieren könnten – kleinere Hochschulen oder zweijährige Hochschulen – tun dies normalerweise nicht.

„Sie müssen sich auf die Dienste einiger weniger Unternehmen verlassen, die Bildungsanalyseprodukte anbieten.“ er sagte. „Institutionen können entweder ihre eigenen Modelle erstellen – ein sehr kostspieliger Prozess – oder eine Analyselösung erwerben, wobei die Modellierung normalerweise extern auf den Daten anderer Institutionen erfolgt. Die Frage ist, ob diese externen Modelle genauso gut funktionieren wie lokale Modelle. und ob sie Vorurteile einführen.“

Das Ziel der Arbeit der Forscher war eine genaue Vorhersage der „Retention“ – also der Frage, ob jeder Student, der im Herbst zum ersten Mal eine Hochschule betritt, sich im darauffolgenden Herbst an derselben Hochschule einschreiben würde.

Um den Erfolg des Transferlernens zu bewerten – das Sammeln von Informationen von einer Institution und deren Nutzung zur Vorhersage von Ergebnissen an einer anderen – verwendete das Team drei Ansätze:

Die Forscher verwendeten die drei Transfermethoden zusammen mit der lokalen Modellierung an jeder der vier Institutionen, um die Gültigkeit des Transferlernens zu bewerten. Erwartungsgemäß gelang es der lokalen Modellierung, die Abbrecherquoten besser vorherzusagen, „aber ehrlich gesagt nicht in dem Maße, wie wir gedacht hätten, wenn man bedenkt, wie unterschiedlich die vier Institutionen hinsichtlich Größe, Abschlussquoten und Studentendemografie sind“, sagte Kizilcec.

Und in Bezug auf Fairness – die Fähigkeit, über Geschlecht und ethnische Untergruppen hinweg eine gleichwertige Vorhersageleistung zu erzielen – hat die Modellierung gute Ergebnisse erzielt, ohne dass die Fairness darunter leidet.

Kizilcec sagte, die Ergebnisse seines Teams deuten auf mehr Gerechtigkeit bei der Vorhersage von Schulabbrüchen hin, was ressourcenschwächeren Schulen dabei helfen könnte, früher einzugreifen und Schülerabwanderungen zu verhindern, die die Einrichtung kosten und zu schlechteren Ergebnissen für die Schüler führen könnten.

„Vielleicht ist es doch nicht nötig, Ressourcen bereitzustellen, um an jeder einzelnen Schule lokale Modelle zu schaffen“, sagte er. „Wir können Erkenntnisse von Schulen nutzen, die über Dateninfrastruktur und Fachwissen verfügen, um Schulen ohne diese Ressourcen und ohne Einbußen bei der Fairness wertvolle Analysen anzubieten. Das ist ein vielversprechendes Ergebnis für Schulleiter und politische Entscheidungsträger.“

Weitere Mitwirkende sind Christopher Brooks, Assistenzprofessor an der University of Michigan School of Information; Renzhe Yu, Assistenzprofessor für Lernanalysen und Bildungsdaten-Mining an der Columbia University; und Quan Nguyen, Dozent für Datenwissenschaft an der University of British Columbia.

Unterstützung für diese Arbeit kam von Google und Microsoft.

Erhalten Sie Cornell-Nachrichten direkt in Ihren Posteingang.