Was wir messen wollen
Welche Fragen beantwortbar werden, wenn mehrere Ebenen derselben Hochschule gleichzeitig erhoben sind
Die Fragen, um die es hier geht, setzen mehrere Ebenen derselben Hochschule voraus. Ob die Außenkommunikation der Forschung vorausgeht, ist an der Kommunikation allein nicht ablesbar; ob sich Lehrinhalte vor oder nach den Regelungen verschieben, an den Regelungen allein ebenso wenig.
Wir legen diese Ebenen nebeneinander und geben zu jeder Zahl an, für welche Häuser und welchen Zeitraum sie gilt.
Wozu das gebraucht wird
Hinter den Einzelfragen steht eine größere. Hochschulen beruhen auf dem Nachweis eigener Leistung: Prüfungen, Abschlüsse und wissenschaftliche Autorschaft setzen voraus, dass zurechenbar ist, wer etwas erbracht hat. Generative Modelle stellen diese Zurechnung in Frage, und zwar in allen Fächern zur selben Zeit.
Wie sieht die Informatiklehre der nächsten Jahre aus?
Wenn das Werkzeug die Übungsaufgabe löst, verschiebt sich, was geübt und was geprüft wird. Welche Antwort die Hochschulen darauf finden, wird in den Modulhandbüchern der nächsten Jahrgänge stehen.
Wie schnell nimmt ein Hochschulsystem eine Technik auf?
Mit Zeitpunkten aus mehreren Ebenen lässt sich prüfen, wovon das Tempo abhängt: von der Größe, dem Fach, der Trägerschaft, der Leitungsstruktur. KI ist dafür der Anlassfall, die Fragestellung ist allgemeiner.
Lässt sich trennen, was KI leistet und was ihr zugeschrieben wird?
Über die Leistungsfähigkeit dieser Werkzeuge wird an Hochschulen viel behauptet, auch von Fachleuten, und aus den Annahmen folgen Entscheidungen über Prüfungsordnungen, Beschaffung und Lehre. Ob sich der Abstand zwischen Zuschreibung und Leistung messbar machen lässt, ist offen; die Frage betrifft beide Ebenen der Erhebung.
Und wo steht Deutschland dabei?
Eine belastbare Antwort setzt eine Grundlage voraus, die für viele Häuser nach demselben Verfahren erhoben ist. Diese Grundlage zu schaffen ist der Zweck dieser Erhebung.
Vier Ebenen, und der Abstand zwischen ihnen
| Ebene | Was sie zeigt | Woher |
|---|---|---|
| Kommunikation | wie eine Hochschule über ein Thema spricht | Pressemitteilungen, institutionelle Konten |
| Praxis | woran tatsächlich geforscht wird | Publikationsverzeichnisse |
| Lehre | was gelehrt wird | Modulhandbücher |
| Diskurs | welche Positionen öffentlich vertreten werden | öffentliche Beiträge in sozialen Netzen |
Die ersten drei Ebenen speisen sich aus dem, was Hochschulen selbst veröffentlichen. Ausgewertet wird der Abstand zwischen ihnen: ob eine Hochschule früher spricht, als sie forscht; ob in den Lehrplänen steht, was die Pressestelle ankündigt; ob die Ebenen in dieselbe Richtung zeigen.
Die vierte Ebene erfasst, was in der Öffentlichkeit über die Sache verhandelt wird: von Studierenden, Lehrenden und einem breiten Publikum. Gegenstand sind die vertretenen Positionen und ihre Kopplungen. Aus dem erhobenen Bestand entsteht ein Inventar der Positionen, jede mit Belegstellen und einer vorab festgelegten Untergrenze, ab der gerechnet wird. Gerechnet wird jeweils auf einem festen Stichtag; der Bestand selbst lässt sich fortschreiben.
Fragen, die damit beantwortbar werden
Sprechen Hochschulen über KI, bevor sie daran forschen?
Die Reihenfolge von Außenkommunikation und Forschungstätigkeit ist ein Hinweis darauf, über welchen Weg ein Thema in eine Organisation gelangt. Beide Richtungen werden in der Literatur vertreten; geprüft sind sie unseres Wissens nicht, weil dafür beide Seiten gleichzeitig erhoben sein müssen.
bearbeitet in Öffentlichkeitsarbeit der Hochschulen
Wann taucht ein Thema in der Lehre auf, und in welchen Fächern zuerst?
Modulhandbücher sind öffentlich und älter als die aktuelle Aufregung. Sie erlauben eine Frage, die sonst nur über Befragungen zu haben wäre: ab wann ein Thema in Lehrplänen steht, ob als Randbemerkung oder als Kerninhalt, und wo außerhalb der Informatik es zuerst ankommt.
bearbeitet in Was in Lehrplänen steht
Verschieben sich Begriffe, während der Gegenstand derselbe bleibt?
In einem Lehrplan von 2006 steht nicht künstliche Intelligenz, sondern Soft Computing, Expertensystem, neuronales Netz. Eine Suche mit heutigem Vokabular findet in diesen Jahrgängen nichts. Die Begriffsverschiebung selbst ist erhebbar und für die Frage, wie sich ein Feld etabliert, aussagekräftiger als einzelne Jahreszahlen.
bearbeitet in Was in Lehrplänen steht
Gibt es wiederkehrende Muster, wie Hochschulen mit Neuem umgehen?
Lassen sich Typen unterscheiden — Hochschulen, die früh regeln und spät forschen, solche, bei denen es andersherum läuft, solche, bei denen beides auseinanderfällt? Die Typen dienen der Beschreibung; eine Rangfolge lässt sich daraus nicht ableiten.
bearbeitet in Öffentlichkeitsarbeit der Hochschulen und Wissensbasis zur KI-Regulierung
Welche Positionen werden öffentlich vertreten, und welche zusammen?
In der öffentlichen Debatte über KI in der Lehre werden bestimmte Behauptungen wiederholt aufgestellt: dass sprachliche Hilfe zulässig sei und inhaltliche nicht, dass Prüfungen so nicht mehr funktionieren, dass eigenes Können entwertet wird. Erhebbar ist, welche dieser Positionen gemeinsam auftreten.
bearbeitet in Der öffentliche Diskurs
Wie gut ist gedeckt, was über die Technik behauptet wird?
Kommentare unter Studienvideos und Pressemitteilungen von Hochschulen sind verschiedene Textsorten. Beide enthalten Annahmen darüber, was ein Sprachmodell tut und was es nicht tut, und diese Annahmen lassen sich gegen den Stand der Technik halten. Der Vergleich zwischen den Ebenen ist dabei der eigentliche Punkt: Ob die Selbstdarstellung der Hochschulen fundierter ausfällt als die öffentliche Debatte, ist offen.
bearbeitet in Der öffentliche Diskurs und Öffentlichkeitsarbeit der Hochschulen
Wie verhält sich ein Fachdiskurs zum Publikationsaufkommen desselben Fachs?
Das Verhältnis von Diskursaufkommen und Publikationsaufkommen unterscheidet sich zwischen den Disziplinen. Beide Seiten nebeneinanderzulegen setzt eine identische Fächereinteilung voraus — die Bedingung, an der solche Vergleiche üblicherweise hängen.
bearbeitet in Der öffentliche Diskurs
Was wir nicht tun
Vier Festlegungen, die zur Anlage der Erhebung gehören.
- Keine Rangliste. Die Unterschiede zwischen Hochschulen sind zu einem erheblichen Teil Unterschiede darin, was sie öffentlich zugänglich machen; eine Rangfolge würde vor allem diese Veröffentlichungspraxis abbilden.
- Keine Bewertung des KI-Einsatzes. Erhoben werden Zeitpunkte, Orte und vertretene Positionen. Was daraus folgen sollte, gehört in die fachliche Diskussion, für die diese Grundlage gedacht ist.
- Keine Personen. Beobachtet werden Organisationen und öffentliche Debatten. Auf der Diskursebene gehen Kontenkennungen pseudonymisiert ein, je Konto auf wenige Beiträge begrenzt; über Plattformen hinweg wird nichts zusammengeführt, und Namen werden nicht erhoben.
- Keine Vollständigkeit. Jede Auswertung nennt, wie viele der 422 erfassten Hochschulen auf der jeweiligen Ebene vertreten sind.
Stand
Die Praxisebene steht: Publikationszahlen liegen für den weit überwiegenden Teil der deutschen Hochschulen vor, über mehrere Jahre. Die Kommunikationsebene erfasst, was Hochschulen selbst veröffentlichen, und wächst mit jeder Quelle, die sich maschinell erschließen lässt. Die Lehrebene entsteht in einem eigenen Arbeitsstrang und umfasst derzeit über 60.000 Modulhandbücher. Die Diskursebene ist auf Fortschreibung angelegt; die laufende Auswertung rechnet auf einem festen Stichtag, damit die Zahlen untereinander vergleichbar bleiben. Gearbeitet wird am Inventar der Positionen.
Die vier Ebenen verteilen sich auf die beiden Arbeitsstränge, mit denen das Teilprojekt gefördert wird: Der eine erhebt den KI-Einsatz in der Forschungspraxis, der andere den in Studium und Lehre. Die Diskursebene gehört zum zweiten.
Auf einzelnen Ebenen liegen Auswertungen vor: der Streitkern der öffentlichen Debatte über KI im Studium und der Vergleich dreier Messverfahren an demselben Bestand. Aus der Wissensbasis, die neben der Erhebung steht, kommt ein monatlicher Lagebericht zur Regelungslage.
Die Auswertungen über mehrere Ebenen hinweg stehen aus. Sie setzen voraus, dass alle vier Ebenen auf einem gemeinsamen Stichtag stehen. Wie die Verfahren dorthin entstehen, steht in der Werkstatt.