Die Bereitstellung generativer KI hat für Hochschulen in Nordrhein-Westfalen derzeit eine hohe Priorität. Dies gilt für Studium und Lehre genauso wie für Forschung und Verwaltung. Entsprechender Bedarf wurde u.a. durch die LRKen der Universitäten und der Hochschulen für Angewandte Wissenschaften sowie auf einem Vernetzungstreffen der NRW-Hochschulen zu generativer KI in Bochum geäußert. Als Lösung fördert das Land NRW eine Bereitstellungsstrategie mit zwei parallelen Entwicklungspfaden:

Pfad 1: Zugang zu kommerziellen Diensten: Als erstes Standbein soll kurzfristig ein hochschulübergreifendes Angebot zur Erschließung kommerzieller KI-Dienste wie z.B. ChatGPT aufgebaut werden. Hierfür planen wir sowohl einen datenschutzkonformen landeszentralen Einstiegspunkt (optionales Angebot für alle Hochschulen) als auch die Möglichkeit einer lokalen Installation des zentral programmierten Zugangs.

Pfad 2: Zugang zu Open Source-KI: Zweites Standbein der Bereitstellungsstrategie ist die Sondierung und Erprobung von Open Source-KI-Lösungen. Hierfür planen wir die Pilotierung eines für hohe Anwender:innen-Zahlen skalierten Open Source-Prototypen, der im Rückgriff auf die im Aufbau befindliche High Performance Computing-Infrastruktur des Landes betrieben werden soll. Kommerzielle Dienste und Open Source-Anwendungen sollen perspektivisch über einen gemeinsamen zentralen Zugang genutzt werden können.

Die Strategie eröffnet den Hochschulen kurzfristigen Zugang zu den performantesten Systemen, wahrt aber gleichzeitig die Möglichkeit zur digitalen Souveränität in besonders sensiblen Anwendungsfeldern. Flankiert werden soll die technische Bereitstellung durch intensivierte Maßnahmen zu Schulung, Beratung und rechtlichen Absicherung über das bereits etablierte Projekt KI:edu.nrw.

Ausführliche Darstellung

Seit der Veröffentlichung von ChatGPT im November 2022 ist international intensiv über die Auswirkungen Künstlicher Intelligenz (KI) auf Hochschulen diskutiert worden. Inzwischen kann als Konsens gelten, dass Sprachmodelle und darauf basierende Anwendungen auch in diesen Institutionen dauerhaft zum Einsatz kommen werden.

1. Handlungsbereiche

Bedarfe für den Zugang zu KI-Diensten sind in allen Bereichen der nordrhein-westfälischen Hochschulen identifiziert worden:

• Studium und Lehre, z.B. Zugang zu KI-Diensten, um sie im Rahmen von Lehrveranstaltungen einsetzen zu können
• Forschung, und zwar sowohl als Gegenstand der Forschungstätigkeit als auch zur Unterstützung von Forschungstätigkeiten
• Verwaltung, wo ein steigendes Interesse am Einsatz faktentreuer Chatbots zur Beantwortung von Standardfragen existiert

Wünschenswert erscheint dabei eine Lösung, die sowohl datenschutzkonform als auch für die Einzelanwender:innen kostenlos ist. Hierfür eröffnen sich zwei grundsätzliche Handlungsbereiche:

1. die Nutzung der Dienste kommerzieller Anbieter (z.B. OpenAI/Microsoft, Google),
2. die Nutzung von Open Source-Sprachmodellen (z.B. Mistral, Llama 2, GPTX).

Vorteil der kommerziellen Dienste ist, dass sie derzeit die performantesten Systeme bieten und dass diese kurzfristig verfügbar sind. Vorteil von Open Source-Sprachmodellen ist dagegen, dass Hochschulen hier die Hoheit über die verarbeiteten Daten behalten. Sinnvoll erscheint es, beide Wege für das Land zu nutzen, damit NRW sowohl am Puls der Zeit handlungsfähig ist als auch alle Optionen zur digitalen Souveränität insb. mit Blick auf sensible Anwendungen realisieren kann.

Um die so entstehende Infrastruktur in beiden Bereichen flexibel und interoperabel nutzbar zu machen, werden in NRW für alle bereitgestellten LLMs offene und einheitliche Schnittstellen vorgesehen sowie eine allgemeine Weboberfläche für Nutzende.

Unterstützt werden müssen diese Bereiche durch eine enge Vernetzung und den orchestrierten Austausch zwischen den Hochschulen des Landes. Aus diesen Überlegungen ergibt sich eine Förderstrategie für das Land NRW, die aus drei komplementären Infrastrukturprojekten besteht:

2. KI:connect.nrw – Zugang zu kommerziellen Diensten

Für einen Zugang zu kommerziellen Diensten sieht NRW eine flexible Lösung vor, welche die Anbindung unterschiedlicher Sprachmodelle und Anwendungen ermöglicht. Diese Lösung wir dim Projekt KI:connect.nrw entwickelt und für alle Hochschulen des Landes umgesetzt.

Ausgangspunkt war die Frage, wie der Zugang zu den derzeit performantesten kommerziellen Diensten wie ChatGPT von OpenAI, gelingen kann. Verschiedene kommerzielle KI-Anbieter haben aktuell keine attraktiven institutionellen Lizenzmodelle, die für den Bildungsbereich verfügbar wäre. Die Unternehmen ermöglichen aber den Zugriff auf ihre Sprachmodelle über eine Programmierschnittstelle (API). Diese kann dann wiederum verwendet werden, um zwischen die Nutzer:innen einer Institution und dem Dienst ein individuelles Eingangstor (Web-Interface) zu stellen, das von der Institution aufgebaut werden muss und eine Abstraktion bzw. Filterung der an OpenAI geschickten Daten erlaubt. Die Abrechnung erfolgt in Abhängigkeit vom Nutzungsumfang (Verbrauch sog. Token, d.h. Wortbausteine), Nutzende brauchen keine Einzellizenz.

Für einen landesweiten Zugang zu generativen KI-Diensten sehen wir ein zentrales Web-Interface vor, auf das alle Hochschulen zugreifen können. Dies soll zunächst nicht unmittelbar über einen beliebigen Anbieter realisiert werden, sondern über Microsoft und seinen Clouddienst Azure, der technisch ohnehin bereits heute die vollständige Datenverarbeitung für die Dienste von OpenAI übernimmt. Eine Festlegung auf Serverstandorte in Europa ist notwendig und möglich. Die Lizenzierung im Rahmen der OCRE-Verträge bietet einen unkomplizierten Einstieg. Weitere KI-Anbieter sollen so schnell wie möglich angeschlossen werden.

Vorgesehen ist deshalb, dass Nutzende auf einer Startseite des landeszentralen Dienstes nicht nur ChatGPT ansteuern können, sondern auch andere Sprachmodelle oder Dienste. Diese können ebenfalls in der MS Azure-Cloud, aber auch außerhalb davon gehostet sein. Perspektivisch kann so auch ein landeszentraler Open Source-Dienst angebunden werden.

Insgesamt ergeben sich für die Hochschulen die folgenden konkreten Projektergebnissen:

• Zentraler Zugang: Alle Hochschulen können über einen landeszentralen Einstiegspunkt schon kurzfristig auf ChatGPT (und perspektivisch auch andere Dienste und Modelle) zugreifen.
• Institutionelle Abrechnung: Die erste Abrechungsebene ermöglicht die Kostenzuordnung für die Nutzung der kommerziellen Modelle zu einzelnen angeschlossenen Hochschulen.
• Differenzierte lokale Abrechnung: Die zweite Abrechnungsebene schreibt das einer Institution zugeordnete Nutzungsvolumen den lokalen Finanzstellen zu, die von den nutzenden Institutionen hinterlegt werden können.
• Quotierung des Verbrauchs: Hochschulen können individuell für die Nutzung (Token-Verbrauch) Obergrenzen definieren, um ihre lokalen Kosten in einem definierten Rahmen zu halten.
• Option zur lokalen Umsetzung: Für diejenigen Hochschulen, die eine lokale Umsetzung des API-Zugangs in ihrer eigenen Institution bevorzugen, soll die landeszentrale Lösung als Open Source-Paket zur lokalen Adaption zur Verfügung gestellt werden. Die Verantwortung für die Klärung der kommerziellen Lösungen und für die Bereitstellung des zentralen technischen Zugangs übernimmt die RWTH Aachen. Für die Erarbeitung dieser Lösung muss voraussichtlich ein neues Projekt beantragt werden. Die Möglichkeit der dauerhaften landesweiten Bereitstellung muss im Rahmen der Projektlaufzeit geklärt werden.

3. OpenSource-KI.nrw – Bereitstellung von Open Source KI-Modellen

Bei der Bereitstellung von KI-Modellen aus dem Open Source Bereich im zweiten NRW-weiten Projekt OpenSource-KI.nrw geht es nicht um die grundlegende Neuprogrammierung von Sprachmodellen, sondern um die Nutzung von bereits vortrainierten Open Source-Modellen. Eine Herausforderung ist dabei insbesondere der Zugriff für einen großen Nutzer:innenkreis, da hierfür erhebliche Rechenkapazitäten notwendig sind. Zu erproben ist also, ob Hochschulen in NRW die verfügbaren Open Source KI-Modelle selbst hosten, für konkrete Anwendungsfälle anpassen und für einen großen Nutzer:innenkreis zur Verfügung stellen können.

Das Projekt bearbeitet diese Frage anhand eines spezifischen Anwendungsfalles bearbeiten. Konkret geht es um die Integration eines Open Source-basierten, faktentreuen Chatbots in Kurse des Lern-Management-Systems Moodle. Der Chatbot soll Fragen von Studierenden zu dem Material beantworten, welches von den Lehrenden für einen Kurs bereitgestellt wird (Skripte, weiterführende Texte…). Um das Problem der Rechenkapazität zu lösen, soll der Dienst auf Grundlage der Infrastruktur des Projekt HPC.nrw ausgeführt werden, d.h. unter Rückgriff auf Infrastruktur des nordrhein-westfälischen High Performance Computing-Clusters. Dies ist auch insofern ein Testlauf, als dass die HPC-Infrastruktur bisher nicht für synchrone, interaktive Anwendungen genutzt wurde.

Im Erfolgsfall kann die Open Source KI-Infrastruktur zukünftig auch für andere Anwendungsszenarien eingesetzt werden, insb. in Feldern, die aus Datenschutzperspektive als kritisch gelten müssen.

Insgesamt ergeben sich für die Hochschulen die folgenden konkreten Projektergebnissen:

• Piloterfahrung: Bisher gibt es in Deutschland so gut wie keine Erfahrung für die praktische Umsetzung bzw. den praktischen Betrieb von Open Source KI-Modelle im Hochschulkontext. Das Projekt begibt sich hier auf Neuland und ermöglicht den Aufbau von Erfahrungswissen.
• Skalierbare Open Source-Infrastruktur für KI-Modelle: Sofern die Pilotierung erfolgreich ist, können alle NRW-Hochschulen zukünftig auf eine im Land gehostete Open Source-KI-Infrastruktur zugreifen und eigene Anwendungen darauf aufbauen.
• Kompetenzaufbau: Parallel zur Projektarbeit soll in diesem Projekt ein nordrhein-westfälisches Kompetenznetzwerk zur Nutzung von Open Source-KI aufgebaut werden. Dies kann auch dabei beraten, wie für ein eventuelles Folgevorhaben weiter vorgegangen werden soll.

Die Verantwortung für die Pilotierung einer Open Source-Lösung übernimmt die Ruhr-Universität Bochum zusammen mit der Universität zu Köln im Rahmen des Projekts OpenSource-KI.nrw. Die Möglichkeit der dauerhaften landesweiten Bereitstellung wird im Rahmen der Projektlaufzeit bis Ende 2025 geklärt.

4. KI:edu.nrw – Schulung, Beratung und Vernetzung

Die vorstehenden Ausführungen betreffen ausschließlich die technische Bereitstellung generativer KI. Es sei deswegen darauf hingewiesen, dass das schon seit dem Jahr 2020 laufende Projekt KI:edu.nrw insb. für den Bereich Studium und Lehre umfangreiche flankierende Maßnahmen nachhält. Hierzu zählt insb. die Schulung und Beratung von Lehrenden und Studierenden zum Umgang mit generativer KI, die rechtliche und ethische Bewertung des KI-Einsatzes in Studium und Lehre, die Organisation eines Förderprogramms für die NRW-Hochschulen sowie die Vernetzung von Akteur:innen in unterschiedlichen KI-bezogenen Handlungsfeldern (einschließlich der deutschlandweit renommierten LearningAID-Tagung).

Im Rahmen des eingangs erwähnten Vernetzungstreffens der NRW-Hochschulen zu generativer KI am 27.02.2024 wurden neben dem Bedarf der technischen Bereitstellung von generativen Sprachmodellen weitere Bedarfe formuliert. Dazu gehörten die folgenden Punkte:

• Rechtsinformation: Gewünscht ist eine fortlaufende Information über die aktuelle Rechtslage sowie die Möglichkeit zur Klärung von Rechtsfragen zu KI in Studium und Lehre.
• Dokumentenaustausch: Gewünscht ist der Austausch von Dokumenten, die zur Regelung von KI-Angelegenheiten an anderen Hochschulen schon erstellt wurden (z.B. Rechtsdokumente, Informationsmaterial, Leitfäden).
• Zusätzliche Beratungs- und Schulungsangebote: Gerade aus kleineren Hochschulen wurde Bedarf nach zusätzlichen Schulungsangeboten, Multiplikator:innen-Schulungen, Sprechstunden, der Ausarbeitung von Muster-Dokumenten (z.B. Leitlinien) und der Dokumentation von Best Practices geäußert.

Die neu artikulierten Bedarfe werden im Projekt KI:edu.nrw unter Konsortialführung durch die Ruhr-Universität Bochum gemeinsam mit der RWTH Aachen University und der Heinrich Heine-Universität Düsseldorf bearbeitet.

Autoren

Das Strategiekonzept der Bereitstellung von KI-Diensten und einer tragfähigen technischen, organisationalen und eng vernetzen Infrastruktur entstand infolge des intensiven Austauschs an Hochschulen in Nordrhein-Westfalen. Konkret ergab sich die Einrichtung einer Arbeitsgruppe aus dem Austausch zwischen Ministerium für Kultur und Wissenschaft sowie den Landesrektorenkonferenzen der Universitäten und der Hochschulen für Angewandte Wissenschaften in Nordrhein-Westfalen.

Das Konzept zur Bereitstellung Generativer KI-Dienste in NRW entstand dann in einer Arbeitsgruppe unter Mitarbeit von:

• Prof. Dr. Manfred Bayer (TU Dortmund / DH.nrw)
• Martin Bovermann (Ruhr-Universität Bochum / Moodle.nrw & OpenSource-KI.nrw)
• Prof. Dr. Jörg Frochte (Hochschule Bochum)
• Jonas Leschke (Ruhr-Universität Bochum / KI:edu.nrw)
• Prof. Dr. Martin Mauve (HHU Düsseldorf / KI:edu.nrw)
• PD Dr. Malte Persike (RWTH Aachen / KI:edu.nrw & KI:connect.nrw)
• Dr. Peter Salden (Ruhr-Universität Bochum / KI:edu.nrw)
• Prof. Dr. Marco Winzker (Hochschule Bonn-Rhein-Sieg)

Das zugrunde liegende Dokument kann hier heruntergeladen werden.