Projekt Ethel: Custom Bots an der ETH Zürich in der Lehre im Einsatz

Veröffentlicht am 10. Mai 202410. Mai 2024 von Matthias Kindt

Die ETH Zürich bietet nun Lehrenden und Studierende Custom Bots an, die auf dem US-Sprachmodell GPT-4 von OpenAI basieren und über die Umgebung von Microsoft Azure mit Standort Schweiz laufen. Die erhobenenen Daten sollen in der Schweiz bleiben und dauerhaft auf den lokalen Servern unter Kontrolle der ETH Zürich sein, wodurch der Datenschutz im Umgang mit Lernmaterialien nachhaltig gewährleistet werden kann. Hier ist wohl auch Vertrauen gefragt! Das Projekt wird als Ethel bezeichnet und noch als Experiment angesehen, da es sich aktuell im Aufbau befindet. Der Ansprechpartner hierfür ist der “Chef-Designer” Gerd Kortemeyer vom ETH AI Center, wo die Bots entwickelt werden.

server schweiz — Kursmaterialien werden lokal auf den Servern der ETH Zürich gehostet

Custom Bots für Hochschulkurse: Feedback, Korrektur und Erklärungen

Zentraler Bestandteil der individuell konfigurierbaren Bots auf der Grundlage von GPT-4 ist die Verwendung seitens der Lehrenden im Rahmen ihrer Hochschulkurse. Die “Studdybuddys” sollen mit Lernmaterialien wie Vorlesungsskripten, Folien, Übungen und auch multimedialen Inhalten per Upload-Funktion “gefüttert” werden. Auf dieser Basis geben die Bots dann geeignete Antworten etwa an Studierende aus und verweisen zum Beispiel auf ein passendes Kapitel innerhalb eines Skriptes oder geben direkt Outputs zu thematisch relevanten Fragestellungen aus. Auch der virtuelle Avatar mit Anschluss an GPT-4 Syntea von der IU Hochschule arbeitet auf eine ähnliche Weise, um den Studierenden 27/7-Support zu gewährleisten. Hierbei ist zu erwähnen, dass jede Anfrage über eine API Kosten verursacht, abhängig von den Prompt/Output-Tokens.

Was benötigen wir? Jegliches Material, das Sie uns geben können, und Ihre Geduld. Wir haben nicht die Ressourcen, Materialien rein aus Neugier zu verarbeiten, würden aber diese Gelegenheit auf Kurse beschränken, die den Bot in einem gegebenen Semester aktiv nutzen würden. Wir wären auch dankbar, wenn Sie Ihre Studierenden bitten könnten, den Bot zu verwenden und uns ihr Feedback zu geben. Quelle: ETH Zürich

Die ETH Zürich nutzt Embeddings und RAG über die Microsoft Azure API, um das Sprachmodell GPT-4, gezielt um die Inhalte der eigenen Ressourcen zu ergänzen/erweitern, damit die Bots nur themenspezifische Outputs geben und nicht allgemein im riesigen Datensatz des Large Language Models kommunizieren. Die “KI-Helferlein” werden so spezialisiert bzw. trainiert. Aktuell sind sie bei sechs Hochschulkursen im Einsatz.

In einer Pilot-Studie konnten Studierende des Fachbereichs Physik handschriftlich geschriebene Übungen hochladen und diese über GPT-4 korrigieren lassen. Als Grundlage dienten dabei Musterlösungen, die im Vorfeld hochgeladen und dem “Physik-Bot” zugeordnet wurden. Natürlich waren nicht alle Antworten des Chatbots korrekt, aber trotzdem eine große Hilfe für die Lernenden. Auch bei handschriftlichen Klausuren wäre ein Einsatz der KI denkbar, um etwa Prüfer zu entlasten.

screen eth — „Screenshot: Chat mit Ausschnitt des Vorlesungsskripts. Der Bot ordnet das erwähnte Beispiel den Kursmaterialien richtig zu und kann auch mit der falschen Benennung des griechischen Buchstabens xi umgehen.” **Quelle**: ETH Zürich

Im oberen Screenshot der ETH Zürich wird die Kommunikation des Custom Bots mit einem hochgeladenen Vorlesungsskript demonstriert. Hat der Dateien-Upload geklappt, kann fortan mit den Unterlagen gechattet werden, etwa um sich bestimmte Zusammenhänge von der KI erklären zu lassen. In diesem Fall hat die korrekte Zuordnung, also das Aufrufen des gewünschten Inhaltes, nach dem Prompt (Input) optimal funktioniert. Die Uploads, also Kursunterlagen, bleiben langfristig auf den lokalen Servern der Hochschule und sie werden laut einer vertraglichen Zusicherung auch nicht für die Trainingszwecke des LLMs verwendet. Hierauf muss man natürlich vertrauen können, dass die Absprachen langfristig eingehalten werden!

Aber auch auf der Basis von Open-Source-Modellen wie Llama von Meta und Mistral aus Frankreich wäre der Betrieb solcher Bots möglich, jedoch ist aktuell GPT-4 qualitativ seitens der Outputs am hochwertigsten und wird daher (noch) bevorzugt eingesetzt. Zudem plant die Schweiz im Rahmen der Swiss AI Initiative ein ganz eigens Open-Source-LLM zu entwickeln, das innerhalb des Supercomputing Centers (CSCS) trainiert werden soll. Diese “Schweizer Lösung” wäre dann wohl zu 100 % datenschutzrechtlich “safe”.

Umfrage unter 4800 Studierenden der ETH Zürich

Im September 2023 hat die ETH Zürich 4800 Studierende rund um den Einsatz von Künstlicher Intelligenz im Rahmen der Lehre befragt und eine breite Mehrheit hat den Wunsch geäußert, vermehrt KI-Anwendungen innerhalb ihres Studiums nutzen zu wollen. Dieser Wunsch wird nun von der Hochschule umgesetzt. Neben Chatbots sind noch viele weitere innovative Tools im Einsatz, die ganz offiziell in verschiedenen Fachbereichen verwendet werden dürfen.

Die Mehrheit der Studierenden wünscht sich, dass KI in ihr Studium integriert wird, und einige wünschen sich, dass die Universität Werkzeuge bereitstellt, die auf zuverlässigen Materialien auf universitärem Niveau basieren. Quelle: ETH Zürich

Custom Bot mit Problemen bei Mathematik

Da Sprachmodelle wie auch GPT-4 Probleme haben, fehlerfrei mathematische Aufgaben zu lösen, gilt dies natürlich auch für die Custom Bots, die ja auf dem Sprachmodell GPT-4 basieren. Wir kennen diese Problematik auch schon in Kombination mit den damaligen ChatGPT Plugins und ganz konkret am Beispiel Wolfram Alpha, das auf naturwissenschaftliche Berechnungen spezialisiert ist und trotzdem kam es regelmäßig zu falschen “Lösungen”.

Was sind die Risiken? Die zugrundeliegende Strategie der Retrieval Augmented Generation ist recht gut etabliert, aber wir haben festgestellt, dass sie auch ziemlich schnell an ihre Grenzen stoßen kann, zum Beispiel bei stark mathematischem Inhalt. Wir probieren verschiedene Methoden aus, um diese Herausforderungen zu überwinden, können aber keine herausragenden Ergebnisse garantieren. Quelle: ETH Zürich

Die Plugins gibt es in der ChatGPT-Welt nicht mehr und stattdessen sind nun die GPTs am Start. Diese Bezeichnung tragen die Custom Bots von OpenAI und auch hier gibt es über den direkten Zugang via https://chatgpt.com sowie auch innerhalb der Microsoft Azure Umgebung Probleme, wobei die Bots via Azure selbstverständlich ebenfalls dieses Sprachmodell nutzen, dass Microsoft im Rahmen einer sehr engen Kooperation mit dem Betreiber OpenAI exklusiv über Azure in Europa anbieten darf. Jedoch sind stetige Verbesserungen der LLMs im Umgang mit naturwissenschaftlichen und speziell mathematischen Aufgaben und zuverlässigen “Lösungs-Outputs” erkennbar. Ganz generell sollten immer alle Outputs seitens KI-Anwendungen wie Chatbots auf die Richtigkeit kontrolliert werden und nicht simpel per “Copy & Paste” übernommen werden. Dies wäre fahrlässig!

Kurz zusammengefasst

1) Grundlage der Bots bildet aktuell das leistungsstarke Sprachmodell GPT-4 von OpenAI
2) GPT-4 und die Bots werden in der Umgebung von Microsoft Azure mit Standort in der Schweiz verwendet
3) Uploads wie Lernmaterialien aus Vorlesungsskripten, Übungen oder auch multimedialen Inhalten bleiben nach vertraglicher Zusicherung auf den Servern der ETH Zürich. Auch handschriftlicher Upload und anschließende GPT-Korrektur sind möglich.
4) Aktuell werden die Bots in 6 Hochschulkursen eingesetzt.