Uneinheitliche Analyseprotokolle im Datenlabor

Ausgangslage

Ein öffentlich finanzierter Forschungsverbund betreibt drei Datenlabore mit insgesamt rund 40 Data Scientists und Analysten. Pro Jahr werden etwa 2.600 Analysen durchgeführt, im Schnitt 50 pro Woche. Für jede Analyse ist ein Protokoll mit Datenquellen, Vorverarbeitungsschritten, Modellvarianten und Ergebnissen erforderlich. Die Protokolle werden bisher in unterschiedlichen Vorlagen und Tools erstellt, von Markdown Notebooks bis zu Office Dokumenten. Eine typische Analyse umfasst zwei bis drei Iterationen, jede mit eigenen Notizen und Zwischenständen, die später mühsam zu einem konsistenten Bericht zusammengeführt werden müssen.

Die Herausforderung

Die Leitung des Datenlabors stellte fest, dass trotz hoher fachlicher Qualität die Dokumentation der Analysen stark variiert. Wichtige Kontextinformationen wie verwendete Datenschnitte, Feature Engineering Entscheidungen oder abgebrochene Modellpfade fehlen häufig oder sind nur in persönlichen Notizen dokumentiert. Bei Replikationsanfragen müssen Data Scientists im Schnitt ein bis zwei Stunden pro Fall investieren, um alte Protokolle zu verstehen und Lücken zu schließen. Peer Reviews dauern länger, weil Reviewer sich erst in individuelle Schreibstile und Strukturen einarbeiten müssen. Gleichzeitig wächst der Druck, Ergebnisse zwischen Projekten und Standorten besser vergleichbar zu machen.

Warum das bisher ungelöst blieb

Das Problem war lange bekannt, wurde aber als notwendiger Overhead akzeptiert. Standardisierte Vorlagen wurden zwar eingeführt, jedoch nur teilweise genutzt, weil sie als zu starr empfunden wurden und nicht zu allen Projekten passten. Ein klassisches Berichtstool hätte zusätzliche Pflichtfelder erzwungen, aber den kreativen Analyseprozess behindert. Für ein dediziertes IT Projekt fehlten Kapazitäten, und die Datenlabore wollten keine weitere starre Anwendung pflegen. So blieb es bei Empfehlungen und Schulungen, die im Alltag unter Zeitdruck oft ignoriert wurden.

Gemeinsam mit dem Datenlabor wurde ein Assistenzsystem entwickelt, das aus bestehenden Artefakten wie Notebooks, Pipelines, Tickets und kurzen Freitextnotizen automatisch strukturierte Protokollentwürfe erzeugt. Das System liest Metadaten aus Versionsverwaltung, Experiment Tracking und Datenkatalog, verknüpft sie mit den Kommentaren der Data Scientists und schlägt eine konsistente Struktur vor. Forschende bleiben im gewohnten Workflow, etwa im Notebook oder im Projektmanagement Tool, und erhalten dort Vorschläge für Einleitung, Methodik, Experimente, Ergebnisse und Limitationen. Sie können diese Entwürfe anpassen, ergänzen oder verwerfen, behalten also die Kontrolle über Inhalt und Tonalität.

Wo generative KI arbeitet

Generative KI analysiert Codekommentare, Notebook Zellen, Experiment Logs und kurze Freitexte, fasst sie zu verständlichen Abschnitten zusammen und schlägt passende Überschriften vor. Sie erkennt typische Analysebausteine wie Datenaufbereitung, Modelltraining oder Evaluation und ordnet sie einer einheitlichen Struktur zu, die konsistente Protokolle ermöglicht.

Übertragbarkeit

Das Muster eignet sich für alle Organisationen, in denen analytische oder experimentelle Arbeit in vielen Varianten stattfindet und Dokumentation oft hinterherläuft. Überall dort, wo Notebooks, Skripte oder Laborjournale entstehen, kann ein Assistenzsystem aus bestehenden Artefakten strukturierte Protokollentwürfe erzeugen. Wichtig ist, dass Fachkräfte weiterhin die Hoheit über Inhalte behalten und Entwürfe nur als Startpunkt nutzen, um Qualität und Akzeptanz zu sichern.