Autorin: Emelie Hegewald

Zwischen Menschlichkeit und Künstlichkeit: Arbeitsteilung mit KI
Mit dem Aufkommen von generativer KI wurde schon früh viel Potenzial in dem neuen Tool gesehen. Die Erwartungshaltung war hoch: Fecher et al. (2023, 449) identifizierten knapp ein halbes Jahr nach der Einführung von ChatGPT (OpenAI) bereits etwa doppelt so viele Potenziale in der Nutzung von LLMs im Wissenschaftssystem als Risiken. KI soll besonders bei monotonen oder administrativen Aufgaben unterstützen (wie z. B. Literaturverzeichnis erstellen, Rechtschreibprüfung, Formatierung, Mails schreiben). Watermeyer et al. (2023) sehen in dem Einbezug von genKI Potenziale in der Stützung des (britischen) Wissenschaftssystems: Nachdem die Arbeitsbedingungen sich stets verschlechterten, solle genKI die Effektivität von Wissenschaftlern steigen und ihnen zu mehr Zeit und Freiraum verhelfen. Allerdings scheint KI den problematischen Arbeitsbedingungen nicht entgegenzuwirken, sondern diese perspektivisch zu verstärken. Die Aufgabenteilung mit KI sorge nicht für Entlastung – vielmehr führe sie zu höheren Erwartungen an die Wissenschaftler, die durch die gewonnene Zeit einen nochmals höheren Arbeits-Output erreichen müssten (Watermeyer, 2023, 456).
Anne Krüger und Ingmar Mundt vom Weizenbaum-Institut stellten auf dem DiTraRe-Symposium eine Übersicht der Einsatzbereiche vor, in denen genKI als hilfreiche Unterstützung fungieren könnte. Darunter finden sich insbesondere, wie auch bei Fecher et al. (2023), administrative Aufgaben. Je nach wissenschaftlicher Disziplin ließen sich allerdings Unterschiede feststellen: Während in den Sozial- und Geisteswissenschaften kreative Aufgaben vermehrt relevant erscheinen (darunter z. B. Ideenfindung), ist im MINT-Bereich die Hilfe bei der Texterstellung relevanter. Interessanterweise war die Skepsis bei den Geisteswissenschaftlern zum Zeitpunkt der Erhebung sehr hoch, auch hatten mehr Befragte dieser Disziplin das Gefühl, die KI-Nutzung „verheimlichen” zu müssen. Das erging den MINT-lern anders, möglicherweise aufgrund des höheren Verständnisses über die Funktionsweise von künstlicher Intelligenz.
In der wissenschaftlichen Praxis hat die KI-Nutzung allerdings stets auch Risiken. Watermeyer et al. (2023) zeigten bereits potenzielle Nachteile. Über dem KI-Nutzenden hängt stets das Damoklesschwert aus Halluzinationen, falschen Fakten und fehlender Transparenz. Auch eine allgemeine Neigung zu Biases macht es schwer, der Antwortqualität von KI allzu großes Vertrauen zu schenken.
Letztendlich ist die eigene Einschätzung des Nutzenden immer von größter Bedeutung. Das machten auch die Vortragenden des DiTraRe-Symposiums Markus Braun (Leiter des Bereichs Verlagslösungen bei Springer Nature) und Technikphilosophin Mieke Boon (Professorin an der University of Twente) deutlich: Mit den Catchphrases „human in the loop” beziehungsweise „human in the center” wurde die Rolle der eigenen Verantwortung, Reflexion und auch Kontrollinstanz betont. KI kann zwar eine wertvolle Unterstützung sein, der Mensch trägt aber immer die Verantwortung. Die Eigenverantwortung des Menschen wird ebenfalls in den Richtlinien der Deutschen Forschungsgemeinschaft (DFG) hervorgehoben. Als Grundpfeiler der Arbeitsteilung zwischen Mensch und Maschine ist klar definiert, dass jegliche, mithilfe von KI erstellten Inhalte in der Hauptverantwortung des Nutzenden liegen (2023, 2). Die Richtlinien des KIT ermutigen sogar zur Nutzung (2025, 3).
Des einen Glück ist des anderen Leid: AI Literacy
Jede seriöse wissenschaftliche Quelle sollte sich einig sein, wo bzw. bei wem die Verantwortung liegt, wenn KI zur Arbeitsweise herangezogen wird.
Entscheidend ist daneben, wie der KI gegenübergetreten wird. Während es viele private Angebote zum Erlernen des Umgangs mit KI gibt, gibt es auch Institutionen, die ihren Mitarbeitenden gezielt beibringen, richtig zu prompten, Antworten zu überprüfen oder Biases zu erkennen. So das Beispiel des KIT: Regelmäßige Schulungen sollen den Mitarbeitenden verantwortungsvolle Handlungskompetenz näherbringen (2025, 3). Allerdings ist dies keine Selbstverständlichkeit. Es bedarf der Eigeninitiative eines jeden Nutzenden, sich der Risiken und der Potenziale von KI vertraut zu machen.
In einem Seminarvortrag von ITAS-Mitarbeiterin Jutta Jahnel wurde darauf hingewiesen, dass es bei der wissenschaftlichen Recherche auf das genutzte KI-Tool und den Prompt ankommt. So können bspw. bestimmte Quellentypen (wie graue Literatur) nicht durch die Anwendung Elicit erfasst werden. Das müssen Nutzende wissen, um eigenständig die Vollständigkeit ihrer (KI-gestützten) Recherchen zu prüfen. Messeri und Crockett (2025) stellen fest, wie menschliche Naivität dazu neigt, in die Illusion eines umfangreichen Verstehens geraten (vgl. Dunning-Kruger-Effekt). Der Erkenntnishorizont ist (für gewöhnlich) sehr viel größer als das bisher Verstandene, dennoch bildet man sich ein, man wisse nun alles Wissenswerte. Der Einsatz von KI verstärke diesen Effekt, so die Autorinnen (2025, 52).
Menschliche Intelligenz und (fachspezifisches) wissenschaftliches Fachwissen sind entscheidende Faktoren, um den Output einer KI angemessen einzuordnen und bewerten zu können. Vorwissen in jeweiligen Themenbereichen ist notwendig, um eine fundierte Bewertung überhaupt zu ermöglichen. Eine kritische Reflexion der Ergebnisse ist dabei unabdingbar. Gerade (und idealerweise aber nicht nur) im Wissenschaftssystem braucht es gute Expertise, bspw. im Prompting, um KI verantwortungsbewusst einsetzen zu können.
Kritische Einordnung
Es gibt Aufgabenbereiche, in denen generative KI keine gute Unterstützung bietet. Ein paar wurden bereits genannt. Auch der Mangel an inhärenter Logik, eine Tendenz zu monotonem Sprachgebrauch sowie die Abhängigkeit von Datenqualität vermindern die Lorbeeren für KI. Für die Wissenschaftskommunikation ist eines der größten Probleme die Fülle an Falschinformationen, die insbesondere KI-gestützte Chatmodelle an die Öffentlichkeit tragen.
Die Vertrauenswürdigkeit generativer KI wird zudem, Judith Simon zufolge (2025), durch mehrfache Täuschung gemindert. Vermenschlichung und Schwierigkeiten, genKI-Content zu erkennen, Falschinformationen sowie Unwissenheit der Funktionsweise von genKI regen dazu an, den KI-Hype kritisch zu hinterfragen (3-4). Simon selbst appelliert an einen nuancierten, verantwortungsvollen Umgang mit KI, bei dem regelmäßig hinterfragt werden soll, wem oder was wir Vertrauen schenken, und was die Folgen davon sein könnten (2025, 10-11).
Nicht nur inhaltliche Aspekte bieten Grund zum Zweifel. Die Integration vieler verschiedener Perspektiven, bspw. bei Feedback durch die KI, kann positive Auswirkungen auf die Bewertung eigener Ideen mit sich bringen. Wäre da nicht ein gewisser Bias, der die KI von zu strenger Bewertung abzuhalten scheint. Aus Sicht vieler Studierenden ist der „überfreundliche” Tonfall von Modellen wie ChatGPT problematisch. Die dauerhafte Zustimmung (und Verleumdung von Fehlern) behindern die Vertrauenswürdigkeit der ausgegebenen Antworten. GenKI hat zwar zum Ziel, sich möglichst menschennah zu verhalten (Simon, 2025, 6), sie bleibt aber trotzdem eine Maschine. Als solche sollte sie – insbesondere für die Unterstützung wissenschaftlicher Arbeiten – neutral und fachlich sein, um vertrauenswürdig zu erscheinen.
Zu guter Letzt noch ein abschließender Punkt, der kritische Betrachtung verlangt und in der breiten Öffentlichkeit gerne übersehen wird: Den immensen Ressourcenverbrauch durch Unmengen an Wasser und Energie. Von den bisher genannten Richtlinien hat keine die Folgen für das Klima aufgegriffen. Einzig die Richtlinien des Büros für Technikfolgen-Abschätzung beim Deutschen Bundestag (TAB), die im Seminar aufgegriffen wurden, beinhalten ein Unterkapitel zur Nachhaltigkeit. Dabei wird unter anderem beleuchtet, dass es in der Verantwortung des Nutzenden liegt, vor dem Einsatz generativer KI sorgfältig abzuwägen, „inwiefern der Einsatz generativer KI für die Aufgabe einen eindeutigen Mehrwert mitbringt und welches Tool sich zur Durchführung der Aufgabe am besten eignet.” Dazu sollen „Informationen zu ökologischen und sozialen Auswirkungen geprüft [...] und Tools mit möglichst geringen Auswirkungen bevorzugt werden” (TAB 2025, 5).
Auch wenn dieser Artikel nur ausgewählte Punkte aufgreifen konnte, ist allen Mitarbeitenden bewusst, wie viel mehr es dieser Debatte beizutragen gäbe. Die Auswahl der Quellen beruht hauptsächlich auf der im Seminar besprochenen Literatur und Vorträgen des DiTraRe-Symposiums. Ergänzend wurden eigene Argumentationsansätze aufgegriffen, die zu Teilen in Diskussionsrunden entstanden.
Ein einschlägiges Fazit zu ziehen ist schwierig. Es steht und fällt allerdings alles mit der Prämisse, dass genKI eine Unterstützung sein kann, letztendlich aber immer der Mensch der Hauptverantwortliche ist.
Autorin: Emelie Hegewald
Unterstützung in Recherche und Editing: Louisa Roller, Angelina Marinelli, Laura Feustel
Literatur
- Büro für Technikfolgen-Abschätzung beim Deutschen Bundestag (TAB). (2025). Leitlinien für den Einsatz generativer KI im TAB. https://doi.org/10.5445/IR/1000188419
- Deutsche Forschungsgemeinschaft (2023) Stellungnahme des Präsidiums der Deutschen Forschungsgemeinschaft (DFG) zum Einfluss generativer Modelle für die Text- und Bilderstellung auf die Wissenschaften und das Förderhandeln der DFG. https://www.dfg.de/resource/blob/289674/ff57cf46c5ca109cb18533b21fba49bd/230921-stellungnahme-praesidium-ki-ai-data.pdf
- DiTraRe-Symposium zur Digitalisierung der Forschung 2025. (2025) https://www.ditrare.de/de/symposium-2025
- Fecher, B., Hebing, M., Laufer, M., Pohle, J., & Sofsky, F. (2025). Friend or foe? Exploring the implications of large language models on the science system. AI & SOCIETY, 40(2), 447–459. https://doi.org/10.1007/s00146-023-01791-1
- KIT (2025) Leitlinien zum Einsatz generativer KI am KIT. https://www.kit.edu/downloads/KI-Leitlinien-de.pdf
- lookKIT. Das Magazin für Forschung, Lehre, Innovation (2025). Künstliche Intelligenz. KIT
- Messeri, L., & Crockett, M. J. (2024). Artificial intelligence and illusions of understanding in scientific research. Nature, 627, 49–58. https://doi.org/10.1038/s41586-024-07146-0
- Simon, J. (2025): Generative AI, Quadruple Deception & Trust. Social Epistemology. https://doi.org/10.1080/02691728.2025.2491087
- Watermeyer, R., Phipps, L., Lanclos, D., & Knight, C. (2024). Generative AI and the Automating of Academia. Postdigital Science and Education, 6(2), 446–466. https://doi.org/10.1007/s42438-023-00440-6
[1] So beispielsweise der Getränke-Großkonzern Coca-Cola: Coca-Cola - Holidays Are Coming (AI-Generated 2025 Christmas Ad)
[2] In nur sieben von 18 Artikeln war KI nicht der Hauptaspekt des Beitrags. Quelle: lookKIT. Das Magazin für Forschung, Lehre, Innovation (2025). Künstliche Intelligenz. KIT
[3] Wissenswoche Mensch x KI - TRIANGEL Transfer | Kultur | Raum
[4] Linda Nierling ist Leiterin der Forschungsgruppe „Digitale Technologien und gesellschaftlicher Wandel“ am Institut für Technikfolgenabschätzung und Systemanalyse (ITAS).
[5] DiTraRe-Symposium zur Digitalisierung der Forschung 2025. DiTraRe Symposium 2025