Verarbeitung natürlicher Sprache
Unser Institut befasst sich auch mit der Verarbeitung natürlicher Sprache (Natural Language Processing, NLP). Durch die Kombination von Computerlinguistik (regelbasierte Modellierung menschlicher Sprache), statistischer Modellierung und maschinellem Lernen ermöglicht NLP, Text und Sprache zu erkennen, zu verstehen und zu generieren. Sprachgesteuerte GPS-Systeme, digitale Assistenten oder Spracherkennungssoftware arbeiten mit dieser Technologie.
NLP wird zudem in Unternehmen zur Rationalisierung und Automatisierung bestimmter Aufgaben eingesetzt, z. B. Spam-Erkennung, maschinelle Übersetzung, Chatbots oder Textzusammenfassungen. Durch die Zerlegung von Sprache in Komponenten ermöglicht NLP den maschinellen Lernalgorithmen, komplexe sprachliche Eingaben zu interpretieren und zu bearbeiten. Zahlreiche Aufgaben können so von einem NLP-Algorithmus reproduziert werden:
- Spracherkennung (Speech-to-Text) wandelt Sprachdaten in Textdaten um.
- Grammatisches Tagging bezeichnet einen Prozess, der einen Teil einer Rede oder eines Syntagmas oder ein Wort anhand der Verwendung oder des Kontexts bestimmt.
- Begriffserklärung der Wortbedeutung: Wörter werden semantisch analysiert, um eine genaue Definition in einem bestimmten Kontext zu erhalten.
- Named Entity Recognition (NER) identifiziert Wörter oder Phrasen als spezifische und nützliche Einheiten.
- Koreferenz-Auflösung versucht festzustellen, ob und wann sich zwei Wörter auf dieselbe Einheit beziehen (z. B. ein Pronomen, das sich auf einen Eigennamen bezieht).
- Stimmungsanalyse sucht nach subjektiven Elementen wie Sarkasmus, Ironie, Humor, Emotionen usw. in einem Text.
- Natürliche Sprachgenerierung wandelt Daten und Informationen in natürliche Sprache um.
Unsere Forschenden haben unter anderem einen Algorithmus entwickelt, der mithilfe von maschinellem Lernen und NLP Fake News erkennt. Die entwickelten Werkzeuge ermöglichen Syntaxanalyse, Wortsegmentierung, Stemming und Lemmatisierung (Reduzierung von Wörtern auf ihre Stammform), Segmentierung in Spracheinheiten und die Fähigkeit, aus Textauszügen logische Schlussfolgerungen zu ziehen. Statistische NLP kombiniert Algorithmen, maschinelles Lernen und Deep Learning, um Textdaten automatisch zu extrahieren, zu klassifizieren und zu kennzeichnen.

Die grossen Sprachmodelle
Large Language Models (LLMs) sind Modelle, die mit sehr grossen Datenmengen trainiert werden, um Texte in natürlicher Sprache oder andere Arten von Inhalten (Bilder, Videos) zu verstehen und zu generieren. Diese Modelle haben die generative künstliche Intelligenz der Öffentlichkeit zugänglich gemacht. LLMs können den Kontext einer Anfrage erfassen, kohärente und relevante Antworten generieren, Übersetzungen machen, Texte zusammenfassen, Fragen beantworten oder sogar Inhalte wie Computercode generieren.
Diese Modelle basieren auf riesigen Datenmengen und Deep-Learning-Techniken. Die neuronalen Netzwerkschichten lernen, das nächste Wort in einem Satz anhand des durch die vorhergehenden Wörter gegebenen Kontexts vorherzusagen. Dabei handelt es sich nicht um menschliche Konversationen, sondern um Vorhersagemodelle, die auf mathematischen Wahrscheinlichkeiten basieren. Die LLMs werden auf einem riesigen Textkorpus trainiert, damit sie Grammatik, Semantik und konzeptuelle Zusammenhänge durch Zero-Shot-Learning und selbstüberwachtes Lernen erlernen können.
Unsere Forschenden verfügen unter anderem über Kompetenzen in den Bereichen Prompt Engineering, Feinabstimmung oder Reinforcement Learning from Human Feedback (RLHF). Damit können zum Beispiel Verzerrungen bei Ergebnissen vermieden werden. Auch Unternehmen können von solchen KI-Technologien profitieren, z. B. für die Optimierung von Chatbots oder virtuellen Assistenten, die Erstellung von Inhalten, die Datensynthese, die Extraktion von Informationen aus Datenbanken, die Übersetzung oder das Schreiben von Computercode. LLMs können durch Sprachsynthese und die Erstellung barrierefreier Inhalte auch den Zugang für Menschen mit Behinderungen verbessern.
In KMU oder Industrieunternehmen können sie folgende Aufgaben übernehmen:
- Erstellung kohärenter und relevanter Texte (E-Mail, Blog)
- Synthese langer Texte oder grosser Datenmengen
- Beantwortung von Kundenanfragen über einen virtuellen Assistenten
- Generierung von Code für Entwicklerinnen und Entwickler (Erkennung von Fehlern, Sicherheitsproblemen)
- Analyse von Texten, um die Wahrnehmung durch die Kundschaft zu ermitteln und das Reputationsmanagement zu verbessern
- Fliessende Übersetzung in mehrere Sprachen