Generative KI erobert die Welt gegenwärtig im Sturm. Die Fähigkeit von Deep-Learning-Architekturen, mit Menschen Gespräche zu führen, aus Text realistische und surrealistische Bilder zu erzeugen oder plausible chemische Zusammensetzungen für die Arzneimittelforschung zu generieren, sind nur erste Beispiele einer noch nicht absehbaren entwicklung. Im BFH-Departement Technik und Informatik haben sich die Forschung und Lehre rund um KI und Deep Learning zunächst auf Computer Vision und NLP (Natural Language Processing) zwecks Klassifizierung, Segmentierung, Regression, Vorhersage und Entscheidungsfindung konzentriert. Dieses Projekt erweitert das Portfolio um eine faszinierende und interdisziplinäre Fallstudie zur Inhaltsgenerierung: die Verwendung von generativer KI für die Sound Arts.
Neben der Generierung von Musiktexten durch Transferlernen und LLMs (Large Language Models) sowohl im kooperativen (Mensch/Maschine) als auch im halbunabhängigen Modus (künstliche Texte, die aus einem anfänglichen Seed erstellt werden), untersuchen wir unter anderem die Generierung von MIDI-Musikpartituren für verschiedene Musikgenres sowie von live verwendbaren kontextbezogenen Visualisierungen (Bilder und Videosequenzen) unter Verwendung von Transferlern- und Diffusionsmodellen.

Bild: Möglichkeiten der KI im Bereich von Musik/Sound Arts (Franziska Baumann)