Das Bedürfnis, visuelle Parameter einer musikalischen Aufführung exakt und in standardisierter Form notieren zu können, stammt aus der Praxis des zeitgenössischen Musik- und Tanztheaters. Im musikalischen Theater (Théâtre musical) gehören inszenierte Bewegungsabläufe integral zum Werk, werden aber bislang meist nur stichwortartig in der Partitur notiert. Den Interpretierenden fehlt somit bei einer Wiederaufführung ein entscheidendes Element. Zudem treten vielfach Gesten auf, die entsemantisiert sind und somit einer genuin visuellen Darstellung bedürfen, da eine blosse Aufzeichnung ihrer Bedeutung ihnen nicht gerecht wird.
Als Einstieg in die Thematik bietet sich eine Beschränkung auf Handgesten an, die in Aufführungen einen zentralen expressiven Stellenwert haben. Die disziplinären Forschungen zur Geste werden untereinander konfrontiert und die Ergebnisse in gemeinsamen Retraiten getestet. So wird eine Schnittstelle zwischen technischer Umsetzung und transformierenden künstlerischen Ansätzen geschaffen. Es ergeben sich Wechselwirkungen von Gesture Recognition mit der Biometrieforschung und Verknüpfungen von Knowledge Visualization und Neurolinguistik. Softwarelösungen und künstlerisch-grafische Vorschläge beeinflussen einander.
Die Gebärdensprachengrafik und die künstlerische Performance führen zu Ergebnissen, die zur musikalischen Komposition wieder eingesetzt werden können. In dieser Weise wird ein Prototyp einer visuellen Notation von Handgesten entwickelt, der existierende Notationen vertieft und erweitert, sowie selbst künstlerische Prozesse in Gang setzt. Das Projekt «Tsanfleuron» von Franziska Baumann, Claudia Brieske und Angela Bürger (UA Dampfzentrale Bern 18.2.2010) verarbeitet dieses Verfahren im künstlerischen Prozess.