 |
| Tidal Interferences by Anja Kreysing 3 min., 2025 Soundtrack also by Anja Kreysing |
I worked on an experimental video with an own specific soundtrack composition. The video was intended to contend abstract and non-objective images, what was for the actual AI-applications (in March / April / Mai 2025) still a problem.
Based on my own prompts, I used the resulting video clips generated by the Sora AI and developed them further through targeted variations. In each prompt, I emphasized what visual elements I wanted to keep and what should not appear again. I repeated this process multiple times until I had gathered enough usable clips – including a kind of open-ended closure for the planned non-linear narrative of the experimental video.
The process of working with the AI was slow, awkward, and at times bizarre. The video AI still feels quite stereotypical and limited in understanding – many generated clips were simply unusable, while others worked only when tightly cropped. I often had to intervene manually: adjusting speed, color palettes, or reversing movements to make the material usable.
The soundtrack was entirely performed by me. However, for two widely used synthesizers, I asked ChatGPT to generate or design custom sound patches. Again, while the AI results weren’t simplistic, they were often too predictable or technically unrealistic. In some cases, the suggested settings simply don’t exist on the hardware. So, although the AI may have access to manuals or technical data, it still can’t act precisely or autonomously. That said, the general sonic direction it offers can be quite useful – from there, I take over and personalize the patches manually.
For me, this process of taking, adapting, and personalizing both image and sound material is deeply engaging. It also serves as a research foundation for our ElektroFlux “Kunstkopf” Pavilion / Embassy, which explores AI and experimental electronic music.
In German
Beschreibung meiner kollaborativen Arbeit mit KI für „Video Edition ArtIn - The Wrong Biennale“:
Ich habe nach meinen eigenen Prompts die jeweiligen Video-Clip-Ergebnisse der KI Sora aufgegriffen und durch gezielte Variationen weiterentwickeln lassen. Dabei habe ich in den Prompts immer deutlich gemacht, welche Bildelemente ich übernehmen wollte und welche nicht erneut auftauchen sollten. Diesen Prozess habe ich mehrfach wiederholt, bis ich eine ausreichende Anzahl an Clips beisammen hatte – inklusive einer Art offenem Ende für den geplanten non-linearen Erzählfluss meines Experimentalvideos.
Der Arbeitsprozess mit der KI war dabei wirklich langwierig, sperrig und stellenweise bizarr. Die Video-KI wirkt in vielen Fällen noch recht stereotyp und begriffsstutzig – viele der generierten Clips waren schlichtweg unbrauchbar, bei anderen funktionierte nur ein bestimmter Bildausschnitt. Um sie nutzen zu können, waren zusätzliche Eingriffe nötig: etwa Tempoveränderungen, Farbanpassungen oder Umkehrungen der Bewegung.
Der Sound hingegen stammt komplett von mir. Für zwei relativ verbreitete Synthesizer habe ich mir jedoch von ChatGPT spezifische Sound-Patches schreiben bzw. konzipieren lassen. Auch hier gilt: Die Ergebnisse der KI sind nicht unterkomplex – aber oft zu vorhersehbar oder technisch unrealistisch. Manche der empfohlenen Einstellungen existieren so gar nicht an den Geräten. Das zeigt: Auch wenn die KI theoretisch Zugriff auf Manuals oder Gerätewissen hat, kann sie nicht präzise autonom handeln. Die generelle klangliche Richtung jedoch ist meist brauchbar – von dort aus entwickle ich die Sounds weiter und personalisiere sie durch händisches Eingreifen.
Gerade dieser Prozess des wiederholten Übernehmens, Anpassens und Personalisierens – sowohl von Bild- als auch Tonmaterial – ist für mich spannend. Er bildet auch eine Forschungsgrundlage für unseren ElektroFlux „Kunstkopf“-Pavillon / Embassy, der sich mit KI und experimenteller elektronischer Musik beschäftigt.
Anja Kreysing
Münster, Germany