Neueste KI zur Videoerzeugung

[oli]

Also jetzt ist der Videobereich auch bald dran

Google und NVIDIA sind schon beeindruckend weit laut diesem Video bzw. den Papern von denen.

 

[ollo]

Ja, immer wieder faszinierend und ungeheuer spannend wie schnell sich das entwickelt. Das wird wieder so viele neue Möglichkeiten bieten, alleine schon, wenn man einfach nur Videos verändern und remixen möchte. Von komplett neu generierten ganz zu schweigen.

 

[tobi77]

Man kann schon schräge Sachen machen.... momentan noch alles eher surreal aber z.B. super für Musikvideo-Content


sieht fast aus wie eine Bioshock-Verfilmung

 

[rauschwerk]

 

[noise_level_11]

Interview mit Alison Goldfrapp, die Videos ihres aktuellen Albums sind durch ein KI bearbeitet:
https://www.depechemode.de/alison-goldfrapp-ich-bin-fasziniert-von-ki-83824/

 

[verstaerker]

 

[Casetti]

finde ich interessanter als alle Marvel-filme.

das kommt der idee eines traumrekorders immer näher.

 

[easyboy]

es gibt jetzt auch dieses hier:

Zeroscope Text-To-Video - a Hugging Face Space by fffiloni

watermark-free Modelscope-based video generation

huggingface.co

 

[verstaerker]

 

[martinjuenke]

Gespenstisch!

 

[easyboy]

Morph AI auf discord only

 

[easyboy]

spielt hier jemand mit AnimateDiff rum?

 

[Soljanka]

 

[oli]

Runway Gen-2 Motion Brush

 

[einseinsnull]

das ist mal eine sinnvolle anwendung.

 

[Soljanka]

 

[oli]

Hier ist wieder was von der düsteren, surrealistischen, traumartigen Seite…

Reddit - Dive into anything

www.reddit.com

 

[oli]

Und noch eins von der düsteren Seite

Reddit - Dive into anything

www.reddit.com

 

[einseinsnull]

das fever ist großartig.

(ich muss das sagen, schon wegen dem namen, der da drübersteht.)

 

[oli]

es gibt jetzt auch dieses hier:

Zeroscope Text-To-Video - a Hugging Face Space by fffiloni

watermark-free Modelscope-based video generation

huggingface.co

Interessant, das ist ja ne Open Source KI, die man auf seinem eigenen Rechner nutzen kann (wenn dieser flott genug ist).
Da der Link nicht mehr funktioniert , hier ein neuer:

Zeroscope ist ein kostenloses Text-zu-Video-Modell das auf aktuellen Grafikkarten läuft

Text-to-Video-Systeme können Worte in bewegte Bilder umwandeln. Zeroscope stellt diese Fähigkeit nun als freie und kostenlose Software zur Verfügung.

the-decoder.de

 

[oli]

Die Fotos im Video hier scheinen auch alle KI generiert zu sein.
Z.B. gut zu erkennen an den wirr angeordneten Reglern und Schaltern auf den Mischpulten.

Plattenbau von UfoHawaii

"PLATTENBAU
Ein Deutsch-Deutsches Krautrock MärchenPremiere am 3.November 2023 auf ufohawaii.bandcamp.com /////
Wir schreiben das Jahr 1975Im Windschatten der X. Weltfestspiele der DDR 1973 in Ostberlin gelang es einer Gruppe von Beat- und Rockenthusiasten, westdeutsche Rockmusiker für ein gemeinsames Musikprojekt in die DDR einzuladen.Unter dem Motto „Ost trifft West - Treffen der Freundschaft / Deutschlandtreffen `75“ entsteht zwischen Rostock und Warnemünde für eine kurze Zeit ein neues musikalisches Zentrum, in dem die Musikanten aus Ost und West einen neuen sozialistisch-psychedelischen Soundtrack für die 70er entwerfen.Doch die Freude ist nur von kurzer Dauer.Hatten die Westdeutschen Musikerkollegen doch nicht nur ihre Instrumente im Gepäck, sondern auch „unsozialistische“ Ideen, eine recht lockere Sichtweise auf Moral und Autorität, so wie eine nicht unerhebliche Menge an suspekten Rauchwaren.Nur wenige Monate später ist der "Spuk“ (Aktuelle Kamera vom 1.5.1974) auch schon wieder beendet, und die Führung der DDR kehrt zu ihren alten Prinzipien zurück.Was blieb also übrig vom kurzen Sommer der krautigen Völkerverständigung?Ein paar verwackelte Schwarzweißfotos, ein paar Zeitungsausschnitte, und ein Tonband mit einem Dutzend Musikstücken - welches alsbald in den Archiven der Staatsicherheit begraben wurde."



Edit: ah, da gibts wohl so ne Art Compilation auf Bandcamp dazu

 

[Casetti]

die kurzfilme aus dem studio [NightmareAI] sind nicht perfekt, aber darum mag ich sie.

"Scenes from the Collapse"

 

[Casetti]

 

[ollo]

Mit AnimateDiff kann man mit den typische Stable Diffusion Models ja jetzt auch Videos machen. Die sind zwar nicht unbedingt konstant vom Inhalt und noch lange nicht so gut wie die Fotos, aber man kann erahnen in welche Richtung das geht. Allerdings brauchen 515x512 Videos dann je nach Länge und Frames pro Sekunde dann auch Minuten anstatt Sekunden zum erstellen

Ein paar Beispiele:

Hat schon was aber ist halt anatomisch grenzwertig



Die Haie sehen schon gruselig aus durch das geglitche





Synthave hat was, weil es sich so morphed



Und Frauen die im Bikini am Strand tanzen scheinen als Vorlage wohl häufig zu sein, das sieht teilweise schon ziemlich gut aus.

 

[oli]

Wow, hast du die Beispiel-Videos/GIFs erzeugt? Das wird wahrscheinlich offline gemacht?

Hab jetzt eben mal auf YouTube zum Thema AnimateDiff geschaut. Fand das hier auch ganz interessant, weil es um die Tänzerin herum einen Look/ eine „Welt“ baut und sie auch darin lookmäßig anpasst.

 

[ollo]

Wow, hast du die Beispiel-Videos/GIFs erzeugt? Das wird wahrscheinlich offline gemacht?

Ja, mit Stable Diffusion in Automatic1111. Ist aber wesentlich zeitintensiver und die Grafikkarte mit 12GB Videospeichter kommt da auch an ihre Grenzen. Bin da aber auch erst am Rumtesten. Man kann auch ein Video als Ausgangsbasis nutzen, an dem sich das generierte Video orientieren soll, das habe ich aber noch nicht ausprobiert.

Hier sollte eigentlich ein Cyborg durch eine Stadt im Cyberpunk-Look laufen, sieht halt eher nach Mensch aus aber das Video insgesamt hat schon was:

 

[ollo]

Sieht ziemlich cool aus

 

[electric guillaume]

Ich weiß nicht ob das genau hier reinpasst aber Googles LUMIERE scheint auch ganz interessant zu sein, auch wenn man scheinbar nichts komplett neues machen kann.

 

[oli]

Musikvideo für J.Mascis von Geddy Ruxpin

Geddy Ruxpin's Stressed Quest

Stressed Quest

stressed.quest

 

[oli]

Sora von OpenAI

Direkte Text zu Video Generierung.
Bis zu 60 Sek. lang können die erzeugten Videos werden.

Ich glaube, das ist das nächste Level von Video-KI.

Sora: Creating video from text

openai.com