Neueste KI zur Videoerzeugung

[oli]

Hier hat sich einer die Mühe gemacht, die verlinkten Videos von ihrer Webseite mit den Prompts in einem YT-Video zusammen zu fassen:

 

[oli]

Noch weitere Beispiele von Sora

 

[Martin Kraken]

Wann kommt das raus?

 

[Raumwelle]

Sora von OpenAI

Direkte Text zu Video Generierung.
Bis zu 60 Sek. lang können die erzeugten Videos werden.

Ich glaube, das ist das nächste Level von Video-KI.

Sora: Creating video from text

openai.com

ich bin davon nur beeindruckt wie gut das alles ist

 

[ollo]

Sieht schon echt krass aus. Wenn das irgendwann mal so lokal auf dem eigenen Rechner möglich sein sollte und das nur ein paar Minuten Rechenzeit bräuchte, kann man sich echt seine eigenen Kinofilme basteln. Fehlt nur noch die KI, die den passenden Sound dazu ausspuckt.

Ob das irgendwann in Echzeit geht? Dann würden Computerspiele vielleicht auch ganz anders sein.

 

[goorooj]

Ich habe gerade Teile eines alten Schwarzweiss Horrorfilms ( der schon in der public domain ist ) auf songlänge zusammengeschnitten, jetzt habe ich eine AI (EBSynth ) die in der Lage ist das mit darüber Gezeichneten Bildern zu "verschmelzen".... probiere ich jetzt aus am Wochenende. Will das so in Sin City Ästhetik haben....

 

[kybernaut_01]

Noch ein Blick auf / Analyse zu Sora…
Die Bilder selbst waren allerdings bereits ein paar Posts weiter oben

 

[ollo]

Ich habe gerade Teile eines alten Schwarzweiss Horrorfilms ( der schon in der public domain ist ) auf songlänge zusammengeschnitten, jetzt habe ich eine AI (EBSynth ) die in der Lage ist das mit darüber Gezeichneten Bildern zu "verschmelzen".... probiere ich jetzt aus am Wochenende. Will das so in Sin City Ästhetik haben....

Damit habe ich mal einigen Jahre rumexperimentiert. Das Aufwendige war, dass das nicht mit Videos ging sondern man die erst in Einzelbilder aufspalten musste, um die Ergebnisse dann später wieder zu einem Video zusammenzufügen. Das war schon ziemlich umständlich und das Ergebniss nur so okay.

 

[phunk80]

Mit Sora ist wirklich die Stufe erreicht, bei der sich die prof. Videofilmer anfangen müssten in den nächsten Jahren ernsthaft um ihren Job zu sorgen. Was mit den Textern losging, die Grafiker schon erfasst hat und nun ins Bewegtbild vorrrückt ist schon irre. Mit dem Sound und der Musik kann das eigentlich auch nicht mehr lange dauern.

 

[goorooj]

Warum sora existent aber noch nicht verfügbar ist, ist ja laut den Entwicklern weil sie noch nicht wissen wie man verhindern kann dass so hergestellte Videos für finstere Zwecke verwendet werden können. Da zerbrechen die sich noch die Köpfe. Die Technik ist schon gut genug dafür. Den Deckel da draufzuhalten wird auf Dauer aber eh unmöglich, man muss sich Gedanken über die Folgen machen.

 

[verstaerker]

Mit Sora ist wirklich die Stufe erreicht, bei der sich die prof. Videofilmer anfangen müssten in den nächsten Jahren ernsthaft um ihren Job zu sorgen. Was mit den Textern losging, die Grafiker schon erfasst hat und nun ins Bewegtbild vorrrückt ist schon irre. Mit dem Sound und der Musik kann das eigentlich auch nicht mehr lange dauern.

ja .. das es so schnell so gut wird überrascht mich .. ich schätze in 2-3 Jahren bin ich dann arbeitslos in dem Bereich. Aber mal sehen was sich auftut. Wir haben ja Fachkräftemangel.

 

[goorooj]

ja .. das es so schnell so gut wird überrascht mich .. ich schätze in 2-3 Jahren bin ich dann arbeitslos in dem Bereich. Aber mal sehen was sich auftut. Wir haben ja Fachkräftemangel.

Ich habe tatsächlich einen guten Freund der auf Tierdokumentationen in Filmen und Büchern spezialisiert ist, der meint ihn selbst wird das jetzt nicht so betreffen. Der robbt auch öfter mal tagelang durchs Gebüsch und hat viele Aufträge vom lokalen dritten Programm. Der meint es wird eher besser was postproduktion etc. angeht, das macht er ja alles selbst. Wen es erwischen wird, das sind erstmal eher die "Kurzfilm"produzenten ( keine Band gibt noch gern Geld aus, weder für Studio noch für Videos... auch die etablierteren haben ja nicht mehr so viel flüssig wie früher ), alles was Animation angeht und was dann Schnitt, Postproduktion etc.
Die wirds genauso erwischen wie jetzt die kleinen Grafiker, Texter.

Aus meiner Erfahrung sind jedesmal, wenn ein grosser Umbruch kommt, erstmal die kleinen und mittleren betroffen und es bleiben ein paar grosse übrig die dann das ganze überleben und sich neu einrichten.
In der Kreativbranche ist das ja jetzt nix neues. Aber da entsteht auch neues was genutzt werden kann.

Mich hat sowas auch schon erwischt damals in den 90ern. Ich hatte mit meiner eigenen Booking Agentur eigentlich fast nur Amis und Briten unterwegs ( Robin S., Ultrasonic, Daryl Pandy, Twenty Fingers, Guru Josh etc. ), weil ich einfach da durch meinen alten Boss gut vernetzt war und die Kontakte zu den Managements dort hatte. Dann kam die "Ausländersteuer", statt Flüge. Hotels etc. für meine ausländischen Acts abzusetzen kam auf einmal noch kräftig was obendrauf und die lokalen Veranstalter fanden dann auf einmal die deutschen Acts viel nicer, weil die dann im Vergleich zu meinen nur die Hälfte kosteten.
Im deutschen Markt wurde es dann eng... die ganzen Agenturen mit deutschen Bands ( die vorher eionfach nicht die kontakte ins ausland hatten ) waren da schon zu sehr vernetzt, und DJs haben mich auch nie interessiert, das war deutlich unter meinem Niveau und man hat ja einen Ruf...
Da habe ich mir dann, nachdem ich noch 4 Jahre so vor mich hin gewurstelt habe, auch was anderes gesucht. Weil: Fachkräftemangel, auch damals schon.

Aber etwas gutes kam dabei ja auch raus: die deutschen Bands hatten quasi von heute auf Morgen rege Nachfrage was Live Gigs angeht und einen riesengrossen Vorteil gegenüber ausländischen Acts. Deshalb ist die deutsche Musikszene mitte der 90er regelrecht explodiert, auch wenn die nicht wirklich besser oder innovativer als die Briten/Amis waren. Aber die haben halt Live gespielt bis zum abwinken und das Vakuum gefüllt....

Und auch wenn ich damals einen Durchhänger hatte, heute gehts mir besser als jemals zuvor, wenn auch nicht mehr in der Musikbranche.

Ich sehe KI auch durchaus als Chance, eine Menge kreative Köpfe freizusetzen die dann an anderer Stelle einen Mehrwert bringen.

 

[verstaerker]

Ich sehe KI auch durchaus als Chance, eine Menge kreative Köpfe freizusetzen die dann an anderer Stelle einen Mehrwert bringen.

ich sehe das auch als Chance .. so isses ja nicht. Es gibt im VFX Bereich tausende jobs die öde Aufgaben sind.. maskieren , tracking etc . Da kann man jetzt schon mit KI viel effizienter zu guten Ergebnissen kommen. Fragt sich was auch den tausenden Arbeitern in Niedriglohnländern wird/wurde.

Also letztendlich wird das kreative und technisch versierte Menschen nicht ersetzen , nur die Anzahl derer die gebraucht werden wird halt 1/10 sein. Filme können billiger produziert werden oder besser. Ich tippe das 90% einfach billigere Filme produzieren werden, ein paar werden es nutzen bessere Filme zu machen.

 

[oli]

Was ich echt beeindruckend finde, ist, dass Sora es irgendwie schaftt den Raum quasi zu verstehen sowie die Bewegungen von Personen / Gegenständen im Raum.
60 Sek. am Stück und die Auflösung von Full HD ist auch krass.
Fotorealismus ebenso (wenn man das anstrebt als Look).
Ich komme gar nicht mehr ausm Schwärmen...
Die Idee/Phantasie des Filmerstellenden wird wohl letztlich immer wichtiger werden in Zukunft.

 

[ollo]

Ich habe tatsächlich einen guten Freund der auf Tierdokumentationen in Filmen und Büchern spezialisiert ist, der meint ihn selbst wird das jetzt nicht so betreffen. Der robbt auch öfter mal tagelang durchs Gebüsch und hat viele Aufträge vom lokalen dritten Programm. Der meint es wird eher besser was postproduktion etc. angeht, das macht er ja alles selbst. Wen es erwischen wird, das sind erstmal eher die "Kurzfilm"produzenten ( keine Band gibt noch gern Geld aus, weder für Studio noch für Videos... auch die etablierteren haben ja nicht mehr so viel flüssig wie früher ), alles was Animation angeht und was dann Schnitt, Postproduktion etc.
Die wirds genauso erwischen wie jetzt die kleinen Grafiker, Texter.

Als erstes erwischt es Stockvideos, genauso wie es grade Stockfotos erwischt. Wer sucht denn noch in einer Sammlung nach Standard-Videos, die im Zweifelsfalle auch noch jemand anderes benutzt, wenn man mit wenigen Klicks und Texteingaben das passende Video generiert bekommt.

Bands geben vielleicht noch Geld für Greenscreens und Videocameras, Techniker usw aus, damit sie selber noch im Video zu sehen sind, wenn sie das wollen.

Der komplette Erotiksektor dürfte auch verschwinden. Wer sucht denn noch nach Videos für die eigenen Vorlieben oder gibt Anweisungen an Personen, die irgendetwas machen sollen, wenn die KI genau den Wunschfilm ausspuckt? Nur der direkte menschliche Kontakt dürfte das überstehen, bis auch das irgendwann mit entsprechenden Sensoren usw simuliert wird.

 

[verstaerker]

Die Idee/Phantasie des Filmerstellenden wird wohl letztlich immer wichtiger werden in Zukunft.

da sehe ich eben die Chance und Gefahr ... wirklich kreative Filmemacher bekommen mehr Möglichkeiten - ihre Ideen auszuprobieren und weiterzuentwickeln. Die keine wirkliche Idee haben, werden halt nur den immer gleichen Kitsch produzieren, den vermutlich bald niemand mehr sehen will.

 

[verstaerker]

Der komplette Erotiksektor dürfte auch verschwinden. Wer sucht denn noch nach Videos für die eigenen Vorlieben oder gibt Anweisungen an Personen, die irgendetwas machen sollen, wenn die KI genau den Wunschfilm ausspuckt? Nur der direkte menschliche Kontakt dürfte das überstehen, bis auch das irgendwann mit entsprechenden Sensoren usw simuliert wird.

jetzt mal davon abgesehen das einige bestimmt Spaß dran haben mit ein paar Leuten rumzumachen, ist es doch irgendwann entwürdigend immer krassere Sachen mit zig wildfremden Leuten vor Kameras zu machen. Vielleicht ist es ganz gut das sowas dann von ner KI gemacht wird.

 

[Perry Staltic]

Dann kann ja The Asylum schneller noch mehr Mist auf den Markt werden...

 

[ollo]

Dann kann ja The Asylum schneller noch mehr Mist auf den Markt werden...

Die haben aber zumindest immer die schönen, abgedrehten Ideen. Bei denen hapert es eher oft genug an der Umsetzung und/oder dem Budget.
Wobei ich deren C-Movies eine Zeit lang regelrecht rauf und runter geguckt habe, solange irgendwelche Viecher Jagd auf Menschen gemacht haben und das auf Tele5 lief war ich dabei. Hat durchaus was und es waren auch einige Highlights dabei.

 

[Perry Staltic]

Aber meistens stehen bei deren Mockbustern nur irgendwelche Leute irgendwo rum (Militärs stets in nicht richtig sitzenden Unifomen) oder laufen/fahren durch die Pampa und erzählen Humbug... Eigentlich nur erträglich, wenn Kalkove und Rütten das kommentieren, aber da hat Tele 5 sich ja nun mit seinem Geiz selbst ins Knie geschossen...

 

[ollo]

Affen, die auf dem Catwalk laufen sehen ganz cool aus.

 

[oli]

Oha, Sora Update

 

[oli]

Und hier detaillierte Infos dazu, wie Sora unter der Haube funktioniert

Factorial Funds | Under The Hood: How OpenAI's Sora Model Works

 

[kernelkid]

Krass, was geht.

Illusionen und Staunen erschaffen ist (schon länger) keine menschliche Domäne mehr.
Meine Wahrnehmung, die ich zur Einordnung und Orientierung in der Welt nutze, gerät immer mehr aus den Fugen.
Die Bedeutung von Rezeption, Lernen, Wissen, Transferleistung und Schöpferischsein muss neu definiert werden.
Also von mir für mich erstmal.

Wo ist die Philosophie, wenn man sie mal braucht?

Spoiler: Schwarzmalerei

Ich, 57, bin mein ganzes Leben jetzt in den Kreativbranchen unterwegs. Musik, Kommunikation, Werbung alle Medien + Kunst + Architektur. Meine geschulte Wahrnehmung wird durch KI komplett torpediert.

Ich lerne gerade: Der Wert von Fähigkeiten, die für kreative, also schöpferische Leistungen gebraucht werden und sowas wie Menschengehirne, echte Erfahrungen, Intuition, Emotionen, Geisteshaltung, Seelenzustände benötigt, wird durch KI komplett wertlos. Und damit sowas wie Fantasie, Übertreibung, Humor, Mix-Techniken, empathie- und erlebnismotivierte Recherche etc .

Vor allem: Etwas, das ich "besondere Art zu denken" nennen möchte, wird immer irrelevanter.
Weil die Ergebnisse, die lernende KI liefert, das Gleiche beim Betrachter/Rezipienten auslösen können: Staunen zB. oder Inspiration.
Nur wozu inspiriert sein, wenn die KI auch ohne Aufwand das Erschaffen von Bildern, Text und Gedanken oder die Ideenfindung übernimmt?
Die Fähigkeit als Mensch überhaupt visionär zu sein wird nivelliert. Oder gar obsolet.

Für mich tritt der Bilderoverkill in die nächste Stufe ein. Empathie und menschliche Einblicke, die durch mediale (digital generierte!) Anblicke geschaffen werden, sedieren die Relevanz von "wahren Bildern" immer mehr.
Das fantastische Bild und das reale Bild bekommen die gleiche Wertschätzung – oder eben Bedeutungslosigkeit. Desorientierung wird gar nicht mehr bemerkt. Es gibt heute für alles Fakten und Begründungen, auch KI-generierte Argumentation. Und sie scheinen immer und jederzeit verfügbar zu sein. Oder sind es tatsächlich!!! "Fakten", also Fakes, erzeugen aber ebenso echte Realitäten in den Köpfen, wie die Fakten ohne Gänsefüßchen. Unser Reflex: Der Intelligente oder Bemühte versucht alles bis zur kompletten Verwirrung auszudiffernzieren. Bewertung durch Zerbröselung: Je mehr Schubladen wir in unsere Köpfe einbauen müssen, desto brüchiger wird der Boden, auf dem wir unseren Schubladenschrank stehen haben. Be"wertung" auf Basis von Werten wird immer wertloser, weil das Wertvolle am Verfolgen von Werten (Demokratie zb. oder erlebte Erfahrung) nicht mehr wahrgenommen wird. Sogar der Journalismus muss nachweisen, dass er Reality-Prooved ist.

Wie geht man, also ich, mit dem Verschwinden der EINEN Wirklichkeit für ALLE zugunsten der multi-virtuellen "faktenbasierten" Realitätsverkrümelung in den Medien um?

Nutze die KI zum Arbeiten!
Nutze die KI zur Orientierung!
Nutze die KI zur Zeitesparnis!
Empfehlen die Klugscheisser.

Ja.
Mach ich ja.

Fuck it!
Ich will keine Zeit sparen.
Ich will Zeit verschwenden!

Momentan sehe ich nur die Möglichkeit Trost darin zu finden, echten Menschen beim non-digitalen Handwerken zuzusehen und deren Arbeitsergebnissen einen Wert zuzuschreiben. Der Neo-Liberalismus wird diese systemirrlevante Wertigkeit aber durch Erzwingen von (Kreativitäts-)Effizienz ausmerzen. So, wie es zum Beispiel bei der Entwertung von Fotografie, Grafik-Design und Musikinstrumentenbeherschung der Fall ist.

Der Ursprung und der Wert von Gedanken ist nicht mehr nur menschlich. Das macht sie wirtschaftlich wertlos.
Eine Herausforderung.

Ergänzt (, nachdem ich den Schwurbel sechs Stunden später nochmal gelesen habe): Solange der Neo-Liberalismus den Menschen und sein 'Wirken als Mensch in der Welt' (zB durch Arbeit) weiterhin auf Basis von "demokratisch gewolltem" Wachstum von Gewinnen für Wenige als systemirrelevant kulitiviert, also entwertet, nähern wir uns der anti-demokratischen Revolution: Das Wohlstandsgefälle ist nicht mehr nur kontinental beobachtbar, sondern wird immer mehr lokal relevant. Bildung als sozialer Kitt wird durch schneller lernende KI dramatisch ausgebremst. Und die Displayzeit, mit der wir unser Bild von der Welt beballern und betäuben, wächst permanent. Die Spaltung der Gesellschaft wird durch zunehmende Desorientierung im unbe'wert'baren (Bilder-)Informationsstrudel immer weiter beschleunigt. Und dieser Vortex zieht mich runter. Vielleicht sogar uns alle. Sorry, geile Video-KI-Technologie, aber ich finde du bist eine Gefahr für die Demokratie.

 

[kybernaut_01]

Und hier detaillierte Infos dazu, wie Sora unter der Haube funktioniert

Factorial Funds | Under The Hood: How OpenAI's Sora Model Works

Sehr interessant… wobei mir ehrlich gesagt der Begriff Inference nicht geläufig war. Wenn es sonst noch jemandem so geht… hier ist es einfach und verständlich erklärt:

What is AI Inference?​

AI Inference is achieved through an “inference engine” that applies logical rules to the knowledge base to evaluate and analyze new information. In the process of machine learning, there are two phases. First, is the training phase where intelligence is developed by recording, storing, and labeling information. If, for example, you're training a machine to identify cars, the machine-learning algorithm is fed with many images of different cars the machine can later refer to. Second, is the inference phase where the machine uses the intelligence gathered and stored in phase one to understand new data. In this phase, the machine can use inference to identify and categorize new images as “cars" despite having never seen them before. In more complex scenarios, this inference learning can be used to augment human decision making.

 

[kernelkid]

 

[kybernaut_01]

Mich treibt immer mal wieder die Frage um, wie „ähnlich“ die generierten Bilder den Trainingsdaten sind. Dieser ganze Diffusion-Prozess ist schon sehr faszinierend, aber wie kann der Output so real aussehen, ohne dass die ganze Szenerie irgendwo auch in den Quelldaten steckt?

Was man ja anscheinend tatsächlich in den Outputdaten sieht, ist dass die KI eine „Verständnis“ davon hat wie bestimmte Dinge aussehen müssen, also Hände, der Ballon, ein Fahrrad, die Umgebung… die Kombination des ganzen ist dann aber mehr oder weniger einzigartig. Selbst mit den selben prompts würde ich ja kein 1:1 identisches Ergebnis bekommen.

Was ich mich noch frage… wieso haben die Bilder einen bestimmten „Look“?… der Airhead sieht irgendwie nach selbstgefilmt aus… zumindest keine teuren Kinokameras. Dahinter müssten ja auch Bilder mit einem bestimmten „Look“ in den Quelldaten stecken… die dann halt auch passend annotiert/ gelabelt sind….

Fragen über Fragen…

 

[oli]

Das Musikvideo Gold Gang (mitm C3PO ) :



So ne Art Making Of:

 

[ikonoklast]

ADOBE klinkt sich ein:

Generative AI in Premiere Pro powered by Adobe Firefly​

 

[ikonoklast]

Trust Nothing - Introducing EMO: AI Making Anyone Say Anything​

12:39 ist der blanke Hammer