Augmented Creativity

[schnuffke2]

Okay, klingt als hättest Du nicht viiiieel mehr Plan als ich. Ich überlege ganz locker, ob ich mich in Python reinfummle. Da gibt es ja einiges an Material zum Thema ... Bücher, YT-Videos und so.

 

[%3GgHszuestrnln]

Ich hab null Plan.
Mit Python macht man nix verkehrt, da ich aber vor langer Zeit in Flash programmiert habe
ist mir Javascript etwas näher als mir noch ne Syntax anzueignen.
Wobei das aber auch nicht so den Unterschied machen würde.

 

[einseinsnull]

Ich will verschiedene Machine Learning Algorithmen mit meinem Output trainieren,
konkret mit MIDI aus meinen Tracks, und das dann zum Komponieren nutzen, indem das Modell Noten die ich eingebe vervollständigt
(also weiter schreibt) oder ergänzt (also eine zweite Stimme dazu macht).

ebene 1 hast du verständlich beschrieben.

jetzt versuche in schritt 2 die details zu beschreiben: was genau soll passieren, wenn du dem ding ein midifile fütterst?

das ist der weg zum code.

(will sagen, wie gut man schon irgendeine sprache oder technik beherrscht, ist erst mal weniger wichtig)

 

[%3GgHszuestrnln]

das ist der weg zum code.

(will sagen, wie gut man schon irgendeine sprache oder technik beherrscht, ist erst mal weniger wichtig)

Lieber @einseinsnull danke für den gutgemeinten Tip.

Ich habe was Coding mit einer ECMA Script Variante angeht vor knapp 20 Jahren zwei Nischen-Standardwerke mit verfasst.
Eins wird immer noch verlegt.

Mit Python Syntax habe ich dagegen noch nie gearbeitet.
Für beides gibt es ähnliche Ressourcen.
Es ist für mich naheliegend, aus diesem Grund zuerst die Javascript Ressourcen anzuschauen bevor ich mir Python aneigne.

Grundsätzlich stehe ich ausserdem dem Ansatz nahe, erst die Tools zu benutzen mit denen man am schnellsten
und flexiblsten zu einem sei es noch so rudimentärem Prototyp kommt, um beurteilen zu können ob der Ansatz
und das Konzept überhaupt etwas taugen.

Es spricht also alles für JS in meinem Fall. Der Vorteil von JS Ressourcen ist ausserdem, daß Tutorial und Script
in ein und der selben Quelle sein können.

Anderen würde ich aber aus vielen Gründen zu Python raten, da man mit Python eine Menge ganz anderer Dinge machen kann.

 

[einseinsnull]

oh ich hab das keinesfalls auf "python" bezogen. und überhaupt würde ich dann schon eher etwas ganz anderes empfehlen.

ich wollte nur sagen, dass man am besten rausfindet, ob und wie etwas möglich ist, indem man sich erst mal bewusst macht, was man man will. sprich ein machine model entwickelt. wenn du z.b. 3 parallele audio stream threads brauchst, bleibt fast nur noch C++, wenn du eine große sql datenbank brauchst geht das nicht mit kyma usw.

dass man dann doch meistens das tool nimmt, was man schon kann, ist eh klar.

 

[schnuffke2]

Was wäre denn zu empfehlen? Nur ma so...

Für Python scheint es jede Menge Lehrmaterial und Möglichkeiten für Hilfe zu geben. Das ist mir extremst wichtig, da ich sonst niemanden fragen kann.

 

[%3GgHszuestrnln]

hast Du denn schon Programmiererfahrung?

Python und Javascript sind beides Interpretersprachen, dh der Code wird zur Laufzeit in Machinecode übersetzt,
was das ganze langsam und für manche Anwendungen ungeeignet macht.

Ein Vorteil davon ist aber daß man Code sofort ausprobieren kann und laufen lassen kann, und auch "interaktiv" skripten kann
dh schnell mal einen Ausdruck tippen und rechnen lassen kann.

Ich glaube Python ist für den Einstieg ganz gut wenn man erstmal was lernen will, schnelle kleine Erfolge braucht
um zu verstehen, ohne zu wissen was man am Ende vielleicht machen will oder kann.
Dh aber nicht daß man Python schnell komplett lernen kann, dazu ist es wohl zu umfangreich.
Das gilt aber so ziemlich für alle Sprachen.
Du machst mit Python nichts falsch und eine Alternative fällt mir auch nicht ein.

Javascript würde ich als generellen Einstieg nicht empfehlen, weil es zu sehr auf Browser abgestimmt ist.
(Dafür ist die Synthx ähnlicher wie in C++, so daß der Umstieg nach C++ einfacher wäre.)

 

[schnuffke2]

Jo, habe ich. Wenn auch nicht fortgeschritten ... und durch einige Jahre freiwillige Selbstverblödung wirds auch schwerer, da wieder reinzufinden.

Habe vor 15 Jahren oder so innerhalb von zwei Wochen von Null an Delphi gelernt und nen VST-Compressor programmiert. Also so ganz doof bin ich nicht. Nur komplett unwissend. Ist nicht das gleiche. Zweiteres ließe sich beheben...

Hab mich früher in eine Handvoll Sprachen zumindest oberflächlich eingearbeitet, doch inzwischen alles wieder vergessen.

 

[%3GgHszuestrnln]

Verstehe, so ähnlich gehts mir auch.

 

[einseinsnull]

na "irgendwas mit midi noten" macht man natürlich typischerweise mit max. aktive community und hunderter erweiterungsmöglichkeiten inklusive.

mit deep learning stehen wir allerdings was vorgefertigte objekte angeht noch am anfang, ist wohl noch nicht hip genug für musik und graphik, dass sich jemand das mal traut. wie ich oben schon sagte: vorgefertigte systeme, also kompilierte, generische bausteine machen ja für komplexe deep learning anwendungen auch eher weniger sinn, die müssen meist auf den einzelfall zugeschnitten werden.

wobei max zur verarbeitung größerer datenmengen noch etwas langsamer ist als java (wenn auch immer noch 10 mal schneller als javascript) und eine einbindung von SQL & co zwar gehen, aber nicht ideal sind.
ich benutze bildformate oder selbstgebastelte binaries, die ich a la minecraft in chunks oder segmenten abspeichere und durchnummeriere, da ich von datenbanken keinen plan habe und die mehrheit meiner rechner das auch gar nicht unterstützt.

ach und kostenlos ist es auch nicht.

ein paar vorteile gibts auch; du kannst z.b. relativ leicht zwischen realtime und discrete time umschalten und vermutlich auch leichter als in python mal eben schnell ein GUI dafür bauen. außerdem könnte man mit ein bischen fantasie in max seine datenbanken oder datenströme, die nicht ganz so zeitkritisch sind, theortisch auch in bilder umrechnen und auf der GPU bearbeiten.

 

[%3GgHszuestrnln]

Damenherren ich presente Ihnen mein erst Composition.
Composition à l'aide d'intéligents artificiels.
Ein nouveauté an dieser Stelle.


Dankeschön.

 

[Sonnenlicht]

 

[%3GgHszuestrnln]

 

[%3GgHszuestrnln]

Hab die Credits vergessen:
Payne, Christine. "MuseNet." OpenAI, 25 Apr. 2019, openai.com/blog/musenet

 

[%3GgHszuestrnln]

Hier gibts übrigens ein Quiz, kann jeder testen ob er AI Komposition von menschlicher unterscheiden kann

Human or AI

This weekend I trained an AWD-LSTM on music by many different composers from Classical Archives. Here are some generations paired with some random selections from the human composers. Following the great internet tradition, I’ve made a quiz (without the ads, but you can still share on Facebook...

christinemcleavey.com

 

[Glgralkhges23535615573]

"You correctly identified the human composers in 3 out of 4 pairs."

Beim letzten war ich mir nicht sicher und ich wollte erst Sample 1 wählen, wählte aber zwei, weil es untenrum
voller klang.

Fairerweise hätte der Test dann auch von einem echten Menschen, an einem echten Piano gespielt werden müssen,
denn es klang alles sehr maschinell.

 

[einseinsnull]

bei dudelmusik aus 5 noten ist das kein wunder, wenn der mensch nicht von der maschine zu unterscheiden ist, alleine schon deshalb, weil praktisch jede anordnung von 5 noten innerhalb von 16 16teln immer irgendwie passt und sinn ergibt.

da kannst du random() nicht von mozart unterscheiden.

zeig mir mal eine sinfonie oder eine jazz impro von einer maschine, die erkennt man in 100% aller fälle.

 

[%3GgHszuestrnln]

Fairerweise hätte der Test dann auch von einem echten Menschen, an einem echten Piano gespielt werden müssen,
denn es klang alles sehr maschinell.

Ich hatte die zweite Hälfte falsch, hatte allerdings die Stücke nicht komplett angehört.
Die Quelle sind halt alle möglichen MIDI Files, die sind halt oft sehr maschinell quantisiert usw.
Häufig stammen die ja aus Notenscans und haben nicht mal Velocity.

dudelmusik aus 5 noten

Du hast die Stücke also nicht angehört, oder den Test nicht bestanden, oder bezieht sich das auf meine Komposition?

zeig mir mal eine sinfonie oder eine jazz impro von einer maschine, die erkennt man in 100% aller fälle.

soso. jaja. ganz bestimmt.

da kannst du random() nicht von mozart unterscheiden.

wie jetzt?

 

[einseinsnull]

Du hast die Stücke also nicht angehört, oder den Test nicht bestanden, oder bezieht sich das auf meine Komposition?

sorry da war ich jetzt sehr ungenau: gemeint hatte ich tatsächlich dein ding von oben.

allerdings gilt das meiner auffassung nach fast genauso für den klassik kram von dem test. auch das ist alles sehr phrasenhaft und einfach strukturiert.

es ist dem menschen ein leichtes etwas zu komponieren, was man nicht von einem gut gemachten algo unterscheiden kann. das scheint mir bei all dem der fall zu sein.

soso. jaja. ganz bestimmt.

bei minimal techno oder bei diabelli ist es sicherlich möglich, dass man mensch und maschine nicht mehr unterscheiden kann.
weil da der menschliche komponist da nämlich im prinzip eine maschine simuliert und ganz strikte einfache regeln befolgt.

aber spätestens wenn sich notenwerte nicht mehr in einem festen raster befinden oder synkopen und tempiwechsel mit inkludiert werden sollen und wenn du neben den nackten frequenzen auch noch anschlagslautstärke, klangmodulation, haltedauer, eine intonationskennlinie und das muster des zusammenspiels mehrerer menschen simulieren willst, hat der computer keine chance den zuhörer zu täuschen (bzw. du würdest mit dem programmieren eines solchen systems nicht mehr fertig werden.)

gegenprobe zur test-webseite: kennst du ein computergeneriertes stück, was von diesen beiden menschengemachten nicht mehr zu unterscheiden wäre?








für die aktion mit dem zauberwürfel braucht es auch keine intelligenz. das ist reine arithmetik. theoretisch könnte man sogar alle idealen lösungswege für alle zustände vorausberechnen und in eine tabelle schreiben, die man nur noch abruft

 

[%3GgHszuestrnln]

aber spätestens wenn sich notenwerte nicht mehr in einem festen raster befinden oder synkopen und tempiwechsel mit inkludiert werden sollen und wenn du neben den nackten frequenzen auch noch anschlagslautstärke, klangmodulation, haltedauer, eine intonationskennlinie und das muster des zusammenspiels mehrerer menschen simulieren willst, hat der computer keine chance den zuhörer zu täuschen (bzw. du würdest mit dem programmieren eines solchen systems nicht mehr fertig werden.)

Ich sehe Du hast Dich gar nicht mit der Materie beschäftigt.
Denn die Aussagen sind schlicht kontrafaktisch.
Mit festem Raster hat das Null zu tun. Synkopen sind problemlos möglich, das System weiß nicht den Unterschied
zwischen Synkope und anderem straightem Rhythmus, das ist gleichwertig.
Und da wird eben nix explizit reinprogrammiert.
Das ist ein neuronales Netz.
In dem Fall ursprünglich ein Modell um Sprache zu verarbeiten.
Von Musiktheorie und Noten hat das System keine Ahnung.

gegenprobe zur test-webseite: kennst du ein computergeneriertes stück, was von diesen beiden menschengemachten nicht mehr zu unterscheiden wäre?

Das ist nicht die Gegenprobe, da die Menge menschlicher Komposition und die Menge AI Komposition nicht vergleichbar sind.
Die sind um etliche Größenordnungen verschieden.
Selbstverständlich könnte man AI mit Schostakovitsch trainieren und Du könntest den Output partiell nicht eindeutig unterscheiden.
Und ja es gibt Musik die mit Hilfe von AI entsteht bei der Du vermutlich genau das behaupten würdest, daß eine Maschine "sowas" nie machen würde.
Das ist aber gar nicht die Aufgabenstellung, oder die Frage.

es ist dem menschen ein leichtes etwas zu komponieren, was man nicht von einem gut gemachten algo unterscheiden kann.

Soso, dann mach mal. Komponiere ein Stück wie die aus dem Quiz. Ich bin gespannt. Es reichen ja ein paar Takte.
Aber nicht mit AI bescheißen.

für die aktion mit dem zauberwürfel braucht es auch keine intelligenz. das ist reine arithmetik. theoretisch könnte man sogar alle idealen lösungswege für alle zustände vorausberechnen und in eine tabelle schreiben, die man nur noch abruft

m( oh mann, dabei geht es doch gar nicht um das Lösen des Würfels.

 

[einseinsnull]

Ich sehe Du hast Dich gar nicht mit der Materie beschäftigt.

Mit festem Raster hat das Null zu tun. Synkopen sind problemlos möglich, das System weiß nicht den Unterschied

was hat mit was nix zu tun.

das dort sind recht einfache muster, weswegen der zuhörer nicht eindeutig erkennt, ob es von mensch oder maschine gemacht ist.

je komplizierter ein system ist, desto mehr unterscheiden sich die ergebnisse von mensch und maschine.

Das ist nicht die Gegenprobe, da die Menge menschlicher Komposition und die Menge AI Komposition nicht vergleichbar sind.

wenn die aufgabe lautet herauszufinden ob die these, dass man nicht unterscheiden kann ob etwas von einem menschen oder einen computer komponiert wird richtig oder falsch ist, ist das sehr wohl der gegenbeweis.

Selbstverständlich könnte man AI mit Schostakovitsch trainieren und Du könntest den Output partiell nicht eindeutig unterscheiden.

das ist gar nicht der punkt. deren system wurde ja wahrscheinlich unter anderem auch mit schostakovic trainiert, aber wenn es nur noch mit schostakovic trainierst, weil du schostakovic auch als ergebnis haben willst, dann ist es ja gar keine AI mehr.

eine AI würde sich frei dazu entscheiden, heute frederic miller-meisenbaum zu sein und etwas komplett eigenes zu erschaffen.

und sich nicht nur in einem normalbereich um den median seines gespeichtern wissens herum bewegen.

Soso, dann mach mal. Komponiere ein Stück wie die aus dem Quiz. Ich bin gespannt. Es reichen ja ein paar Takte.
Aber nicht mit AI bescheißen.

das brauche ich nicht. denn dort sind ja bereits solche stücke, die von menschen komponiert wurden, und von zuhörern nicht erkannt werden.

ich behaupte halt einfach nur, dass die alle relativ simpel und ähnlich gehalten sind und der effekt dadruch leicht zu erzeugen war. zumindesten haben wir keinen wirklichen beweis dafür, dass die nicht nur komponiert wurden, um so ähnlich zu klingen wie die maschine.

im übrigen wird in jedem language model auch heftig reguliert. und wenn man das übertreibt, hätte man statt einem neuronalen netz auch gleich eine markov menge nehmen können und reproduziert nur noch aus dem wortumfang.

das ist das große problem beim modellieren, dass man letztlich doch immer wieder nur auf datenbanken und matrixen und höhere mathematik zurückgreifen kann um das umzusetzen.

bei solchen digne wie assoziation oder kontext wird die rechenmaschine noch lange hintenliegen.

ob hoffentlich oder zum glück weiß ich nicht so genau.

 

[%3GgHszuestrnln]

eine AI würde sich frei dazu entscheiden, [...] etwas komplett eigenes zu erschaffen.

Deine Definition von AI.

zumindesten haben wir keinen wirklichen beweis dafür, dass die nicht nur komponiert wurden, um so ähnlich zu klingen wie die maschine.

das sind doch Stücke die uralt sind. Die wurden nicht für das Quiz komponiert.

bei solchen digne wie assoziation oder kontext wird die rechenmaschine noch lange hintenliegen.

yo.


https://www.youtube.com/watch?v=-RHG5DFAjp8

 

[2215]

Fairerweise hätte der Test dann auch von einem echten Menschen, an einem echten Piano gespielt werden müssen,
denn es klang alles sehr maschinell.

Warum, es geht doch um die Komposition.


Letztendlich wäre es wohl den meisten gar nicht aufgefallen, wenn man nicht wüsste um was es sich bei dem Test dreht. Und 50/50 Chance zum raten ist ja auch nicht schlecht.

 

[%3GgHszuestrnln]

Wer ist jetzt der Urheber dieses Stücks?

 

[%3GgHszuestrnln]

Mir gefällts ja wahnsinnig gut.
Aber bin das noch ich? Wer ist der Urheber?

Man hört den Komponisten der Pate stand raus. (Wer raten will - wer denkt Ihr?)
Andereseits hätte er nie sowas kompiniert, und es ist näher an meinem Style als an seinem.
Allerdings hätte ich das so auch nicht komponiert.
Und Software auch nicht.

Schwer zu sagen wo die Musik dann her kommt.

 

[%3GgHszuestrnln]

 

[%3GgHszuestrnln]

wow über 800 views, wusste gar nicht daß das Forum soviel Leser hat...
Aber kaum Meinungen zum Thema...
Die Musik ist natürlich auch mein Style und deswegen nicht aussagekräftig.
Aber es zeigt daß man durchaus diese Techniken nutzen und trotzdem den eignen Stil verfolgen kann.

Also das mit meinen Daten zu trainieren wäre der nächste Schritt.

 

[%3GgHszuestrnln]

bei solchen digne wie assoziation oder kontext wird die rechenmaschine noch lange hintenliegen.

kennst Du eigentlich das GPT2 language model das jetzt released wurde?
Das ist nur noch unheimlich.

Better language models and their implications

We’ve trained a large-scale unsupervised language model which generates coherent paragraphs of text, achieves state-of-the-art performance on many language modeling benchmarks, and performs rudimentary reading comprehension, machine translation, question answering, and summarization—all without...

openai.com

Hier haben sie es wohl heute upgedated und man kann es ausprobieren.
Was es zum Thema Synthesizer so spontan kreiert:

A synthesizer that can be used with various modules or for its own sound. This one has three modules, one oscillator, a mixer and a compressor, all running simultaneously with the other modules (including the oscillator). The synthesizer is equipped with the following features: 3 oscillators, a mixer, a compression, a sub oscillator, a lowpass filter and a highpass filter. The synth can run in 16bit and 44.1kHz formats and has the ability to output samples to mono or stereo. The sample rate can be set to 16, 44.1, 96, 128 or 192 samples per second. The synth can also be used as a sampler, with samples being exported to MP3 files, WAV or AIFF format. There are also four effect slots. These include a ring modulation, a flanger, a delay and a chorus. The modulation matrix can be accessed by using a rotary knob on the left side of the front . The module is fully controllable via its front panel. The module features an internal speaker and the sound is loud.

oder, zweiter Versuch:

A synthesizer based on a Roland System 100, a well-known keyboard, a keyboard layout from the '80s, and several digital delay effects that are modeled after vintage analog delays.

The instrument has a full range of synth-like waveforms, and the delay effects can be used to emulate many classic analog effects such as reverb, chorus, and delay. You can also use this instrument as a basic synthesizer with the delay effects, making it an interesting starting point for a synth-based synth-based project.

For a more comprehensive look at the instrument, you can take a look at the project website at synthpong.com.

What you get

The synthpong project includes:
a fully working synthesizer, an Arduino based controller, and an assortment of delay effects.
You can start with the Arduino controller to build the synth and learn how to code.
The synth and the controller are powered by an ATmega328. The synth and controller are compatible with the same drivers.

Muss man erwähnen daß "synthpong.com" nicht existiert?

Aber das ist interessant, wir wollen mehr wissen über das Projekt:

The synthpong project will be featured on a new album by Swedish band Vattnet Viskar.
Vattnet Viskar is a six-piece Swedish rock band with a penchant for melody and experimentation.
The group's new album, titled 'All Our Gods Have Abandoned Us', will be released by Nuclear Blast Records in the spring of 2013.
Speaking about their upcoming release, lead singer and guitarist Vattnet said:

"The album is about the destruction of faith, about the end of our faith in things supernatural and about the destruction of the world. There are a lot of references to religions on the album and the lyrics are about how we are now living in a society of death and darkness. In the lyrics, the only salvation is for all to die."

'All Our Gods Have Abandoned Us' will be the second album for Vattnet Viskar after their debut album, 'The Ghost of Faith', which was released in 2012.

In November 2011, the band released their second single, 'No Time For ...

usw usw.

 

[einseinsnull]

kennst Du eigentlich das GPT2 language model das jetzt released wurde?
Das ist nur noch unheimlich.

ja das thema riecht nach einem tiefen tunnel, aus dem man nie wieder rauskommt.

wenn ich ehrlich sein soll: ich hasse die idee, dass es zunehmend software gibt, die niemand mehr alleine programmieren, alleine kontrollieren, und alleine nutzen kann.

ich benutze rechenmaschinen nämlich um meinen kontrollzwang zu befriedigen. jeden versuch von betriebssystemen oder webseiten, mir zu erzählen was ich zu tun hätte, betrachte ich als feindlichen akt der maschinen gegen mich.

der virtuelle nachbau von beethovens gehirn dürfte so umfangreich sein, dass selbst die leute, die das dann programmiert haben, selbst nicht mehr wirklich checken warum es eigentlich funktioniert.

ich glaube dass man sich schon sehr tief mit theoretischer informatik auseinandergesetzt haben muss, um ein system, bei dem in mehreren schichten das programm sich selbst umgestalten kann, noch halbswegs zu verstehen.

dass ich weiß, dass man es nicht verstehen muss, ändert auch lieder nichts daran dass ich das wollte wenn ich es vor mir hätte.

aber man kann sich ja notfalls immer noch in die psychatrie einweisen lassen wenn es gar nicht mehr geht.


2) Do elephants have tusks?

No, but elephants have powerful, curved nails that are used for grooming.


transformer ist übrigens die light version von AfD-bot 2.0 - den gibt es einmal als code und einmal als zweibeinige spezies und er hat inzwischen eine art eigene meinung, was dazu führt, dass er immer beim gleichen thema rauskommt egal mit was er ursprünglich anfing. insider halten das für einen stackoverflow.

 

[einseinsnull]

yo.


https://www.youtube.com/watch?v=-RHG5DFAjp8

okay. ich korrigiere mich: gegenüber manchen menschen.