Pitch to Voltage (Audio Tracking)?

[bohor]

Hallo die Kollegen,

Envelope Followers gibt es eine ganze Reihe. Aber ich würde gerne die Tonhöhen eingehender Musik analysieren. Also entweder in MIDI umwandeln oder halt in die entsprechende Spannung, also 1V/Okt.

Klar, dass man das am Rechner mit Melodyne macht. Ich würde es lieber außerhalb des Rechners tun. Für Gitarren gibt es da Fußpedale; als Modul finde ich aber eigentlich nur ein Modul von Analog Systems: RS 35 bzw. RS 35N. Frage: Hat jemand Erfahrung damit? Kennt ihr andere Möglichkeiten? Taugt eins der Fußpedale was? Habt ihr auch Erfahrung mit anderer als rein einstimmiger Musik?

 

[Feedback]

Zum RS-35 gibt es ein Video auf Youtube, wo das Ding ganz gut funktioniert.
Hat bei mir so nicht geklappt, vielleicht fehlte mir aber auch die Geduld...
Und: geht - wenn es geht - nur einstimmig.

 

[RaBe]

Expert Sleepers Disting kann auch pitch-to-voltage.

 

[bohor]

Expert Sleepers Disting kann auch pitch-to-voltage.

Hat jemand das mal ausprobiert?

Das Ding kann soviel, dass ich mich immer fatal an gewisse Multieffektgeräte der Achtziger erinnert fühle, die alles irgendwie können und nichts richtig. Tue ich dem Gerät unrecht?

 

[NickLimegrove]

Gab es da nicht mal was von Roland? Alt, selten, teuer, und höchstwahrscheinlich nicht besser als das RS35?

IMPERFECT PITCH - Sound On Sound - Roland SPV-355 Review

www.joness.com

Ebenfalls kein Modul, aber klein, bezahlbar und gibt MIDI aus:

Sonuus G2M V2 & i2M Musicport

Sonuus’ nifty gadgets make real-time audio-to-MIDI conversion easy and affordable — as long as you only play one note at a time!

www.soundonsound.com

 

[Feedback]

Gab es da nicht mal was von Roland? Alt, selten, teuer, und höchstwahrscheinlich nicht besser als das RS35?

IMPERFECT PITCH - Sound On Sound - Roland SPV-355 Review

www.joness.com

Haha, den habe ich mal bei ebay recht günstig geschossen. Kam nie an, war auf einmal "kaputt". Wenigstens kam das Geld zurück...

 

[Sven Blau]

Der Korg MS20 kann das auch

 

[bohor]

Ja, Roland hat sich offenbar mehr mit dem Thema beschäftigt. Es gab auch mal ein CP-40 für diesen Zweck.

Eigentlich gehe ich davon aus, dass dieses CP-40 und das SPV-355 veraltet sind. Wenn mir nicht grade jemand versichert, genau mit sowas wirklich gute Erfahrung gemacht zu haben, tät ich persönlich ja eher auf was Aktuelles setzen. Kann doch nicht sein, dass die Mikroelektronik seitdem keine Fortschritte gemacht hat!

Das Handbuch des Korg MS-20 spricht tatsächlich von built-in Pitch and Envelope Followers; danke für den Hinweis! Nur hab ich dieses Gerät leider nicht, und auch hier vermute ich (vielleicht zu Unrecht), dass es damit nicht allzu weit her ist, verglichen mit einem modernen Gerät, bei dem diese Funktion im Zentrum steht. Ich mag mich da natürlich täuschen.

Damit stehen noch Sonuus G2M und Analog Systems RS 35 zur Debatte. EDIT: Ach ja, und Expert Sleepers Disting.

Ein wenig erstaunlich, dass offenbar niemand hier im Forum echte eigene Erfahrung mit sowas hat...

 

[Sven Blau]

Also der External Signal Processor im MS20 (und deren Derivate) ist schon ausgefuchst. Vom Prinzip her können alle Audiosignale in CV umgewandelt werdne. Gitarre, Stimme...

 

[Feedback]

Zum MS-20 mit Stimme zu Pitch gab es doch mal ein Goldfrapp-Video?
Den MS-20 External Signal Processor gab/gibt es auch als Eurorack-Modul: EAS Mindreader. Zumindest als PCB/Panel. Vor ein paar Jahren auf Muff Wiggler.

 

[Sven Blau]

@Feedback


https://www.youtube.com/watch?v=jgWRWkgl0zw

 

[Uli_S]

Fairlight Voicetracker:


https://www.youtube.com/watch?v=v6Dhwz-bYGs

 

[fanwander]

Es gibt/gab den Korg X911, der mit diversen Mono-Signalen recht gut funktioniert. Leider hat der keinen CV-Out. Dessen interner Wandler allerdings war wiederum als ein Standalone-Kistchen mit CV Out (V/Oct!) zu haben: Korg MS-03.

 

[OutOfTune]

Der Korg MS20 kann das auch

Also ich habe mal mit dem MS20 und einer E-Gitarre rumgespielt und das ist IMHO nicht brauchbar.
Vielleicht hab' ich auch zu viel erwartet oder irgendwas ist bei meinem Versuch suboptimal gelaufen

Gruß

 

[Sven Blau]

Also ich habe mal mit dem MS20 und einer E-Gitarre rumgespielt und das ist IMHO nicht brauchbar.
Vielleicht hab' ich auch zu viel erwartet oder irgendwas ist bei meinem Versuch suboptimal gelaufen

Gruß

Hast du das Signal vorverstärkt?

 

[bohor]

Vielleicht hab' ich auch zu viel erwartet oder irgendwas ist bei meinem Versuch suboptimal gelaufen

Vermutlich braucht man normalerweise davor mindestens einen Vorverstärker, einen Tiefpass und einen Kompressor – und muss das alles richtig einstellen. Und dann hängt es vom gespielten Material ab (Hohe Frequenzen sind natürlich schneller analysiert als tiefe; auch Art und Klang des Instruments werden sich bemerkbar machen).

Solange mir keiner versichert, mit dem oder dem Gerät gute Ergebnisse bekommen zu haben, hätte ich am meisten Vertrauen zu einem Modul, das Vorverstärker/Abschwächer, Tiefpass und Kompressor mit eingebaut hätte – und am besten auch gleich einen Envelope Follower, und das auch gleich einen Gate-Impuls liefert mit einstellbarem Treshold. Daraus würde ich die Vermutung ableiten, dass der Hersteller aus der Praxis kommt... Ich würde über den Preis fluchen, es aber dann wohl kaufen. Offenbar gibt es das aber so nicht.

 

[OutOfTune]

Hast du das Signal vorverstärkt?

Nein, bin direkt mit der Gitarre rein.
Hat wie gesagt prinzipiell Funktioniert, aber der MS20 tat sich schwer das Signal zu "fangen" ( um das unwissenschaftlich auszudrücken) und hat es auch immer wieder verloren.

 

[Sven Blau]

Afaik musst du auf jeden Fall preampen

 

[evs]

Von Sonicsmith gibt’s den convertor... der hat direkt auch Mini Klinken Anschlüsse fürs Eurorack. Ist aber ne extra Kiste.

mit stimme (Summen!) funktioniert der sehr gut. wenn das Signal komplex wird natürlich nicht so... andere Instrumente habe ich noch nie probiert..

 

[RaBe]

Ja, Roland hat sich offenbar mehr mit dem Thema beschäftigt. Es gab auch mal ein CP-40 für diesen Zweck.

Eigentlich gehe ich davon aus, dass dieses CP-40 und das SPV-355 veraltet sind. Wenn mir nicht grade jemand versichert, genau mit sowas wirklich gute Erfahrung gemacht zu haben, tät ich persönlich ja eher auf was Aktuelles setzen. Kann doch nicht sein, dass die Mikroelektronik seitdem keine Fortschritte gemacht hat!

Das Handbuch des Korg MS-20 spricht tatsächlich von built-in Pitch and Envelope Followers; danke für den Hinweis! Nur hab ich dieses Gerät leider nicht, und auch hier vermute ich (vielleicht zu Unrecht), dass es damit nicht allzu weit her ist, verglichen mit einem modernen Gerät, bei dem diese Funktion im Zentrum steht. Ich mag mich da natürlich täuschen.

Damit stehen noch Sonuus G2M und Analog Systems RS 35 zur Debatte. EDIT: Ach ja, und Expert Sleepers Disting.

Ein wenig erstaunlich, dass offenbar niemand hier im Forum echte eigene Erfahrung mit sowas hat...

Also zum CP-40 kann ich sagen: Ich habe einen Fall gehört wo jemand eine Radiostimme (Nachrichten, Kommentar oder so was) mit dem in MIDI gewandelt und mit einer Klavier- und einer Cellostimme wiedergeben hat. Das war erstaunlich aber wohl eher nicht dein Anwendungsfall.

Das Disting macht das für meine Begriffe ganz gut. Ich habe aber keine Langzeiterfahrung.

Allgemein sollte man keine Wunder erwarten. Ich habe das CP-40 mit einer live gespielten Gitarre gehört, da kamen auch manchmal richtige Töne raus Es ist sehr stark von den Einstellungen und dem Material im konkreten Fall abhängig wie gut das Tracking funktioniert. Ich finde es ist mit dem pitch-to-voltage ähnlich wie bei der Handschrifterkennung: Bei optimalen Voraussetzungen ist die Erkennungsrate 100%, bei schlechteren Bedingungen tippt man das schneller ab als den erkannten Text auszubessern. Gleichmäßige Lautstärke und Intonation helfen auf jeden Fall.

Das es so wenige Geräte/Module mit pitch-to-CV gibt, liegt vielleicht daran, daß die Funktion anscheinend wenig nachgefragt wird und nicht einfach als "Einschalten, geht" zu machen ist, weil das Ergebnis so stark vom Input abhängt.

 

[bohor]

Ich habe einen Fall gehört wo jemand eine Radiostimme (Nachrichten, Kommentar oder so was) mit dem in MIDI gewandelt und mit einer Klavier- und einer Cellostimme wiedergeben hat.

Klingt nach Hamburg... : - )

Ich denke, sowas muss nicht real-time sein, da sollte man es eher mit Melodyne versuchen... Liege ich falsch?

Das war erstaunlich aber wohl eher nicht dein Anwendungsfall.

Es geht mir weniger darum, hier exakt "meinen Anwendungsfall" zu lösen. Eher sollten wir alles zum Thema zusammentragen, so dass es auch anderen Leuten als mir helfen kann, auch in Zukunft.

Ich finde es ist mit dem pitch-to-voltage ähnlich wie bei der Handschrifterkennung: Bei optimalen Voraussetzungen ist die Erkennungsrate 100%, bei schlechteren Bedingungen tippt man das schneller ab als den erkannten Text auszubessern.

Sehr guter Vergleich! : - )


--bohor
EDIT: typo

 

[zwrihgeghedl]

Klingt nach Hamburg... : - )

Ich denke, sowas muss nicht real-time sein, da sollte man es eher mit Meldoyne versuchen... Liege ich falsch?

--bohor

Ableton Live kann das übrigens auch. Wenn das Material nicht zu komplex ist klappt das relativ brauchbar, auch wenn man sicherlich noch etwas nacheditieren muss. Oder man findet das Ergebnis lustig und nutzt es kreativ

Ich habe relativ viel mit Gitarren-Synths früher rumgespielt aber so richtig hat mich das nie überzeugt. MS20 ging nach entsprechender Einstellung übrigens auch sehr gut - klang dann bisschen wie alte Fripp-Sachen. Aber ist auch nur monofon.

Bin nicht mehr so im Thema aber ich meine mal gehört zu haben, dass Roland, die schon immer da ziemlich weit vorne waren, mittlerweile ein System hat, dass in Echtzeit auch aus polyphonem Material wieder die einzelnen Töne erkennen kann.

 

[bohor]

Noch ein Hinweis - auf der Doepfer-Seite lese ich:

A-100 Geplante Module
(Stand Juli 2019)
[...]
Vorankündigung: A-195-1 (?) Pitch-to-CV/MIDI Interface, Interface zur Umsetzung eines monophonen Audio-Signals (z.B. Gesang, Blasinstrument, Streichinstrument) in die entsprechende Tonhöhen-CV, Lautstärke-CV und Gate. Simultan werden die Daten als MIDI-Informationen ausgegeben, noch kein geplanter Erscheinungstermin.

Vielleicht ja auch eine Möglichkeit - in der Zukunft...

 

[RaBe]

Klingt nach Hamburg... : - )

Ich denke, sowas muss nicht real-time sein, ..
--bohor
EDIT: typo

War es in dem Fall auch nicht. Die Radiostimme wurde duch den Konverter gelassen und das MIDI im Atari aufgezeichnet.
Anschließend das Instrument ausgewählt, abgespielt und das Audio wieder aufgenommen. Tatort war glaub ich München. Allerdings gab es ja auch keine 'richtigen Noten' die erkannt werden mußten. Alleine die Sprach-Melodie und -Rhythmus aus einem Instrument zu hören statt von der Stimme war mal ganz was Ungewohntes.

 

[Unbekannt]

Erica Synths haben auch ein Modul angekündigt, das Pitch in CV umwandelt.

Superbooth 2019: Erica Synths Black Input - gearnews.com

The Erica Synths Black Input module is a preamp, envelope follower and pitch tracker that lets you control your Eurorack system with other instruments or your voice. Neat!

www.gearnews.com

 

[einseinsnull]

die meisten brauchbaren pitch follower methoden haben ein gehöriges delay und versagen vor allem im bassbereich völlig.

daher schließe ich mich der idee an, so etwas am besten gar nicht live zu machen, weil die anderen verfahren einem ganz andere welten eröffnen.

bzw. wer es live braucht, sollte sich im klaren darüber sien, dass es nur mit e-gitarre, gesang oder trompete halbwegs gut funktioniert, kontrabass oder saxophon führt meist nicht zu dem, was man sich vorstellen würde, selbst wenn man versucht bandpassfilter und kompressoren einzusetzen bei der analyse.

melodyne gibts nicht geschenkt (und hat derzeit noch den mangel, dass man die analysierten kennlinien nicht als signal getrennt vorliegen hat), aber bietet eine reihe zusätzlicher funktionen und macht einen hervorragenden job auch bei polyphonem material.

 

[bohor]

daher schließe ich mich der idee an, so etwas am besten gar nicht live zu machen, weil die anderen verfahren einem ganz andere welten eröffnen.

Es kommt natürlich wie immer ganz darauf an, was ich will! Hab ich den Originalpart schon, und ist mein Verfahren statisch, dann, klar, erst umwandeln, dann abspielen. Will ich aber improvisieren (oder mit improvisierenden Musikern zusammenarbeiten, oder spontan auf Parameter der Übertragung einwirken), dann muss die Sache real-time ablaufen. Ob in einem Euromodul, in einem anderen Stück Hardware oder eventuell in einer Software, für die ich dann eben doch den Computer brauche.

melodyne [...] hat derzeit noch den mangel, dass man die analysierten kennlinien nicht als signal getrennt vorliegen hat

Das war mir gar nicht bewusst! Heißt das also, man kann nur in der Oberfläche von Melodyne arbeiten, kann das Ergebnis nicht exportieren und woanders verwenden!? Das ist zwar verständlich, weil das Ergebnis ja recht komplex ist, eben nicht nur eine Folge von MIDI-NoteOns. Aber im Grunde fällt es damit für derartige Anwendungen ja komplett aus!

Wikipedia nennt übrigens noch andere Software, die hier in Betracht kommen könnte:

Software	Hersteller	Vertrieb
AudioScore Ultimate	Neuratron	M3C
capella wave kit	capella-software	capella-software
IntelliScore	Innovative Music Systems	Innovative Music Systems
Melodyne editor mit DNA	Celemony	Celemony
WIDI (Wave to MIDI)	Widisoft	Midimaster
Songs2See Editor	Fraunhofer IDMT	Songquito UG

Neben oben erwähnten Stand-Alone-Programmen beherrschen manche Sequenzer, darunter Cubase (Vari-Audio), Funktionen zur Wandlung von Audio in MIDI. Weiter existieren VST-Plugins, welche sich auf einzelne Aufgaben, z. B. das Transkribieren von Perkussion, spezialisiert haben.

Cubase war ja übrigens auch oben schon genannt worden.

Tja – was sagt ihr denn zu diesen Wikipedia-Aussagen? Ist die Liste vollständig? Hat jemand Erfahrung mit irgendwas, das hier genannt wird?

--bohor

 

[einseinsnull]

Das war mir gar nicht bewusst! Heißt das also, man kann nur in der Oberfläche von Melodyne arbeiten, kann das Ergebnis nicht exportieren und woanders verwenden!?

du kannst midi und audio exportieren. und du kannst es per midi auch live modulieren (bzw. im plug-in auch per automation.)

die von melodyne analysierten kennlinien für intonation und formant kannst du aber leider nicht als audio datei exportieren oder abspielen, um sie woanders als steuersignal zu verwenden. sie sind bestandteiel des deskriptiven "audio" formats von melodyne, was nur melodyne abspielen kann.

Aber im Grunde fällt es damit für derartige Anwendungen ja komplett aus!

naja nicht ganz. es exportiert intonation zwar nur im zusammenhang mit transients als midi noten befehle, aber die meisten leute werden ja dann doch eher mit material arbeiten, was irgendwie zu einer bekannteren und festen skala gehört.

den grundton pitchen und verschiedene skalen benutzen kann melodyne ganz prima.

nur wenn dein ausgangsmaterial ein portamento hat (tb-303, posaune), daraus kannst du dann leider kein steuersignal für dein max/msp oder dein eurorack machen.

Tja – was sagt ihr denn zu diesen Wikipedia-Aussagen? Ist die Liste vollständig?

es gibt alles mögliche, was sowas macht, vor allem die fantastischen vier programming envriroments (reaktor max sc kyma), aber auch sehr spezielle software wie antares kantos, was es leider nicht lange gab.

kantos konnte die kennlinie des einganssignals direkt auf den eingebauten synthesizer/sampler legen. das war immer sehr lustig, obwohl es ein wenig krank zu bedienen ist.

für windows dürfte es mindestens 8 kostenlose plug-ins geben, die midi outputten. aber das ist (auch) meiner meinung nach nur der halbe spass. vermutich gibt es auch irgendwelche tools, mit denen man die intonationskennlinie von einem auf das andere material übertragen kann. sonic worx kann es nicht, audition auch nicht... hm.

ich benutze für sowas pluggo. das dort mögliche pitch tracking ist aus den frühen neunzigern und auch nicht gerade high end, aber wenigstens kann ich mir VST-steuerdaten in 32 bit auflösung davon ableiten, wenn ich bock habe. (mit etwas mehr stress könnte man davon auch CV senden.)

 

[einseinsnull]

Alien Spaceship UFO Sounds | Effects | Sound Bites | Sound Clips from SoundBible.com

Alien Spaceship UFO Sounds | Effects | Sound Bites | Sound Clips from SoundBible.com Free. Get UFO or Alien Spacecraft ambience. Sound either from inside the spacecraft, or....

soundbible.com

melodyne gibt dir "noten"



und auch eine kennlinie



beides kannst du auf unterschiedliche art und weise editieren, und dann die ganze SPUR entweder im eigenformat oder wieder als audio - oder als midi - exportieren.

jedoch nicht die kennlinie...

 

[evs]

ConVertor+ | Sonicsmith

ConVertor + The ConVertor+ has a patented chip with an embedded DCO which never loses tune with the input audio. The ConVertor+ can identify the frequency of a monophonic analog audio input while playing square and sawtooth waves and at the same time output pitch, ENV, gate and trigger CV...

sonicsmith.com