NSynth Super

https://nsynthsuper.withgoogle.com/

NSynth Super is part of an ongoing experiment by Magenta: a research project within Google that explores how machine learning tools can help artists create art and music in new ways.

Technology has always played a role in creating new types of sounds that inspire musicians—from the sounds of distortion to the electronic sounds of synths. Today, advances in machine learning and neural networks have opened up new possibilities for sound generation.

Building upon past research in this field, Magenta created NSynth (Neural Synthesizer). It’s a machine learning algorithm that uses a deep neural network to learn the characteristics of sounds, and then create a completely new sound based on these characteristics.

Rather than combining or blending the sounds, NSynth synthesizes an entirely new sound using the acoustic qualities of the original sounds—so you could get a sound that’s part flute and part sitar all at once.

Since the release of NSynth, Magenta have continued to experiment with different musical interfaces and tools to make the output of the NSynth algorithm more easily accessible and playable.

As part of this exploration, they've created NSynth Super in collaboration with Google Creative Lab. It’s an open source experimental instrument which gives musicians the ability to make music using completely new sounds generated by the NSynth algorithm from 4 different source sounds. The experience prototype (pictured above) was shared with a small community of musicians to better understand how they might use it in their creative process.

Like all Magenta projects, NSynth Super is built using open source libraries, including TensorFlow and openFrameworks, to enable a wider community of artists, coders, and researchers to experiment with machine learning in their creative process.

The open source version of the NSynth Super prototype including all of the source code, schematics, and design templates are available for download on GitHub.

Ik ga hem bouwen, maar het is nu nog meer een gimmick. Je moet een heel computerintensieve taak draaien die alles doorrekent voor je zelf een image kunt maken die je erin kunt inladen (uren/dagenlang rekenen).

 

[PANAMA]

nee, google weet al meer dan genoeg van me

 

[djazid]

It’s a machine learning algorithm that uses a deep neural network to learn the characteristics of sounds, and then create a completely new sound based on these characteristics.

Je moet ook weten wanneer je moet stoppen met muziek maken. Als je een computer voor je laat denken.... Wat is de volgende stap ? Ipv kinderen voor kinderen, computers voor computers ???

 

[search64]

Laten we niet overdrijven. Het gaat hier alleen om het creeren van nieuwe geluiden, een soort sampler plus.

 

[djazid]

Laten we niet overdrijven. Het gaat hier alleen om het creeren van nieuwe geluiden, een soort sampler plus.

Is dat niet het leuke van een synth (hardware/software/modulair) ? Zelf iets creëren, ipv dat een ander het voor je doet... Zonder inmenging van neurale netwerken, zelf je hersenen gebruiken.

 

[ProtoHuman]

Dit soort ontwikkelingen hebben zeker wel potentie. Ze maken er ook een mooi gelikt filmpje bij waar het allemaal heel cool en ingewikkeld doet voorkomen. Het geluid uit die filmpjes, en wat je er op dit moment mee kan, overtuigt me niet echt.

 

[flyweight]

Als ik het goed begrijp is de nsynth gewoon een leuke sampler, die multisamples af kan spelen. En als je de audio pipeline gebruikt kun je gewoon de samples zelf maken.
wel een leuk project maar heb nog niets overtuigends gehoord,

Voor de audio-pipeline moet je ziekelijk veel python libs installeren.

Vergeet niet:
sudo apt-get install libjack-jackd2-dev

 

[Noiseflux]

Ik had de jaarlijkse 1-april grap verwacht maar dit is zeker een leuk concept.

 

[mossie23]

"It’s a machine learning algorithm that uses a deep neural network to learn the characteristics of sounds, and then create a completely new sound based on these characteristics."

Echt? 'machine learning', 'algorithm', deep neural network'.... dan heb je alle hippe buzzwords bij elkaar. AI/Machine learning, dat is de toekomst, en Google snapt dat. Behalve dat dit niet zo heel diep is. Een snare en een fluit... een fnute? Een snure? Nee, gewoon een ruizig fluitgeluit met de volume envelope van een snare.

Dit blijft aan de oppervlakte. Net als alle zogenaamde AI heeft dit algoritme geen idee van betekenis. Vraag een mens om een kruising te maken tussen een snare en een fluit en je krijgt veel interessantere dingen. Een buis waar lucht doorheen gaat en dat er dan kleine snaren in gaan trillen, als een veergalm in een buis. Ik zeg maar iets. Wolfgang Palm (wie anders) heeft precies dit een paar jaar geleden al gedaan met Plex. Tuurlijk, dit is met meer datapunten en een gelikt filmpje met coole Californians er gratis bij. Leuke sounds jongens, maar laat de bla bla maar achterwege.

AI heeft nog steeds hetzelfde probleem als de afgelopen 70 jaar: Hoe geef je een computer idee van betekenis? Momenteel is de strategie om algoritmes gigantische hoeveelheden data te voeren. Maar je hoeft maar 30 seconden met Siri te praten of eens te kijken wat voor advertenties facebook je serveert, om te weten dat het geen meter opschiet. En dit is weer een mooi voorbeeld daarvan.

 

[Analogic]

.... dan heb je alle hippe buzzwords bij elkaar. AI/Machine learning,

Ik mis nog "nano" en "blockchain".

 

[mossie23]

Ik mis nog "nano" en "blockchain".

Inderdaad, als je nou nieuwe patches via de nano blockchain zou kunnen downloaden, dan zou ik het zeker gaan gebruiken.

 

[kefkekeyser]

Je moet ook weten wanneer je moet stoppen met muziek maken. Als je een computer voor je laat denken.... Wat is de volgende stap ? Ipv kinderen voor kinderen, computers voor computers ???

Damned, nu zit ik met dat lullig kinderen voor kinderen tunetje in mijn hoofd...

Volgende stap: AI die een andere AI aanklaagt voor plagiaat

 

[Kwurqx]

Volgende stap: AI die een andere AI aanklaagt voor plagiaat

Grappig genoeg is "recht" nu juist 1 van de succesvolle toepassingsgebieden van AI...

Zie bijvoorbeeld:
https://www.geek.com/tech/ai-beats-human-lawyers-at-their-own-game-1732154/

 

[Kwurqx]

De invloed en potentie van AI en Machine Learning moet overigens niet onderschat worden.
Ook in de muziek. Een gebied dat zich eigenlijk juist goed leent voor AI en Machine Learning.

Het gaat om relatief "georganiseerde" en "begrensde" patronen en variabelen. Maar wel in heel grote hoeveelheden.
Maar zoeken naar patronen en correlaties in hele grote hoeveelheden complexe data is nu juist de kracht van AI / Machine Learning.

Omgekeerd kan de opgedane "kennis" weer (via AI) toegepast om (in dit geval) muziek te maken.

Maar of het binnenkort ook al AI Hits op gaat leveren? Dat staat nog in de kinderschoenen.
Maar het begin is er. Zie bijvoorbeeld onderstaand BBC artikel:
https://www.bbc.co.uk/music/articles/0c3dc8f7-4853-4379-b0d5-62175d33d557

 

[Sequential_Tom]

Waar AI vooral nog moeite mee heeft is de grote verbanden, ofwel in muziek de overkoepelende compositie. Ik denk dat het een kwestie van tijd is voordat ook hierin de rol van AI groot kan zijn.

 

[Disharmonic]

De invloed en potentie van AI en Machine Learning moet overigens niet onderschat worden.
Ook in de muziek. Een gebied dat zich eigenlijk juist goed leent voor AI en Machine Learning.
Het gaat om relatief "georganiseerde" en "begrensde" patronen en variabelen. Maar wel in heel grote hoeveelheden.
Maar zoeken naar patronen en correlaties in hele grote hoeveelheden complexe data is nu juist de kracht van AI / Machine Learning.
Omgekeerd kan de opgedane "kennis" weer (via AI) toegepast om (in dit geval) muziek te maken.

En te verwachten is dat dit in de toekomst steeds beter lukt, met slimmere algoritmen e.d., maar vooral met veel meer computerkracht. Het zou best kunnen dat dit voorbeeld zich verhoudt tot wat in de toekomst mogelijk is, als de Theremin tot wat we nu kunnen in de elektronische muziek.

AI heeft nog steeds hetzelfde probleem als de afgelopen 70 jaar: Hoe geef je een computer idee van betekenis? Momenteel is de strategie om algoritmes gigantische hoeveelheden data te voeren. Maar je hoeft maar 30 seconden met Siri te praten of eens te kijken wat voor advertenties facebook je serveert, om te weten dat het geen meter opschiet. En dit is weer een mooi voorbeeld daarvan.

En ook daar zit wat in, daarom is het bovenstaande nog niet zo zeker. We hebben weliswaar een enorme hoeveelheid data die we een AI-systeem kunnen voeren om het te laten leren, maar als dat systeem menselijke esthetiek niet echt kan "begrijpen", dan krijgen vooral afgeleide werken van wat al bestaat en niet iets dat nieuw is.

Aan de andere kant, het kan best zijn dat de toekomstige jeugd die automatisch gegenereerde muziek door AI-systeem volledig accepteert en dat alleen de oudjes klagen dat het geen "echte" muziek is...

 

[mossie23]

De invloed en potentie van AI en Machine Learning moet overigens niet onderschat worden.
Ook in de muziek. Een gebied dat zich eigenlijk juist goed leent voor AI en Machine Learning.

Het gaat om relatief "georganiseerde" en "begrensde" patronen en variabelen. Maar wel in heel grote hoeveelheden.
Maar zoeken naar patronen en correlaties in hele grote hoeveelheden complexe data is nu juist de kracht van AI / Machine Learning.

Omgekeerd kan de opgedane "kennis" weer (via AI) toegepast om (in dit geval) muziek te maken.

Maar of het binnenkort ook al AI Hits op gaat leveren? Dat staat nog in de kinderschoenen.
Maar het begin is er. Zie bijvoorbeeld onderstaand BBC artikel:
https://www.bbc.co.uk/music/articles/0c3dc8f7-4853-4379-b0d5-62175d33d557

Muziek is inderdaad opgebouwd uit allerlei patronen en als zodanig prima voer voor analyse door computers. Schaken is daar ook een goed voorbeeld van. En wat een computer daar inmiddels beter kan dan een mens, is het snel doorzoeken van een gigantische hoeveelheid mogelijkheden en dan de beste zet kiezen. Maar ik zou de computer niet intelligent noemen. Hij is namelijk alleen maar door mensen geprogrammeerd om efficient te zoeken. Hetzelfde geldt voor muziek.

De manieren die ze gebruiken om muziek te analyseren, zijn dezelfde als in de jaren 1960. Het grote verschil is dat we door toegenomen rekenkracht en menselijke inventiviteit, veel betere en snellere analyse hebben. Denk bv. aan analyse van polyfone instrumenten in Melodyne. Dat kon in de jaren 1990 simpelweg niet.

Maar als die analyse er eenmaal is, bedrijft een computer programma daar gewoon statistiek op. Bv: Een computer analyseert 10000 pop-nummers, en vindt dat in 90% van de gevallen het eerste akkoord eerste trap mineur is. Het tweede akkoord is dan in 60% van de gevallen 4de trap mineur en in 20% van de gevallen 7de trap majeur. Etc. Daar rolt een mooie analyse uit wat de meest voorkomende keuzes zijn. En dan is het niet zo moeilijk om een programma te maken dat op basis van die analyse keuzes maakt. Dit werd begin 20ste eeuw ook al gedaan met Markov ketens. En Band in a Box kun je al sinds jaren zelf laten soleren in de stijl van allerlei muzikanten. Ik ken mensen die de output daarvan gewoon als basis voor eigen muziek gebruiken.

Maar is dat nou intelligent? Ik denk dat het niet zo heel moeilijk moet zijn om een heleboel formulaische muziek in ieder geval op papier te genereren. (denk aan folk liedjes, stock muziek, veel popmuziek, klassieke symfonieën, Celine Dion) Geluidskeuze is al veel moeilijker. Daarvoor moeten mensen nog tools bedenken die dat kunnen analyseren. Dan pas kan een computer er iets mee. Maar ook hier weer geldt: De algoritmes worden niet slimmer, de analyse tools worden beter, en dan heeft een computer meer om mee te werken.

Aan het einde van de dag blijft het gewoon statistiek. De computer heeft geen benul van wat die aan het doen is. AI heeft al een aantal keer in het slop gezeten, en een aantal keer een opleving gehad. Momenteel heeft het een opleving, doordat men denkt dat Big Data aan programma's voeren ineens de truc kan laten werken.

Maar ik ben sceptisch. Niet dat er niets bruikbaars uitkomt, die liedjes uit die BBC reportage klinken zoals het hoort. Maar muziek blijft interessant omdat er steeds weer iemand is die de regels niet kent of (veel interessanter) de regels bewust breekt. En dat kan alleen als je begrijpt wat muziek is en hoe mensen er op reageren. En dat kunnen computers, exponentieel groeiende rekenkracht en al het gezwam van Ray Kurzweil ten spijt, nog steeds niet.

 

[mossie23]

Het zou best kunnen dat dit voorbeeld zich verhoudt tot wat in de toekomst mogelijk is, als de Theremin tot wat we nu kunnen in de elektronische muziek.

Deze komt ook altijd voorbij in happy happy TED praatjes. Maar... als de NASA in 1969 een mens op de maan heeft gezet met de hoeveeheid technologie die nu in een gemiddelde wasmachine zit, waarom zijn we dan nog niet voorbij Mars? Er lijkt een soort blind vertrouwen te zijn in de schaalbaarheid van technologie, maar dat is denk ik misplaatst.

 

[Disharmonic]

(...) Maar ook hier weer geldt: De algoritmes worden niet slimmer, de analyse tools worden beter, en dan heeft een computer meer om mee te werken (...) Momenteel heeft het een opleving, doordat men denkt dat Big Data aan programma's voeren ineens de truc kan laten werken. Maar ik ben sceptisch.

Sceptisch ben ik er ook over, maar toch doe je naar mijn idee de huidige research wat te kort door te stellen dat de algoritmes niet "slimmer" worden. Ik hou een beetje bij wat er gaande is op het gebied van onderzoek over dit onderwerp (voornamelijk via arXiv) en ik heb toch sterk de indruk dat vooral met neurale netwerken de afgelopen jaren een vooruitgang is te bemerken en dat de kennis hierover echt toeneemt. Maar het is nog te vroeg om te zeggen dat hier succesvolle toepassingen uit zullen rollen, waar je echt wat aan hebt in de praktijk.

Deze komt ook altijd voorbij in happy happy TED praatjes. Maar... als de NASA in 1969 een mens op de maan heeft gezet met de hoeveeheid technologie die nu in een gemiddelde wasmachine zit, waarom zijn we dan nog niet voorbij Mars? Er lijkt een soort blind vertrouwen te zijn in de schaalbaarheid van technologie, maar dat is denk ik misplaatst.

Daar heb je zeker een punt. Maar daar staat tegenover dat we tegenwoordig daadwerkelijk veel meer kunnen in de elektronische muziek en we naast de Theremin een boel andere middelen hebben. Dat we nog niet voorbij Mars zijn heeft niet noodzakelijkerwijs iets te maken met de toekomstige ontwikkeling op het gebied van AI en muziektoepassingen. Maar ik deel tot op zekere hoogte je scepsis, dat wel.

 

[krautrock1958]

Daddy's car had ik al 'ns gehoord en magic man en break free zijn leuke werkjes die dus mede of geheel door AI gemaakt zijn.
Tot een paar jaar terug had ik niet bedacht dat het zover zou komen.
Ik moet wel zeggen dat als ik die muziekjes hoor dan hoor ik weinig authentieks in die nummers.
En dat is ook niet zo gek natuurlijk als je bedenkt dat de computer een grote rol speelt in hedendaagse hitmuziek dus dat de AI gefabriceerde dingen er op lijkt is dan niet zo gek.
Als een hedendaagse fadozangeres om maar even een voorbeeld te nemen een nummer met heel haar ziel en zaligheid vertolkt en je hoort het verlangen, de melancholie enz dan denk ik niet dat AI dat al snel zal na kunnen doen laat staan een mooiere vertolking brengen.
Maar ik denk wel dat AI een heel goed hulpmiddel kan zijn als je een muziekje in elkaar knutselt want het is verdomd handig als je bijv niet goed bent in arrangeren dat dan AI dat even voor je doet.

Daarnaast wil ik wel opmerken dat nog niet zolang geleden het spel Go zoals de meesten wel weten gewonnen werd door AI en dat terwijl Go gezien wordt als een creatief spel waarin intuïtie een belangrijke rol speelt.
Sterker nog: AI deed op een gegeven moment een zet waarvan ieder kenner dacht "dit gaat niet goed"omdat het zo afwijkend was en uiteindelijk blijkt dat juist door deze zet het spel op een hele nieuwe manier gewonnen werd door AI.
En de Go grootmeesters zeggen dat hierdoor een heel nieuw level is aangeboord om het spel te spelen en wat voor hun een nieuwe denkwijze vormt voor dit spel.
Dus ja; wat is creatief?
Ik zelf denk dat het een kwestie van tijd zal zijn of AI doet ook in muziek dingen die wellicht voor nieuwe invalshoeken zorgt als het gaat om bijv arrangement.
Maar de mooiste liefdesliedjes die ooit gemaakt zijn komen toch vanuit een gevoel en dat zal AI nooit kunnen doen, het zal het hooguit kunnen nabootsen.

Toch wil ik de AI wel even horen die een song brengt zoals hier bijv Maria Bethania.
Ik denk dat dat nog heel lang gaat duren.