Audio naar MIDI via een AI-agent, via MCP.

Gepubliceerd oktober 2026

Doseedo 's transcriptie En de bijbehorende muziekanalyse is een tool op de MCP-server. Maak verbinding en een agent transcribeert een opname. notities — toonhoogte, begin, einde, snelheid, vertrouwen — met per-instrument modellen achter één interface, en beantwoordt de vragen die daarbij horen: wat sleutel Is dit erin, wat tempo en meter, waar zijn de sombere stemmingenWat zijn de akkoordenEn het deel dat ik net schreef, is harmonisch correct. De analysetools zijn synchroon en kosten niets, waardoor ze het raster vormen waartegen een agent schrijft voordat hij een partij weergeeft of noten in een sessie plaatst.

De gereedschappen

• doseedo_transcribe — audio-invoer (een upload of een https-URL, inclusief een aparte stem), uitvoer als JSON. Hints om het te verbeteren: instrument ("piano", "sax", "vocals", "bass"), register, family wanneer het instrument onbekend is, polyphony — solo, poly, of section met een roster stoelen voor een hoornsectie ("trumpet,trumpet,trombone,tenor_sax"). Met tempo_bpm De noottijden worden ook in beats weergegeven. want:"f0" retourneert de doorlopende toonhoogtecontour in plaats van noten, voor glijdingen, vibrato en intonatie.
• doseedo_analyze_song — Toonsoort, bpm en een tempokaart per tel, maatsoort, downbeats, secties en akkoorden van een opname, in één synchroon gesprek.
• doseedo_detect_chords — een akkoordenschema met tijdsintervallen in seconden en tellen.
• doseedo_beat_grid — tel- en downteltijden, tellen per maat, de beatmap.
• doseedo_analyze_midi — de harmonie van de noten die je schreef, voordat je ze uitvoerde of plaatste.

Transcriptie is een asynchrone taak — de server geeft aan dat dit 15 tot 60 seconden duurt, tot twee credits kost en vaak helemaal niets kost — en wordt afgewacht met doseedo_wait_taskDe vier analysetools beantwoorden de vraag in hetzelfde gesprek en zijn gratis te gebruiken.

Echte output, op een echte steel

Om dit concreet te maken in plaats van alleen te beschrijven, volgt hier de uitleg. doseedo_analyze_song Gespeeld op een solo pianostuk uit onze openbare jamsessie, opgenomen op 15 oktober 2026, ingekort tot de gewenste vorm (het volledige stuk bevatte 421 akkoorden en 25 tempopunten):

{
  "status": "done",
  "kind": "analyze_song",
  "bpm": 91,
  "key": { "name": "C# major", "root": 1, "scale": "major", "confidence": 0.769 },
  "meter": "4/4",
  "beats_per_bar": 4,
  "chords": [
    { "chord": "F#maj7", "start": 21.03, "end": 24.09, "start_beat": 0, "end_beat": 5, "confidence": 0.73 },
    { "chord": "F#m7",   "start": 24.09, "end": 24.79, "start_beat": 5, "end_beat": 6, "confidence": 0.83 },
    { "chord": "Bm",     "start": 24.79, "end": 25.55, "start_beat": 6, "end_beat": 7, "confidence": 0.70 },
    …
  ],
  "tempo_map": [ { "bpm": 90.35, "time": 21.03 }, { "bpm": 85.91, "time": 53.03 }, { "bpm": 90.65, "time": 64.15 }, … ],
  "downbeats": [ 22.19, 24.79, 27.52, 30.20, … ],
  "sections": [ { "name": "Section A", "position_beats": 0 }, { "name": "Section A", "position_beats": 33.65 }, … ],
  "dynamics": { "fade_in_sec": 21.03, "fade_out_start": 219.82 },
  "truncated": [ { "path": "chords", "kept": 105, "total": 421 } ],
  "next": "The full result is kept: GET https://api.doseedo.com/api/jobs/ met uw sleutel."

Drie dingen om ervan af te lezen. betrouwbaarheidscijfers zijn echt. — 0,77 op de toonsoort, 0,6 tot 0,87 per akkoord — en een agent moet een akkoord van 0,6 als een concept beschouwen. tempo kaartverschuivingen (86 tot 102 bpm gedurende de hele opname) omdat een solo piano die rubato speelt geen vast ritme heeft, en dat is precies de reden waarom een partij die voor deze opname is geschreven, de kaart moet gebruiken en niet de enkele opname. bpmEn het stuk heeft een lange, stille intro: fade_in_sec: 21 Daarom begint het eerste akkoord na 21 seconden.

Loop op dezelfde steel, doseedo_detect_chords — de op de beat gebaseerde hitlijst — hoorde de opening als Ebm7 op 166,7 bpm (dubbele snelheid, dezelfde harmonie, maar dan in de parallelle mineurtoonladder) met een andere rasterindeling. Dat verschil is eerlijke informatie, geen bug: een dense of rubato-opname is de moeilijkste situatie voor beide tools, en in de handleiding zelf staat dat je akkoorden moet detecteren op een aparte harmonische stem van een mix, of op een cleane opname, voor een betrouwbare grafiek. De eerste oproep naar de analyseservice in deze opname liep ook na 45 seconden vast nadat de service inactief was geweest; de foutmelding gaf de agent de instructie om 30 seconden te wachten en het nog een keer te proberen, waarna de herhaalde poging binnen enkele seconden werd beantwoord.

Wat te vragen

> What key and tempo is ./ref.wav in, and where do the
  sections change?

> Transcribe the sax solo in ./solo.wav — tenor, monophonic —
  and show me the notes in beats at the song's tempo.

> Separate ./mix.wav, transcribe the bass stem, and put the
  notes on the Bass track of my "Bridge Demo" session.

> Here's the horn section stem: two trumpets, a trombone and
  a tenor. Give me each chair's part.

> Check the harmony of this progression I wrote before you
  render it.

De derde prompt is de reden waarom dit op de MCP staat: de notities blijven niet beperkt tot een bestand. De agent schrijft ze naar een sessiespoor met set_midi_notes (exacte noten, gespeeld door het instrument van de DAW), of zet ze om in audio met doseedo_render_midi op een gemodelleerd instrument, of geeft ze door aan een sessieopbouw. De MIDI blijft zoals aangeleverd — de server past noten nooit aan of corrigeert ze achter de rug van de agent.

Notities, geen .mid bestand — en waarom

doseedo_transcribe Retourneert noten als gestructureerde JSON in plaats van een standaard MIDI bestand, omdat een agent daarop redeneert: hij kan filteren op betrouwbaarheid en kwantiseren naar het raster. doseedo_beat_grid geretourneerd, een akkoord in stemmen splitsen of het resultaat controleren aan de hand van doseedo_analyze_midi voordat er iets wordt vastgelegd. Als een bestand het doel is, schrijven de projecttools er een: doseedo_separate_stems met include_midi En doseedo_audio_to_session importeer per-stem MIDI in een native Logic of Ableton-project, en de webtool downloads a .mid direct. Audio bij bladmuziek is de notatie aan het einde van dezelfde pijplijn.

Analyse is gratis en synchroon; transcriptie wordt licht gedoseerd (volgens het recept zijn er maximaal twee credits, geen wanneer een CPU-model het serveert); doseedo_quote prijzen van elk van hen eerst. Gesprekken kunnen per klant worden herroepen. Instellingen → API-sleutels.

Verwant

• Audio naar MIDI, in de browser
• Audio bij bladmuziek
• Stem separation boven MCP
• Geef de noten weer op een gemodelleerd instrument.
• Alle 33 gereedschappen en wat elk gereedschap doet.