Dźwięk do MIDI od agenta AI przez MCP

Opublikowano w październiku 2026 r.

Transkrypcja Doseedo i jego analiza muzyczna to narzędzia na serwerze MCP. Połącz go, a agent przepisze nagranie do notatki — wysokość dźwięku, początek, przesunięcie, prędkość, pewność — z modelami dla poszczególnych instrumentów za jedną powierzchnią i odpowiada na pytania wokół nich: co klawisz czy to jest w tym, co tempo i miernik, gdzie są przygnębiające uderzenia, jakie są akordy, i ta część, którą właśnie napisałem, jest harmonijnie spójna. Narzędzia analityczne są synchroniczne i nic nie kosztują, co czyni je siatką, w której agent zapisuje dane przed wyrenderowaniem części lub umieszczeniem notatek w sesji.

Narzędzia

• doseedo_transcribe — dźwięk wejściowy (przesłany plik lub dowolny adres URL https, w tym oddzielona ścieżka), notatki wyjściowe w formacie JSON. Wskazówki: instrument ("piano", "sax", "vocals", "bass"), register, family gdy instrument jest nieznany, polyphony — solo, poly lub section z roster krzeseł dla sekcji dętej ("trumpet,trumpet,trombone,tenor_sax"). Z tempo_bpm Czasy nut podawane są również w uderzeniach. want:"f0" zwraca ciągły kontur wysokości dźwięku zamiast nut, w przypadku ślizgów, wibrata i intonacji.
• doseedo_analyze_song — tonacja, bpm i mapa tempa na uderzenie, metrum, uderzenia w dół, sekcje i akordy nagrania, w jednym synchronicznym wywołaniu.
• doseedo_detect_chords — diagram akordów z rozpiętościami w sekundach i uderzeniach.
• doseedo_beat_grid — czasy uderzeń i taktów, liczba uderzeń na takt, mapa uderzeń.
• doseedo_analyze_midi — harmonia notatek, które napisałeś, przed ich wygenerowaniem lub umieszczeniem.

Transkrypcja to praca asynchroniczna — przepis serwera mówi o 15 do 60 sekundach, do dwóch kredytów, a często wcale — oczekiwana z doseedo_wait_taskCztery narzędzia analityczne odpowiadają na to samo połączenie i są bezpłatne.

Rzeczywisty wynik na rzeczywistym źródle

Aby to uszczegółowić, a nie opisać, oto doseedo_analyze_song odtwarzane na solowym instrumencie fortepianowym z naszego publicznego zestawu jam, nagranego 15.10.2026, przyciętego do odpowiedniego kształtu (pełna odpowiedź zawierała 421 akordów i 25 punktów mapy tempa):

{
  "status": "done",
  "kind": "analyze_song",
  "bpm": 91,
  "key": { "name": "C# major", "root": 1, "scale": "major", "confidence": 0.769 },
  "meter": "4/4",
  "beats_per_bar": 4,
  "chords": [
    { "chord": "F#maj7", "start": 21.03, "end": 24.09, "start_beat": 0, "end_beat": 5, "confidence": 0.73 },
    { "chord": "F#m7",   "start": 24.09, "end": 24.79, "start_beat": 5, "end_beat": 6, "confidence": 0.83 },
    { "chord": "Bm",     "start": 24.79, "end": 25.55, "start_beat": 6, "end_beat": 7, "confidence": 0.70 },
    …
  ],
  "tempo_map": [ { "bpm": 90.35, "time": 21.03 }, { "bpm": 85.91, "time": 53.03 }, { "bpm": 90.65, "time": 64.15 }, … ],
  "downbeats": [ 22.19, 24.79, 27.52, 30.20, … ],
  "sections": [ { "name": "Section A", "position_beats": 0 }, { "name": "Section A", "position_beats": 33.65 }, … ],
  "dynamics": { "fade_in_sec": 21.03, "fade_out_start": 219.82 },
  "truncated": [ { "path": "chords", "kept": 105, "total": 421 } ],
  "next": "The full result is kept: GET https://api.doseedo.com/api/jobs/ za pomocą klucza."}

Trzy rzeczy, które należy z niego odczytać. liczby dotyczące zaufania są prawdziwe — 0,77 na tonacji, 0,6 do 0,87 na akord — a agent powinien traktować akord 0,6 jako szkic. dryfuje mapa tempa (86 do 102 uderzeń na minutę w całym ujęciu), ponieważ fortepian solo grający rubato nie ma ustalonej siatki, dlatego partia napisana w oparciu o to nagranie powinna korzystać z mapy, a nie z pojedynczego utworu bpm. A utwór ma długi, cichy wstęp: fade_in_sec: 21 dlatego pierwszy akord zaczyna się w 21 sekundzie.

Biegnij na tym samym łodydze, doseedo_detect_chords — wykres z rytmem — usłyszałem początek jako Ebm7 w tempie 166,7 uderzeń na minutę (w metrum podwójnym, ta sama harmonia zapisana z molowej) z inną siatką. Ta rozbieżność to uczciwa informacja, a nie błąd: nagranie gęste lub rubato to trudny przypadek dla obu narzędzi, a notatka w przepisie zaleca wykrywanie akordów na oddzielonej harmonicznej w miksie lub na czystym ujęciu, aby uzyskać wykres, któremu można zaufać. Pierwsze wywołanie usługi analizy w tym przechwyceniu również przekroczyło limit czasu po 45 sekundach od momentu, gdy usługa była bezczynna; błąd nakazał agentowi odczekać 30 sekund i spróbować ponownie, a ponowna próba została odebrana po kilku sekundach.

O co pytać

> What key and tempo is ./ref.wav in, and where do the
  sections change?

> Transcribe the sax solo in ./solo.wav — tenor, monophonic —
  and show me the notes in beats at the song's tempo.

> Separate ./mix.wav, transcribe the bass stem, and put the
  notes on the Bass track of my "Bridge Demo" session.

> Here's the horn section stem: two trumpets, a trombone and
  a tenor. Give me each chair's part.

> Check the harmony of this progression I wrote before you
  render it.

Trzecia prośba dotyczy celu, dla którego jest ona dostępna w MCP: notatki nie zatrzymują się na pliku. Agent zapisuje je na ścieżce sesji za pomocą set_midi_notes (dokładne nuty, grane przez instrument DAW) lub renderuje je jako dźwięk za pomocą doseedo_render_midi na modelowanym instrumencie lub przekazuje je do kompilacji sesyjnej. MIDI pozostaje niezmienione — serwer nigdy nie zmienia ani nie poprawia nut za plecami agenta.

Notatki, nie plik .mid — i dlaczego

doseedo_transcribe zwraca notatki w postaci ustrukturyzowanego JSON a nie standardowego pliku MIDI, ponieważ tak właśnie rozumuje agent: może filtrować według pewności, kwantyzować do siatki doseedo_beat_grid zwrócono, podzielono akord na głosy lub porównano wynik z doseedo_analyze_midi zanim cokolwiek zostanie zatwierdzone. Jeśli celem jest plik, narzędzia projektu go zapisują: doseedo_separate_stems z include_midi I doseedo_audio_to_session wstawić MIDI per-stem do natywnego projektu Logic lub Ableton i narzędzie internetowe pobiera .mid bezpośrednio. Audio do nut jest końcem notacji tego samego potoku.

Analiza jest bezpłatna i synchroniczna; transkrypcja jest delikatnie mierzona (przepis mówi o maksymalnie dwóch kredytach, żadnego, gdy obsługuje to model CPU); doseedo_quote ceny każdego z nich. Połączenia są odwoływalne dla każdego klienta od Ustawienia → Klucze API.

Powiązany

• Audio do MIDI w przeglądarce
• Audio do nut
• Stem separation nad MCP
• Odtwarzaj nuty na modelowanym instrumencie
• Wszystkie 33 narzędzia i ich zastosowanie