Algorytmy określania klucza próbki audio

Przez ponad dwa lata pracowałem nad problemem przepisywania polifonicznych nagrań CD na partytury. Problem jest notorycznie trudny. Pierwsze prace naukowe związane z tym problemem pochodzą z lat 40. i do dziś nie ma solidnych rozwiązań dla ogólnego przypadku.

Wszystkie podstawowe założenia, które zwykle czytasz, nie są dokładnie poprawne i większość z nich jest na tyle zła, że stają się bezużyteczne dla wszystkiego, ale bardzo prostych scenariuszy.

The częstotliwości podtekstów są , a nie wielokrotnościami częstotliwości podstawowej - istnieją nieliniowe efekty tak, że wysokie częściowe oddalają się od oczekiwanej częstotliwości - a nie tylko kilka herców; nie jest niczym niezwykłym znalezienie 7 częściowej tam, gdzie oczekiwano 6.

Transformacje Fouriera robią Nie dobrze się bawią w analizę dźwięku, ponieważ częstotliwości, którymi się interesuje, są rozmieszczone logarytmicznie, podczas gdy transformacja Fouriera daje liniowo rozmieszczone częstotliwości. Przy niskich częstotliwościach potrzebujesz wysokiej rozdzielczości częstotliwości, aby oddzielić sąsiednie boiska - ale to daje złą rozdzielczość czasu i tracisz możliwość oddzielnych nut granych w krótkim odstępie czasu.

Nagranie audio (prawdopodobnie) Nie zawiera wszystkie informacje potrzebne do odtworzenia partytury. Duża część naszego postrzegania muzyki dzieje się w naszych uszach i mózgu. Dlatego jednymi z najbardziej udanych systemów są systemy eksperckie z dużymi repozytoriami wiedzy na temat struktura (zachodniej) muzyki, która polega tylko na niewielkiej części przetwarzania sygnału, aby wydobyć informacje z nagrania audio.

Kiedy wrócę do domu, przejrzę gazety, które przeczytałem i wybieram 20 lub 30 najbardziej istotnych i dodam je tutaj. Naprawdę sugeruję, aby je przeczytać, zanim zdecydujesz się coś wdrożyć - jak stwierdzono wcześniej, większość typowych założeń jest nieco niepoprawna i naprawdę nie chcesz odkrywać na nowo tych wszystkich rzeczy znalezionych i analizowanych przez ponad 50 lat roku podczas wdrażania i testowania.

To trudny problem, ale i zabawa. Naprawdę chciałbym usłyszeć, co próbowałeś i jak dobrze to działało.

Na razie możesz przyjrzeć się stałej transformacji Q, rozkładowi Cepstrum i Wignera (- Ville). Istnieją również dobre prace na temat tego, jak wyodrębnić częstotliwość ze przesunięć w fazie krótkiego czasu widma Fouriera-pozwala to na użycie bardzo krótkich rozmiarów okien (dla wysokiej rozdzielczości czasowej), ponieważ częstotliwość może być wyznaczana z precyzją kilka 1000 razy większa niż rozdzielczość częstotliwości podstawowej transformacji Fouriera.

Wszystkie te transformacje pasują do problemu przetwarzania dźwięku znacznie lepiej niż zwykłe transformacje Fouriera. Aby poprawić wyniki podstawowych przekształceń, przyjrzyj się koncepcji ponownej alokacji energii.

Możesz użyć transformaty Fouriera do obliczenia widma częstotliwości z próbki audio. Z tego wyjścia można użyć wartości częstotliwości dla poszczególnych nut , aby przekształcić to w listę nut słyszanych podczas próby. Wybór najsilniejszych dźwięków słyszanych na próbkę w stosunku do serii próbek powinien dać przyzwoitą mapę różnych użytych nut, które można porównać do różnych skal muzycznych , aby uzyskać listę możliwych skal, które zawierają ta kombinacja nut.

Aby pomóc zdecydować, która skala jest używana, zanotuj (nie zamierzony kalambur) najczęściej słyszanych nut. W muzyce zachodniej rdzeniem skali jest najczęściej słyszana nuta, po której następuje piąta, a następnie czwarta. Można również szukać wzorców, takich jak wspólne akordy, arpeggios , or progressions .

Rozmiar próbki prawdopodobnie będzie tutaj ważny. Idealnie, każda próbka będzie pojedynczą nutą (aby nie dostać dwa akordy w jednej próbce). Jeśli filtrujesz i koncentrujesz się na niskich częstotliwościach, możesz użyć skoków głośności ("kliknięć") normalnie związanych z instrumentami perkusyjnymi, aby określić tempo utworu i" zablokować " algorytm do rytmu muzyki. Zacznij od próbek o długości do połowy i dostosuj stamtąd. Przygotuj się na wyrzucenie niektórych próbek, które nie mają zbyt wielu przydatnych danych (takich jak próbka pobrana w środku zjeżdżalni).

O ile mogę powiedzieć z tego artykułu, różne klawisze mają swoje wspólne częstotliwości, więc prawdopodobnie analizuje próbkę audio, aby wykryć, jakie są najczęstsze nuty i akordy. W końcu możesz mieć wiele klawiszy, które mają tę samą konfigurację ostrych i płaskich, z tą różnicą, że klawisz zaczyna się, a tym samym akordy, które takie klawisze, więc wydaje się, jak często pojawiają się znaczące nuty i akordy, byłoby jedynym realnym sposobem, w jaki można się domyślić, że coś w tym stylu. Nie sądzę, aby można było uzyskać laikowi Wyjaśnienie rzeczywistych formuł matematycznych bez pomijania wielu informacji.

Należy pamiętać, że pochodzi to od kogoś, kto nie ma absolutnie żadnego doświadczenia w tej dziedzinie, z jego pierwszym narażeniem jest artykuł połączony w tej odpowiedzi.

To skomplikowany temat, ale prosty algorytm wyznaczania pojedynczego klucza (pojedynczej nuty) wyglądałby tak:

Wykonaj transformację Fouriera na powiedzmy 4096 próbkach (dokładny rozmiar zależy od wymagań rozdzielczości) Na części próbki, która zawiera notatkę. Określ szczyt mocy w widmie-jest to częstotliwość nuty.

Robi się coraz ciaśniej, jeśli masz akord, różne "instrumenty/efekty" lub nie homofoniczny wzorzec muzyczny.

Najpierw potrzebny jest algorytm detekcji pitch (np. autokorelacja).

Możesz użyć algorytmu detekcji skoku, aby wyodrębnić skok w wielu krótkich oknach czasowych. Następnie musisz sprawdzić, do którego klucza muzycznego najlepiej pasują samplowane Dźwięki.

Jeśli chcesz sklasyfikować kilka piosenek teraz, to crowd-source problem z czymś w rodzaju Mechanical Turk .

Analiza klucza to nie to samo, co analiza boisk. Niestety całe pojęcie tonacji jest nieco niejednoznaczne, różne definicje zazwyczaj mają tendencję do dzielenia się tylko pojęciem Toniki, tj. centralnego dźwięku/akordu. Nawet jeśli istniał dobry system automatycznej transkrypcji, nie ma wiarygodnego algorytmu wyznaczania klucza.