1 Metody syntezy dźwiękuSławomir K. Zieliński Politechnika Gdańska Wydział Elektroniki, Telekomunikacji i Informatyki Katedra Inżynierii Dźwięku

2 zastosowanie syntezy dźwiękuwprowadzenie zastosowanie syntezy dźwięku elektroniczne instrumenty muzyczne komputerowe karty dźwiękowe systemy multime-dialne systemy telekomunika-cyjne

3 metody syntezy dźwiękuwprowadzenie metody syntezy dźwięku przetwarzanie zapisu metody widmowe algorytmy abstrakcyjne modelowanie fizyczne

4 wprowadzenie - schemat syntetyzera

5 główne elementy torów syntezy:wprowadzenie główne elementy torów syntezy: EG (ang. Envelope Generator) - generator obwiedni LFO (ang. Low Frequency Oscillator) generator wolnych przebiegów - VCA - (ang. Voltage Controlled Amplifier) wzmacniacz sterowany napięciowo VCF - (ang. Voltage Controlled Filter) - filtr sterowany napięciowo

6 wprowadzenie - obwiednia dźwięku

7 rodzaje syntetyzerów:wprowadzenie rodzaje syntetyzerów: polifoniczne monofoniczne jednobrzbieniowe wielobrzmieniowe (ang. multitimbral)

8 metody syntezy dźwiękuwprowadzenie metody syntezy dźwięku przetwarzanie zapisu metody widmowe algorytmy abstrakcyjne modelowanie fizyczne sampling metoda tablicowa

9 przetwarzanie zapisu - schemat samplera

10 przetwarzanie zapisu Jaka różnica? syntetyzer tablicowy sampler syntetyzer tablicowy = sampler bez możliwości nagrywania dźwięków i ich edycji

11 przetwarzanie zapisu zaleta: wysoka wierność brzmień wady: wymagane duże pojemności pamięci małe możliwości artykulacyjne

12 metody syntezy dźwiękuplan wykładu metody syntezy dźwięku przetwarzanie zapisu metody widmowe algorytmy abstrakcyjne modelowanie fizyczne metoda subtraktywna metoda addytywna

13 metody widmowe - metoda subtraktywna

14 metody widmowe - metoda subtraktywna

15 metody widmowe - metoda subtraktywnaak i br - współczynniki filtru, u(n) - wymuszenie (ciąg innowacji), x(n) - n-ta próbka sygnału syntetycznego, G - wzmocnienie filtru.

16 metody widmowe - metoda subtraktywna

17 metody widmowe - metoda subtraktywnazalety: mała złożoność obliczeniowa interesujące brzmienia możliwość zastosowania do syntezy mowy wady: niezadowalająca wierność brzmień

18 metody widmowe - metoda addytywna

19 metody widmowe - metoda addytywna

20 metody widmowe - metoda addytywnax(n) - sygnał syntetyczny w chwili „nT” T  okres próbkowania Ak(n) - wartość amplitudy n-tej próbki k-tej składowej, pojawiającej się z okresem T, 2 nTFk(n) - nieliniowa poprawka fazy, M - liczba składowych, 1 - pulsacja składowej podstawowej

21 metody widmowe - metoda addytywna

22 metody widmowe - metoda addytywnaPV ang. Phase Vocoder fn = nf1 MQ McAulay i Quatieri fn nie musi być = nf1

23 sposoby kompresji danych:metody widmowe - metoda addytywna sposoby kompresji danych: aproksymacja łamanymi synteza addytywna grupowa

24 metody widmowe - metoda addytywna grupowa

25 metody widmowe - metoda addytywnaefekty dodatkowe: kompresja lub ekspansja czasowa dźwięku transpozycja dźwięku redukcja szumu

26 metody widmowe - metoda addytywnazaleta: wysoka wierność brzmienia wady: duża złożoność obliczeniowa trudność w doborze widm bazowych (w przypadku metody addytywnej grupowej)

27 metody syntezy dźwiękuplan wykładu metody syntezy dźwięku przetwarzanie zapisu metody widmowe algorytmy abstrakcyjne modelowanie fizyczne FM metoda przekształcania fali algorytmy oparte na zjawiskach chaosu

28 częstotliwość modulującaalgorytmy abstrakcyjne - FM amplituda częstotliwość nośna okres próbkowania częstotliwość modulująca indeks modulacji

29 algorytmy abstrakcyjne - FM

30 algorytmy abstrakcyjne - FM

31 Jn - funkcja Bessela n-tego rzędualgorytmy abstrakcyjne - FM Jn - funkcja Bessela n-tego rzędu

32 algorytmy abstrakcyjne - FM

33 algorytmy abstrakcyjne - FMzaleta: mała złożoność obliczeniowa wady: zła wierność brzmienia trudność w doborze parametrów

34 algorytmy abstrakcyjne - przekształcanie fali

35 algorytmy abstrakcyjne - przekształcanie fali

36 wielomiany Czebyszewa:algorytmy abstrakcyjne - przekształcanie fali wielomiany Czebyszewa: własność:

37 algorytmy abstrakcyjne - przekształcanie faliWidmo dźwięku fagotu o wysokości a1 (440 Hz) w stanie quasi-ustalonym: (a) dźwięk oryginalny; (b) dźwięk syntetyczny uzyskany metodą przekształcania fali. Podczas syntezy uwzględniono dwadzieścia harmonicznych

38 algorytmy abstrakcyjne - przekształcanie fali

39 algorytmy abstrakcyjne - przekształcanie falizaleta: mała złożoność obliczeniowa możliwość analitycznego obliczenia funkcji przekształcającej wada: trudność generacji widma ewolucyjnego trudność generacji widma nieharmonicznego

40 algorytmy abstrakcyjne - fraktalefunkcja Weierstrassa: samopodobieństwo gdy M  ,   to a więc

41 algorytmy abstrakcyjne - fraktalePrzykład niezmienności fraktali: (a) wykres oryginalnej funkcji Weierstrassa w(t); (b) wykres przeskalowanej funkcji Weierstrassa w(t / 2). Jak widać, wykresy te są jakościowo podobne do siebie. Ze względu na ich podobieństwo, słuchowo percypowana wysokość dźwięku jest taka sama, natomiast występuje nieznaczna różnica brzmienia. W przypadku klasycznych funkcji dźwięki te różniłyby się o oktawę, tzn. dźwięk reprezentowany na wykresie dolnym byłby oktawę niższy. Przy wykreślaniu powyższych funkcji oraz podczas syntezy dźwięku założono następujące parametry:  = 1,  = 2, M = 7. Ze względu na wykorzystanie funkcji Weierstrassa do syntezy dźwięku w obu przypadkach oryginalne równanie (8-9) dodatkowo przeskalowano o czynnik 2  f1, gdzie f1 = 50 Hz. Fraktale można z powodzeniem zastosować do generowania znanych z psychoakustyki tonów Sheparda i Risseta

42 algorytmy abstrakcyjne - fraktaleWidma dźwięków uzyskanych na podstawie funkcji wykreślonych na rys. 8-15: (a) funkcja Weierstrassa w(t); (b) przeskalowana funkcja Weierstrassa w(t / 2). Postrzegana słuchowo wysokość powyższych dźwięków jest taka sama, różnica występuje jedynie w ich barwie (dźwięk z rysunku (b) posiada barwę „ciemniejszą”)

43 algorytmy abstrakcyjne - fraktalezaleta: oszczędność obliczeniowa wada: trudność identyfikacji parametrów mała wierność dźwięków

44 n - ta próbka generowanego sygnałualgorytmy abstrakcyjne - generatory chaotyczne współczynniki n - ta próbka generowanego sygnału

45 algorytmy abstrakcyjne - generatory chaotycznegenerator Chua

46 algorytmy abstrakcyjne - generatory chaotycznezaleta: oszczędność obliczeniowa wada: trudność identyfikacji parametrów mała wierność dźwięków

47 plan wykładu metody syntezy dźwięku przetwarzanie zapisumetody widmowe algorytmy abstrakcyjne modelowanie fizyczne metoda matematyczna metoda falowodowa

48 modelowanie fizyczne - metoda matematycznainstrument muzyczny model matematyczny dźwięk

49 modelowanie fizyczne - metoda matematycznainstrument muzyczny model matematyczny dźwięk

50 modelowanie fizyczne - metoda matematyczna

51 modelowanie fizyczne - metoda matematycznazaleta: aspekt poznawczy możliwość efektywnego symulowania artykulacji wady: duża złożoność obliczeniowa mała wierność brzmień

52 modelowanie fizyczne - metoda falowodowaang. waveguide synthesis (waveguide modeling) J.O. Smith (Uniwersytet w Stanford) początek lat 90-tych duża popularność metody zastosowania w instrumentach i w komputerowych kartach dźwiękowych

53 modelowanie fizyczne - metoda falowodowarównanie falowe: rozwiązanie ogólne: fale bieżące

54 modelowanie fizyczne - metoda falowodowafale bieżące po spróbkowaniu:

55 modelowanie fizyczne - metoda falowodowa

56 modelowanie fizyczne - metoda falowodowamodelowanie sztywnych zakończeń

57 modelowanie fizyczne - metoda falowodowawypadkowe wychylenie struny (linia ciągła) fale bieżące (linie przerywane)

58 modelowanie fizyczne - metoda falowodowawarunki początkowe (pobudzenie szarpnięciem oraz młoteczkiem)

59 modelowanie fizyczne - metoda falowodowa

60 modelowanie fizyczne - metoda falowodowamodel Karplusa - Stronga (KS)

61 modelowanie fizyczne - metoda falowodowamodel Karplusa - Stronga (KS) z filtrem wszechprzepustowym

62 modelowanie fizyczne - metoda falowodowa

63 modelowanie fizyczne - metoda falowodowa

64 modelowanie fizyczne - metoda falowodowa

65 model falowodowy

66 modelowanie fizyczne - metoda falowodowazaleta: możliwość efektywnego symulowania artykulacji oszczędność obliczeniowa wady: trudność opracowywania modeli mała wierność dźwięku w stanie ustalonym