서     론

   사람의 목소리를 분석하고 검사하는 방법들로는 공기 역학적 검사, 청각 심리 검사, 성대 진동 검사, 음향학적 검사, 신경 생리학적 검사 등 다양한 방법들이 있다. 이들 검사 중 목으로부터 나오는 음성 신호를 컴퓨터 등을 이용하여 음성 파형과 스펙트럼 및 스펙트로그램 등으로 시각화하고 이들을 분석함으로써 병적 음성에 대한 진단과 치료에 이용하는 것이 음향학적 검사라 할 수 있다.
   최근 들어 컴퓨터의 발달과 함께 다양한 음향학적 검사 프로그램들이 나와 있어 임상에서도 이 검사를 어렵지 않게 시행하고 결과를 분석할 수 있게 되었다. 그러나 음향학적 검사를 보다 정확하고 의미 있게 적용하여 사람의 성도를 통해 나오는 신호를 분석하기 위해서는 음파의 성질, 분석 방법에 따른 원리 그리고 이와 연관된 그림과 용어들을 이해하여야 할 필요가 있다.

음  파
   어떤 음원에서 만들어진 소리는 대기 중에 있는 공기 분자들을 움직이게 하고, 이 움직임은 인접해 있는 공기 분자들로 전달되어 운동의 물결(파동)을 일으키게 되는데, 소리는 바로 이 파동을 타고 우리 귀에 전달되게 된다. 이는 공기 중에서뿐만 아니라 물속과 같이 파동을 전달 할 수 있는 매질이 존재 하는 환경에서는 같은 원리로 소리의 전달이 이루어지며, 이와 같이 소리가 만들어 내는 파동을 음파(sound wave)라 한다.¹⁾

단순파
   음파의 가장 단순한 형태로는 단순파(simple wave)가 있는데 이 파형은 사인 곡선의 형태를 보이기 때문에 sine wave라고도 하며, 음차의 진동으로 만들어지는 소리의 파형이 이와 같은 모습이다.¹⁾²⁾
   단순파는 x축을 시간(time), y축을 진폭(amplitude)으로 하는 이차원적인 그래프로 나타낼 수 있는데(Fig. 1), 이 그래프를 보면 일정한 시간 간격으로 일정하게 오르내리는 형태가 반복되는 것을 알 수 있다. 이처럼 일정한 패턴이 반복되는 파형을 주기파(periodic wave)라 하며, 이 그래프에서는 파형의 주기(period), 주파수(frequency), 진폭(amplitude) 등이 함께 관찰될 수 있다.
   주기란 일정한 모양의 파형이 시작하여 끝나는 지점까지의 시간을 의미하며, 주파수는 1초 동안에 이러한 주기가 몇 번이나 반복되는가 하는 횟수이다. 따라서 주파수의 단위는 cps(cycle per sec) 또는 Hz(Herz)로 표시하게 된다.
   진폭은 강도(intensity)와 관계가 있는 것으로 공기 분자가 진동에 의하여 인접 공기 분자를 미는 힘을 의미한다고 할 수 있다. 그래프에서 진폭을 관찰 할 때는 y축의 최대값으로 표시 되는 최대 진폭(maximum amplitude)과 y축의 최대값과 최소 값의 차이를 의미하는 정점간 진폭(peak-to-peak amplitude)등을 보며, 소리의 상대적인 강도를 의미하는 단위로는 dB(decibel)이 사용된다.
   이러한 sine wave에서 한가지 더 생각해 볼 수 있는 것으로 위상차(phase difference)라는 것이 있는데, 이것은 간단히 이야기 해서 sine wave의 시작점의 차이라 할 수 있다(Fig. 2). Fig. 2의 A와 B에 표시된 sine wave들은 각각 동일한 주파수와 진폭을 가지고 있으나, A에서는 90도의 위상차를, B는 180도의 위상차를 보이는 것을 의미하고 있다.

복합파
   우리가 주로 관심을 갖는 목소리를 포함하여 주변에서 들을 수 있는 대부분의 소리에 대한 파형은 앞서 언급한 단순파 보다 훨씬 복잡한 형태를 가진 복합파(complex wave)이다. 복합파는 두 가지 이상의 요소가 복합된 형태의 파형을 의미하며, 복잡한 모양 속에서도 주기적으로 일정한 모양의 파형이 반복적으로 나타나는 주기파(periodic wave)와 그렇지 않은 비주기파(aperiodic wave)로 나누어볼 수 있다. 18세기에 프랑스의 수학자 푸리에(Fourier)는 모든 주기파는 그것이 아무리 복잡한 형태를 보일 지라도 일정 수의 단순파의 합이라는 사실을 발견하였는데,¹⁾²⁾ Fig. 3에서 알 수 있듯이 실선으로 표시된 복합파는 점선으로 표시된 단순파가 합쳐져서 형성된 파형이며, 주기는 0.008초, 기본 주파수(fundamental frequency)는 125 Hz 인 것을 알 수 있다. 그런데 여기서 흥미로운 점은 점선으로 표시된 단순파 각각의 주파수는 125, 250, 500 Hz이며 이들의 최대 공약수 값인 125가 세가지 단순파에 의해 형성된 복합파의 기본 주파수가 된다는 것이다.¹⁾

스펙트럼
   앞서 언급한 단순파의 경우는 그 파형만으로 파형이 갖는 진폭과 주파수등의 정보를 쉽게 알 수 있으나, 복합파의 경우는 그 파형 자체 만으로 이들이 어떤 단순파들이 복합되어 형성된 것인지를 알기가 쉽지는 않다. 따라서 프리즘을 이용하여 빛을 분석함으로써 빨강색으로부터 보라색에 이르는 빛의 성분들을 분석하는 방법과 같이, 복합파를 분석하여 이것이 어떤 단순파들의 합으로 이루어진 것인지를 보여주는 방법이 스펙트럼(spectrum) 이다.
   Fig. 4의 A에서 실선으로 보여지는 파형은 주파수와 진폭이 각각 500 Hz와 0.5, 250 Hz와 2, 125 Hz와 2인 세 개의 단순파가 합쳐져서 만들어진 복합파의 예를 보여주는 것이다. 그런데 이들을 x축을 주파수, y축을 진폭으로 나타내는 스펙트럼으로 표현하면 B의 그래프에서와 같이 복합파가 어떤 단순파들의 합으로 이루어져 있는지를 쉽게 알아볼 수 있다.¹⁾²⁾³⁾
   앞서 언급했던 단순파 및 복합파가 포함되는 주기파와 비주기파를 스펙트럼으로 분석해 보면¹⁾²⁾ 주기파의 경우는 각각의 주파수 성분이 구분이 되어 나타나는 선 스펙트럼(line spectrum)으로 표현되고(Fig. 5A and B), 비주기파의 경우는 주파수 성분이 구분되지 않고 나타나는 연속 스펙트럼의 형태를 보이는 것을 알 수 있다(Fig. 5C and D). 그런데 Fig. 5의 C와 D는 파형에서는 서로가 구분이 되는데 스펙트럼에서는 같은 모양을 나타내는 것을 알 수 있다. 이는 소리의 지속 시간과 상관없이 모든 주파수 대역에서 에너지를 나타낸다는 공통점 때문에 같은 모양의 스펙트럼을 갖게 되는 것인데, 이와 같은 현상은 시간에 대한 성분이 빠지고 주파수와 진폭의 성분에만 관심이 있는 스펙트럼의 약점이라 할 수 있다.

스펙트로그램
   앞서 언급한 스펙트럼에서 표현되지 못하는 부분인 시간의 개념을 포함시켜서 시간에 따른 주파수와 진폭(강도)에 대한 변화를 보여주는 삼차원적인 그림이 스펙트로그램(spectrogram)이다.¹⁾⁴⁾⁵⁾
   스펙트럼의 경우는 x축은 주파수, y축이 진폭(강도)인데, 스펙트로그램의 경우는 x축은 시간, y축이 주파수이며, 여기에 또 하나의 축인 z축은 진폭(강도)으로 나타낼 수 있다. 그런데 여기서 3차원의 그래프를 2차원의 평면에 나타내기 위해서, 강도를 나타내는 z축은 명암으로 표현하게 된다. 즉 진한 색으로 표현된 부분은 에너지가 집중되어 강도가 강한 부분이라 할 수 있다(Fig. 6A and B).
   따라서 어떤 음향의 파형에 대한 분석을 통해서 얻어지는 스펙트럼에 대해서, 이들을 걸러내는 분석 필터의 중심 주파수를 고정시켜놓고 분석하고자 하는 신호의 주파수를 이동시키면서 분석함으로써 얻어지는 결과가 스펙트로그램이며, 분석 필터의 크기에 따라 협대역 스펙트로그램(narrow band spectrogram)과 광대역 스펙트로그램(wide band spectrogram)으로 나누어 질 수 있다.¹⁾⁵⁾⁶⁾

필  터
   필터라는 것은 필요로 하는 주파수 대역은 통과시키거나 증폭시키고, 불필요한 주파수 대역은 약화시키는 하나의 시스템이라 할 수 있으며,⁴⁾ 이와 같은 과정을 통하여 입력된 신호를 어떻게 쪼개어 가며 분석할 것인가를 결정하는 첫 단계의 작업이라 할 수 있다. 필터에 대한 개념을 보다 쉽게 이해하기 위하여 구슬과 체의 관계로 설명한 내용이 있다.¹⁾
   지금 여기에 지름이 1, 3, 5, 7, 9, 11 mm인 다섯 종류의 구슬이 담긴 자루가 있다고 하자. 이들의 성분 비율을 알기 위해서 체눈의 크기를 1 mm에서 12 mm까지 같은 간격으로 늘려가며 눈의 크기가 가장 작은 체부터 단계적으로 체질을 하는 기계에 이 구슬을 넣었다.
   이때 체눈의 간격을 2 mm로 정하면 체눈의 크기가 각각 2, 4, 6, 8, 10, 12 mm인 6개의 체로 6단계에 걸쳐 구슬을 걸러내게 되는데, 첫 단계에서는 2 mm보다 작은 1 mm 크기의 구슬들이, 두 번째 단계에서는 4 mm보다 작은 3 mm 크기의 구슬들이 걸러질 것이고, 마지막에는 12 mm보다 작은 11 mm 크기의 구슬들이 걸러지게 될 것이다. 따라서 체눈의 간격을 2 mm로 정하면 각 지름의 구슬들이 하나하나 걸러지게 되어 자루에 담긴 구슬의 각 구성 성분의 양을 하나하나 알 수 있게 된다.
   그러나 체눈의 간격을 4 mm로 한다면 정하면 체눈의 크기가 각각 4, 8, 12 mm인 3개의 체로 3단계에 걸쳐 구슬을 걸러내게 될 것이고, 이 경우는 체눈의 크기를 2 mm로 하였을 때와 같이 구슬을 하나하나 걸러 낼 수는 없지만, 이 자루에 어떤 지름대의 구슬이 특히 많은지는 잘 알 수 있을 것이다. 물론 6단계를 거치는 체질보다는 3단계를 거치는 경우가 시간이 적게 걸릴 것이다.
   따라서 구성 성분을 하나하나 꼼꼼히 알아내고 싶다면, 많은 시간이 걸리더라도 체눈의 간격을 좁혀야 하지만, 전체적으로 어떤 지름대의 구슬이 많은지를 알고 싶다면 체눈의 간격이 넓은 것을 선택하여 훨씬 빨리 결과를 알 수 있을 것이다.
   즉 협대역 스펙트로그램이란 체눈이 좁은 체로 음향신호를 분석하는 것이며, 광대역 스펙트로그램이란 체눈이 넓은 체로 음향신호를 분석하는 것이라고 생각하면 좋을 것이다.

협대역 스펙트로그램
   협대역(narrow band) 필터란 일반적으로 45 Hz 이하의 좁은 주파수 영역의 필터로서, 협대역 필터를 이용한다는 것은 그만큼 더 촘촘한 여과기(필터)를 사용하는 것이므로, 분석하고자 하는 음향신호를 구성하고 있는 각 주파수 성분을 하나하나 세밀하게 걸러 냄으로써 음향신호가 어떤 주파수 성분으로 구성되어 있는지를 세밀하게 알아낼 수 있다.¹⁾⁴⁾⁶⁾
   즉 협대역 필터를 이용한 스팩트로그램은 Fig. 6A와 같이 각 주파수 구성 성분들이 가로줄의 선들로 관찰되는데 이들은 음파의 기저 주파수와 기저 주파수의 배수인 배음들이 강화되어 나타나는 에너지의 분포를 의미하며, 가로선의 진하기는 각 성분 주파수의 강도와 일치하게 된다.¹⁾

광대역 스펙트로그램
   광대역(wide band) 필터란 일반적으로 300 Hz 이상의 넓은 주파수 영역의 필터로서, 협대역 스펙트로그램에서와 같이 분석하고자 하는 음향신호를 구성하고 있는 각 주파수 성분을 하나하나 세밀히 걸러 낼 수는 없지만, 특별히 강한 음향 에너지가 집중되어 있는 주파수 대역이 어디이며, 또 그것이 시간에 따라 어떻게 변하는가를 잘 관찰 할 수 있다.¹⁾⁴⁾⁶⁾
   즉 광대역 스펙트로그램은 Fig. 6B와 같이 세로줄이 관찰되고 가로로 굵은 띠들이 관찰되며, 가로로 보이는 굵은 띠는 음형대(formant)를 나타낸다.
   여기서, formant에 대하여 간단히 알아보면, 특정 주파수들을 가진 소리가 공명기(resonator)를 통과하여 지나갈 때, 이들은 공명기로부터 이루어진 공명(resonance)에 의하여 큰 진폭을 가진 소리가 되어 나오게 되고, 이들은 공명기의 모양과 형태에 따라 공명기에 적절하게 일치되는 주파수로 조정이 되는데 이를 공명 주파수(resonance frequency)라 한다. 그런데 인간의 성도에 의해 공명이 이루어 진 경우는 이와 같은 공명들을 formant라 하고, 공명 주파수를 formant frequency라 한다.⁷⁾⁸⁾
   Formant에 대한 연구는 스펙트로그램의 출현과 함께 발전되어, 이들의 형성 위치와 형태에 따라 모음의 성질을 결정하고, 성악가의 목소리가 일반인들과 다른 이유에 대한 연구도 다양하게 이루어지게 되었다.^7)8)9)10)

디지털 녹음
   최근 컴퓨터의 발달로 과거 스펙트로그래프에서 수작업을 통하여 하나하나 분석하였던 것을 컴퓨터를 이용하여 보다 정확하고 신속하게 결과를 분석하게 되었는데, 이는 음향신호를 분석함에 있어서 가히 혁명적인 발전이라 할 수 있다.⁴⁾
   컴퓨터는 모든 정보를 2진법에 기초한 숫자를 담고 있기 때문에, 연속된 음의 형태(analogue signal)로 나타나는 음향신호를 숫자화시켜 컴퓨터로 저장하는 작업(digital signal processing of speech)이 필요하다. 이 과정을 AD conversion(analogue-to-digital conversion)이라 하며 컴퓨터를 이용한 음성 분석 프로그램들은 이 과정을 통하여 정보를 저장하고 분석하게 된다.¹⁾⁴⁾ 반대로 컴퓨터에 저장된 소리를 스피커를 통하여 우리의 귀로 듣게 된다면 이 과정은 DA conversion(digital-to-analogue conversion)과정을 거쳐 소리가 들리게 된 것이라 생각하면 옳다.
   따라서 음성 분석 프로그램을 제대로 사용하기 위해서는 디지털 녹음과 관련된 기본적인 개념인 표본추출률(sampling rate)과 양자화(quantization)에 대하여 알아둘 필요가 있다.

표본추출률
   음성 분석 프로그램을 사용하기 위하여 사람의 말이나 목소리를 컴퓨터 안으로 녹음시키고자 할 때 가장 먼저 결정해야 할 것이 sampling rate을 어떻게 할 것인가 하는 점이다. 각각의 프로그램에 따라 sampling rate이 정해져 있는 경우도 있고 직접 숫자를 입력해야 하는 경우도 있는데 이 값을 제대로 선택하여야만 정확한 결과를 얻어 낼 수 있기 때문에 sampling rate이라는 것이 무엇인지를 정확하게 인지하고 있어야 한다.
   Sampling rate이라는 것은 간단히 말해서 연속적인 형태의 신호(analogue signal)인 원래 음향신호에 1초당 몇 개의 점을 선택하여 이를 숫자화 시켜 컴퓨터에 정보를 저장할 것인가 하는 것이다. 즉, sampling rate이 높다는 것은 그만큼 많은 점을 찍어서 원래의 신호에 대한 정보를 저장한다는 것을 의미하며 반대로 낮다는 것은 적은 점을 찍어서 정보를 저장한다는 것을 의미한다.
   따라서 연속되어 있는 신호에서 몇 개의 점을 찍어야 원래 신호의 정보를 가장 효율적으로 잃지 않고 저장할 수 있을까 하는 것인데, 결론부터 이야기 하면 검사자가 관찰하고자 하는 최대 주파수 영역의 2배에 해당하는 값을 선택하면 된다. 즉 4000 Hz까지를 관심 있게 보고자 한다면 sampling rate을 최소한 8000 Hz이상으로 선택하면 된다. 다시 말해서 1초당 8000개의 점을 찍어주어야 한다는 것이다. 관심 있는 주파수 영역의 2배에 해당하는 sampling rate을 선택하여야 한다는 개념은 Fig. 7에서 알 수 있듯이, 단순파가 1회 진동할 때 최소한 a점과 b점의 두 개를 선택하면 그 단순파와 유사한 모양을 얻어 낼 수 있기 때문이다. 이는 sampling rate을 적절하게 선택한다면 sampling signal은 원래의 analogue signal과 동일한 정보를 갖게 된다는 Nyquist’s sampling theory에 의하여 합리화 될 수 있고 이는 analogue 형태의 signal을 digital computer에 적용시킬 수 있는 기본 개념이 될 수 있다.⁴⁾
   만일 관찰하고자 하는 영역의 최대 주파수의 2배 이하에 해당하는 sampling rate을 선택하게 된다면 원래의 analogue signal에 대한 충분한 정보를 분석할 수 없게 되므로 중요한 오류(aliasing error)를 초래하게 되며(Fig. 8), 반대로 2배 이상의 sampling rate을 선택하게 된다면 충분한 정보를 얻게 되어 분석 결과에는 아무런 문제가 없으나, 지나치게 sampling rate이 높게 되면 방대한 양의 정보를 분석하게 되므로 많은 시간과 공간이 필요하게 된다는 문제점이 있다. 따라서 사람의 목소리를 분석할 때는 관찰하고자 하는 주파수의 2배의 sampling rate이면 충분하고, 우리가 듣는 CD음악의 경우는 sampling rate을 보통 4,4000 Hz까지 선택하기도 한다.

양자화
   표본추출률(sampling rate)이 주파수와 연관된 정보를 얻는 과정이라면 양자화(quantization)는 진폭(amplitude)에 관련된 정보를 얼마나 자세히 담을 것인가를 결정하는 과정이며, 단위는 2진법을 기초로 하는 비트(bit)라는 단위를 사용한다. 이 과정 역시 sampling rate의 과정과 마찬가지로, 연속된 amplitude level을 개개의 숫자들로 자르는 과정을 거치는 것인데(Fig. 9), 이때 진폭의 정보를 자세하게 저장하면 할수록 원래 analogue signal의 모양과 비슷해 질 것이다.
   Sampling rate을 결정할 때와 같이 양자화 과정에서도 quantization level 이라는 것을 결정해야 하는데, quantization level은 경험에 따른 선택을 하며, 일반적으로 사람의 목소리는 12-bit conversion(2¹²=4,096 quantization level) 이상으로 양자화되는 것이 좋으며, 음악 CD의 경우는 보통 2¹⁶, 즉 65,536 quantization level로 양자화를 선택 한다.¹⁾⁴⁾
   양자화의 경우도 quantization level이 너무 낮으면 quantization noise라 불리 우는 오류가 발생할 수 있으므로 이러한 quantization noise를 가능한 줄이는 것이 분석에 있어서 정확한 결과를 얻어내게 된다.
   그러나 실제 일반적인 음성 분석에 이용되는 프로그램들에서는 quantization level이 자체적으로 조절되어 나오므로, 따로 설정을 해 줄 필요는 없다.
   이와 같이 몇 가지 과정을 거치고 난 후 signal은 컴퓨터로 저장되기 위하여 기호화(encoding)되고 signal은 연속적인 신호에서 불연속 적인 신호로 그 형태가 바뀌게 되며 이로써 AD conversion이 완성되게 된다.

Fast Fourier Transform(FFT)과 Linear Predictive Coding(LPC)
   앞서 언급한 바와 같이 디지털 녹음 과정을 거친 signal은 연속적인 신호에서 불연속 적인 신호로 그 성질이 바뀌게 되어 디지털 신호의 형태로 컴퓨터에 저장이 된다.
   디지털 신호는 몇 가지 수학적 변환을 통하여 각 주파수에 대한 분석이 이루어지는데, 디지털 신호와 같이 불연속 형태의 신호를 분석하여 얻어진 스펙트럼은 불연속 푸리에 변환(discrete Fourier Transform, DFT)에 의하여 얻어지며, 현재 널리 쓰이는 분석 방법으로는 DFT를 빠르게 계산해내는 고속 푸리에 변환(Fast Fourier Transform, FFT)이 있다. 음성 신호 분석에 많이 이용되고 있는 스펙트로그램 이나 FFT 스펙트럼(Fig. 10)은 DFT에 의한 주파수 분석 결과의 예이다.¹⁾
   FFT 스팩트럼에서 관찰되는 배음들에 대한 단면을 보다 완만한 선으로 예상하여 각 배음들에 대한 formant의 양상을 쉽게 알 수 있는 스펙트럼의 형태로 변환시키는 선형 예측 부호화(Linear Predictive Coding, LPC)는 또 다른 분석 방법에 의한 것으로 특별한 digital filter를 이용한 분석 방법이라 할 수 있다(Fig. 11).

결     론

   가장 기본적인 파형부터 이들이 합쳐졌을 때 어떤 성질을 가지게 되는지를 살펴 보았고, 이와 같이 함께 뒤섞여 있는 파형들을 하나하나 분석해 내는 원리에 대해서도 간략하게 알아 보았다.
   음향신호에 대한 분석 결과를 알아내기 위해서는 앞서 언급되었듯이 매우 복잡한 수학적 변환이 필요하기는 하나, 컴퓨터의 발달로 이와 같은 과정을 쉽게 해결할 수 있게 되었고, 따라서 이비인후과 의사가 임상 분야에서 병적 음성을 분석하는 데에도 손쉬운 적용이 가능하게 되었다.
   그러나 분석 과정에 대한 기본원리들을 이해하고 있어야만, 보다 효과적이고 정확하게 음향학적 분석과 관련된 응용 프로그램들을 적용할 수 있을 것으로 생각된다.

1. Shin JY. Understanding of speech. 2nd ed. Seoul: Hankookmunhwasa;2001. p.125-62.

2. Baken RJ, Orlikoff RF. Clinical measurement of speech and voice. 2nd ed. USA: Singular publishing group;2000.

3. Kerst LG. Amplitude cross-section representation with the sound spectrograph. J Acous Soc Am 1948;20:796-801.

4. Kent RD, Read CR. The acoustic analysis of speech. 2nd ed. Canada: Singular publishing group;2002. p.53-103.

5. Baken RJ, Daniloff RG. Reading in clinical spectrography and speech. 2 ed. San Diego: Singular publishing group and Kay elemetrics Corp;1991.

6. Hong KH. Voice disorders. In: Kim JS. Otorhinolaryngology Head and Neck Surgery. Inchokak;2002. p.1580-600.

7. Sundberg J. Vocal tract resonance. In: Satalloff RT. The Professional Voice: The Science and Art of Clinical Care. 2nd ed. New York: Raven Press;1991.

8. Titze IR. Principle of voice production. 2nd ed. New Jersey: Prentice hall;2000.

9. Titze IR, Jin SM. Is there evidence of second Singer's formant? Singing;2003. p.329-31.

10. Borden GJ, Harris KS. Speech science primer. 2nd ed. Bltimore/London: Williams &Wilkins;1980.