Universidad del Quindío, López Orozco. Procesamiento Digital de Señales.
1
Sintetizador de Voz Basado en LPC Gerardo Andrés López
[email protected] Universidad del Quindío
otro lado, también se da un cambio en la presión del aire al salir a través de los pliegues vocales. Todo ello produce una vibración que al resonar por la laringe produce el sonido. Un sonido tiene tres cualidades básicas; el tono o altura, volumen o intensidad y el timbre o resonancia. Al espacio situado entre dos cuerdas vocales se llama glotis, variando este espacio el cuerpo consigue dar al sonido las cualidades adecuadas de tono y volumen. La cualidad del timbre la determina la posición resonadora de la garganta, boca y nariz, que son cavidades que modulan y Palabras clave — Sintetizador, detector de voz, filtro preénfasis, segmento, autocorrelación, periodo, coeficientes, amplifican el sonido de la laringe. Resumen — Este
trabajo presenta el diseño de un sistema de síntesis de voz en tiempo real basado en coeficientes de predicción lineal (LPC). Este sistema se encuentra fundamentado en el detector de actividad de voz (VAD) para determinar que segmentos de la señal que se quiere sintetizar son sonoros y cuales no sonoros, se cimenta en el uso de la autocorrelación para detectar el periodo fundamental de cada segmento de la señal y en los coeficientes de predicción lineal (LPC) para modelar el tracto vocal. Cada uno de los bloques que conforman el sintetizador se realiza a través de la herramienta MATLAB para luego efectuar las simulaciones pertinentes.
error. This paper presents the design of a speech synthesis system in real time based on linear prediction coefficients, where this is based on the detector of voice activity (VAD) to determine which segments of the signal that you want to synthesize are sound and which do not sound, the use of autocorrelation to detect the critical period of each segment of the signal and linear prediction coefficients to model the vocal tract. Each of the blocks that make up the synthesizer is performed in MATLAB tool to perform the relevant simulations. Abstract —
Key words — Synthesizer,
voice detector, preemphasis filter, frame, autocorrelation, pitch, coefficients and error.
I. I NTRODUCCIÓN La síntesis de la señal vocal es la creación de voz sintetizada, donde se desea que una máquina sea capaz de expresarse emitiendo sonidos que se puedan entender como palabras u oraciones. Esto conlleva a la comprensión total del proceso del habla, implicando la interacción de disciplinas en las que está incluida la fisiología del órgano humano así como también la lingüística. La voz se produce en la laringe, que es una estructura con unos cartílagos flexibles que son el soporte de las cuerdas vocales. Estas cuerdas vocales están formadas por unos músculos finos, que dispuestos en posición horizontal forman una especie de V. Para producir un sonido en concreto, las cuerdas vocales se contraen o se alargan. Por
II. PROCESAMIENTO DE VOZ El procesamiento de voz es el estudio de la señal de voz y las técnicas de procesado de estas señales. Este procesamiento se divide en distintas categorías: el reconocimiento de voz, mejora de la señal voz, codificación de la señal voz y síntesis de voz. A. Naturaleza de la señal vocal
El análisis de la señal vocal se lleva a cabo mediante un modelo que describe el proceso del habla, clasificando las señales en dos tipos: o Las señales sonoras que presentan cierta periodicidad como se muestra en la siguiente figura: 0.15
0.1
0.05
0 d u t i l p m A-0.05
-0.1
-0.15
-0.2 0
50
100
150
200
Fig. 1. Periodicidad de un segmento sonoro
250
Universidad del Quindío, López Orozco. Procesamiento Digital de Señales.
o Las señales no sonoras también conocidas como
fricativas que presentan aleatoriedad en forma de ruido blanco como se muestra en la siguiente figura: x 10
-3
1.5
1
0.5
d u t i l p m A
2
Las siguientes ecuaciones representan la señal en segmentos, sin solapar y con solapamiento respectivamente:
{()}=( =(−) −)+
(3)
−( −(−) − ) {()}=( =(−) − )+
(3)
o Enventanado
Se aplica a cada segmento una función ventana, que suaviza los bordes del intervalo haciendo que estos tiendan a cero, y resalta la parte central acentuando las propiedades características del segmento:
0
-0.5
-1
′ () () ∗ () ,0≤≤1 (4)
-1.5 0
50
100
150
200
250
Fig. 2. Aleatoriedad de un segmento no sonoro B. Extracción de características
La extracción de características intenta presentar el contenido de la señal de voz de manera compacta, de tal forma que la información propia de la señal se preserva. o Limitación en frecuencia Para lograr esto se aplica un filtro de preénfasis que amplifica las frecuencias más altas y comprime la señal, donde la compresión es deseable para mejorar la respuesta del detector de voz. La señal de entrada s(n) es filtrada con el siguiente filtro para obtener una señal pre-enfatizada:
̂ () () ( ( 1) Donde
La función ventana más comúnmente utilizada en el análisis de la señal de voz, es la llamada ventana Hamming, su mayor virtud radica en que mantiene un buen equilibrio entre su duración temporal y su resolución en frecuencia. o Detección de voz
La detección de voz se lleva a cabo a través de los detectores de actividad de voz (VAD), estos pueden esquematizarse mediante el diagrama de bloques mostrado en la figura 3. La decisión del VAD se realiza en base a la información suministrada por las características de cada frame y finalmente, esta decisión se suaviza en el tiempo.
(1)
tiene un valor próximo a la unidad. [1]
o Segmentación
Usualmente el análisis de las características de la señal de voz se desarrolla segmentando la señal en bloques que se tratan individualmente. Para evitar los efectos negativos provocados al tomar un segmento que contenga una transición de una zona de la señal cuasi-estacionaria (casi estacionaria) a la siguiente, se usa la técnica del solapamiento de segmentos. La siguiente ecuación permite el cálculo de muestras para cada segmento:
(/) /) ∗ (2)
Fig. 3. Diagrama de bloques del VAD
En este caso la detección de voz se lleva a cabo a través del detector de actividad de voz (VAD) propuesto por el artículo Dynamical Energy-Based Speech/Silence Detector for Speech Enhancement Applications. Se declara actividad de voz (VAD =
Universidad del Quindío, López Orozco. Procesamiento Digital de Señales.
1) si los valores medidos superan los umbrales. De lo contrario, sino se detecta ninguna actividad (es decir, ruido), se declara como silencio (VAD = 0). o Sonoridad y pitch
3
() ( )
= () () () ()
(9) (10) (10)
Una vez establecido qué segmentos son sonoros utilizando el VAD, se procede a determinar el pitch Una vez determinado el filtro, este tiene dos o periodo fundamental a partir de la función de posibles señales s eñales de entrada que dependerán d ependerán del tipo autocorrelación determinada por la siguiente de señal, sonora o no sonora. Para señales sonoras ecuación: la excitación será un tren de impulsos de frecuencia controlada, mientras que para las señales no sonoras excitación será ruido aleatorio, donde la () 1 ∗ − (6) lacombinación de estas señales modela el = funcionamiento de la glotis. Si el segmento es periódico, la función de autocorrelación también lo será, esto se traducirá en un valor máximo para aquellos retardos iguales al período de la señal, por lo tanto, el máximo global corresponde al retardo nulo, mientras que el segundo máximo debiese corresponder al retardo igual al período fundamental [2]. o Modelado del tracto vocal
La idea fundamental es que a partir de una determinada muestra de la voz o trama y aplicando un modelo determinado para la generación de la misma, se obtiene un conjunto de parámetros que definen el modelo. Ese modelo corresponde a un modelo de predicción lineal LPC (Linear Predictive Coding), donde el tracto vocal, se puede describir por un filtro todo polo de respuesta impulsiva infinita (IIR) con una función de transferencia dada por:
() 1 ∑= −
(7)
Donde es la varianza del ruido blanco de entrada o error de predicción. La ecuación en diferencias del sistema que modela el tracto vocal resulta en:
() ( ) () =
(8)
El término de la sumatoria, puede interpretarse como un predictor lineal en el cual la muestra de salida se puede generar mediante una combinación lineal de P muestras anteriores, donde se puede calcular el error de predicción e(n) como:
Fig. 4. Modelo de producción de voz
Este diagrama enseña el proceso de producción de voz, donde los parámetros del tracto vocal se calculan a través de la función LPC suministrada por la herramienta MATLAB. III. DESCRIPCIÓN DE BLOQUES Los siguientes bloques describen cada uno de los algoritmos que conforman el sistema sintetizador de voz; el algoritmo de preénfasis para comprimir la señal en amplitud, el algoritmo para determinar qué segmentos de la señal son sonoros y cuales son fricativos, el algoritmo que calcula la autocorrelación para la detección del pitch y el algoritmo que modela el tracto vocal para sintetizar la señal voz. A. Filtro de preénfasis
Este bloque tiene como función realizar la traducción de la ecuación (1) (ecuación en diferencias del filtro) al correspondiente código MATLAB.
Universidad del Quindío, López Orozco. Procesamiento Digital de Señales.
4
El algoritmo caracteriza su comportamiento a través de la energía de raíz media cuadrática (RMSE) de un segmento de voz; la estimación del umbral se Fig. 5. Diagrama de bloques del filtro de preénfasis basa en la observación de que la energía a corto plazo exhibe distintos picos y valles B. Detector de actividad de voz El siguiente diagrama de bloques extraído del correspondientes a períodos de actividad o de artículo Dynamical Energy-Based Speech/Silence silencio de la voz. Detector for Speech Enhancement Applications, describe el algoritmo empleado para determinar qué C. Detector de Pitch El detector de pitch se basa en el cálculo de la segmentos de la señal, son sonoros y cuáles no. autocorrelación de cada segmento extraído de la señal, para luego buscar los dos picos máximos que permitan determinar el periodo fundamental. Señal de entrada
Filtro de preénfasis
Señal preenfatizada
S[n]
R[τ ]
Cálculo de autocorrelación
Búsqueda del pico maximo
Pico máximo Posición
Fig. 7. Diagrama de bloques del detector de pitch
El siguiente diagrama de flujo contiene los detalles de cómo determinar el pitch: signal frame
N=length(signal frame); index=0 max=0
Calculate R[τ ]
R[τ ]>max
-
+ max=R[τ ]; index=τ
++
τ
-
>N
τ
+ return index & max
Fig. 8. Diagrama de flujo del detector de pitch Fig. 6. Diagrama de flujo del VAD
D. Modelo del tracto vocal
Este bloque representa el filtro final con el que se obtiene la señal sintetizada, este recibe los
Universidad del Quindío, López Orozco. Procesamiento Digital de Señales.
parámetros producidos por la función lpc (Linear Predictor Coefficients) de MATLAB y el tipo de excitación; tren de impulsos, con periodo igual a la frecuencia fundamental calculada en el bloque anterior, para segmentos sonoros y ruido para segmentos no sonoros. Parámetros del tracto vocal
5
B. Bloque VAD
Para llevar a cabo la detección de los segmentos sonoros y no sonoros se aplica el algoritmo VAD descrito anteriormente, donde a partir del cálculo del valor cuadrático de la energía, del establecimiento del valor máximo y mínimo de la energía y del umbral establecido para cada frame se obtienen las siguientes curvas características: Energías de la Señal de Entrada y Umbral de Energía
Ruido
Voz Sintetizada
Filtro todo polo IIR
Tren de impulsos
Fig. 9. Diagrama de bloques del modelo del tracto vocal
0.1 Energía de la señal Energía mínima Umbral de energía
0.09
0.08
0.07
IV. R ESULTADOS ESULTADOS MATLAB Después de haber establecido cada uno de los bloques que conforman el sistema, se procede a realizar la experimentación con la señal grabada recuencia de muestreo “sintetizador de voz” a una f recuencia de 8000Hz durante dos segundos.
0.06
d u t i l 0.05 p m A 0.04
0.03
0.02
0.01
0
A. Bloque de preénfasis
La siguiente figura enseña la señal de entrada graficada con respecto al número de muestras en contraste con la misma señal pero procesada por el filtro de preénfasis.
0
20
40
60
80
100
120
140
Segmentos
Fig. 11. Energía RMS, energía mínima y umbral de energía Energía de la Señal de Entrada y su Energía Máxima 0.1 Energía de la señal Energía máxima
0.09
Señal de E ntrada
d u t i l p m A
1
0.08
0.5
0.07
0
0.06
-0.5
d u t i l p 0.05 m A
-1 0
2000
4000
6000
8000
10000
12000
14000
16000
0.04
Muestras
0.03
Señal con Filtrado de Preénfasis 1
0.02
d u t i l p m A
0.01
0.5
0 0
0
20
40
60
80
100
120
140
Segmentos
Fig. 12. Energía RMS y energía máxima
-0.5 0
2000
4000
6000
8000
10000
12000
14000
16000
Muestras
Fig. 10. Señal de entrada sin filtro y con filtro de preénfasis
Se observa la compresión del rango dinámico de la señal a partir de la utilización de dicho filtro, cuyo objetivo no es más que facilitar la decisión del VAD, realzar las frecuencias altas y suavizar el espectro.
Los parámetros anteriores, representados en las gráficas, son el fundamento de la decisión del VAD, lo que da lugar al resultado de la figura 13, se observa la alta sensibilidad del VAD frente frames de la señal que presentan una amplitud cercana al umbral que se establece, lo que se traduce en un valor binario clasificatorio (como voz o ruido) para esos frames sin ser realmente frames de voz:
Universidad del Quindío, López Orozco. Procesamiento Digital de Señales.
El incremento del umbral supone una mejora en el momento de sintetizar la señal, puesto que segmentos que no son sonoros no serán excitados con el tren de impulsos, como si ocurre inicialmente con el VAD calculado (figura 13), donde ciertos segmentos no sonoros serán excitados con el tren de impulsos y no con ruido, como debiera ocurrir.
Gráfica del VAD y de la Señal de Entrada 0.8
0.6
0.4
d u t i l p m A
6
0.2
0
C. Bloque sintetizador -0.2
-0.4
-0.6 0
2000
4000
6000
8000
10000
12000
14000
16000
Muestras
Fig. 13. Detector de actividad de voz
Para reducir la sensibilidad del VAD al nivel de ruido se utiliza un valor de cota superior para el nivel del umbral, lo que produce el siguiente resultado:
Este bloque calcula la frecuencia fundamental de cada segmento clasificado como sonoro por el VAD. Se emplea el filtro todo polo IIR, que representa el tracto vocal, para sintetizar la señal de voz a partir de los coeficientes lpc extraídos con la herramienta MATLAB y la excitación que corresponda, tren de impulsos para segmentos sonoros y ruido para segmentos no sonoros. Inicialmente se sintetiza la señal haciendo uso de un nivel de umbral reducido en el VAD para enseñar lo anteriormente expuesto:
Energías de la Señal de Entrada y Umbral de Energía 0.1
Señal de Entrada
Energía de la señal
1
Energía mínima Umbral de energía
0.09
d u t i l 0 p m A
0.08
-1 0
0.07
2000
4000
6000
8000
10000
12000
14000
16000
12000
14000
16000
12000
14000
16000
Muestras
Señal Preénfasis y VAD 0.06
1
d u t i l 0.05 p m A
d u 0.5 t i l p m 0 A -0.5 0
0.04
2000
4000
6000
8000
10000
Muestras
Señal Sintetizada
0.03 0.1
d u t i l p m A
0.02
0.01
0
0
-0.1 0
2000
4000
6000
8000
10000
Muestras
0
20
40
60
80
100
120
140
Segmentos
Fig. 16. Sintetizador de voz
Fig. 14. Energía RMS, energía mínima y umbral de energía
Para luego incrementar el umbral y obtener el siguiente resultado:
Gráfica del VAD y de la Señal de Entrada 0.8
Señal de Entrada 1
0.6
d u t i l p 0 m A
0.4 -1 0
2000
4000
6000
8000
10000
12000
14000
16000
12000
14000
16000
12000
14000
16000
Muestras
d u t i l p m A
Señal Preénfasis y VAD
0.2 1
d u 0.5 t i l p m 0 A
0
-0.5 0
2000
4000
6000
8000
10000
Muestras
-0.2
Señal Sintetizada 0.1
d u t i l p m A
-0.4
0
-0.1
-0.6 0
2000
4000
6000
8000
10000
12000
Muestras
Fig. 15. Detector de actividad de voz
14000
16000
0
2000
4000
6000
8000
10000
Muestras
Fig. 17. Sintetizador de voz
Universidad del Quindío, López Orozco. Procesamiento Digital de Señales.
Observándose una señal sintetizada con menos ruido con respecto a la del umbral inicial (figura 17). Voz Sintetizada 0.15
0.1
0.05
d u t i l p m A
7
otras técnicas, la señal de excitación de nuestro sistema sintetizador. Gracias a la versatilidad en el manejo de vectores de MATLAB, fue posible realizar cada subsistema del sintetizador sin mayor dificultad; la parte de preénfasis de la señal, el establecimiento del algoritmo VAD, el cálculo del periodo fundamental a través de la autocorrelación, el cálculo de los coeficientes lpc y el establecimiento del filtro todo polo IIR. Permitiendo de esta manera ahondar en la comprensión de la forma en la que un tipo de señal puede ser analizada y procesada.
0
R EFERENCIAS EFERENCIAS -0.05
-0.1 0
2000
4000
6000
8000
10000
12000
14000
16000
Muestras
Fig. 18. Voz sintetizada
IV. CONCLUSIONES Se comprendió en términos generales el proceso de sintetizado de una señal de voz, entendiendo de qué manera una de las técnicas más usadas en el procesamiento de señales permite, de modo eficiente, parametrizar cualquier señal en un conjunto pequeño de patrones o coeficientes que admiten la reconstrucción adecuada de dicha señal. Haciendo uso del método de detección de pitch a través de la autocorrelación se logra obtener, de manera sencilla, la frecuencia fundamental de cada segmento, donde su baja complejidad computacional hace de este el método ideal para entender por qué ciertos segmentos de voz presentan características estacionarias caracterizadas por un periodo fundamental. Establecer un umbral adecuado en el algoritmo que realiza el cálculo de segmentos sonoros y no sonoros permite al sistema ejecutar una mejor discriminación sobre los frames que representan voz y sobre los que representan ruido, obteniéndose una reconstrucción de la señal de voz más fidedigna. Matlab como herramienta para el procesamiento de señales es indispensable, a través de esta es posible realizar un adecuado análisis de la voz, determinando a partir de pequeños segmentos de la misma, características o patrones importantes con respecto a su naturaleza, patrones que permiten determinar de manera adecuada, en conjunto con
[1]http://hera.ugr.es/tesisugr/16128503.pdf, pág. 50 [2]http://www.tesis.uchile.cl/tesis/ [2]http://www.tesis.uchile.cl/tesis/uchile/2009/rob uchile/2009/robles_i/s les_i/s ources/robles_i.pdf, ources/robles_i.pdf, pág. 23
Universidad del Quindío, López Orozco. Procesamiento Digital de Señales.
A NEXOS A continuación se presenta la traducción de los algoritmos, realizados en Matlab, en lenguaje C: A. Filtro LPC void filter_lpc(float error, float *coef, float *signal_x) { short i, k; float x_n=0, y_n=0, signalpc=0; float y[numcoef+1]; for(k=0; k
y[k] = 0.0;
output_filter[k] = 0.0;
for(i=N; i>0; i--){ x_n = error*signal_x[i]; y_n = y[0]*coef[1]; for(k=numcoef-1; k>0; k--){ y_n = y_n + coef[k+1]*y[k]; y[k] = y[k-1]; } signalpc = x_n - y_n; y[0] = signalpc; output_filter[i-1] = signalpc; } }
B. Función de sintetizado void dsp_main() { uint32_t k; uint32_t j, i, m; float max_abs; //buffer que almacena el numero total de coeficientes por cada frame float buffer_coef[numcoef+1]; //vector que almacena la señal sintetizada en punto flotante float synthesizer[size_signal_total]; //vector que almacena el absoluto de toda la señal sintetizada float synthesizer_abs[size_signal_total]; //vector que almacena la señal sintetizada en punto fijo int16_t synthesizer_int[size_signal_total]; //creacion de ficheros para almacenar los resultados char name[] = "fichero.xls"; char name2[] = "fichero2.xls"; char name3[] = "fichero3.xls"; for(k=0; k
synthesizer[k] = 0.0;
//el siguiente algoritmo es una traduccion de lo realizado en MATLAB for(j=0; j
8
Universidad del Quindío, López Orozco. Procesamiento Digital de Señales.
9
for(k = j*(numcoef+1), i=0; k<=(numcoef+1)*j+numcoef; k++, i++) buffer_coef[i] = coef_total[k]; // se aplica el filtro que representa el tracto vocal filter_lpc(sqrt(error_total[j]), buffer_coef, dirac_train); for(k = j*Nsub, i=0; k<=(j+1)*N-j*Nsub; k++, i++) synthesizer[k] = output_filter[i]; } else{ printf("frame NO sonoro\n"); //ruido aleatorio para excitar los frames no sonoros for(i=0; i
=1) m = floor(16 - 1 - log2(max_abs)); else m = 15; //se pasa el vector que contiene la señal sintetiza a punto fijo for(k=0; k
Obteniéndose el siguiente resultado, tanto en punto flotante como en punto fijo: Sintetizador de Voz, punto flotante 0,15
0,1
0,05
0 0 -0,05
-0,1
2000
4000
6000
8000
10000
12000
14000
16000
18000
Universidad del Quindío, López Orozco. Procesamiento Digital de Señales.
10
Sintetizador de Voz, punto fijo 5000 4000 3000 2000 1000 0 -1000 -2000 -3000 -4000
0
2000
4000
6000
8000
10000
12000
14000
16000
18000
