1. Análisis Localizado en el Dominio Temporalphysionet.cps.unizar.es/.../ticrm/Tema_4-representaciones_senal_voz… · que está relacionado con la densidad espectral de potencia

TIC en Redes MóvilesTIC en Redes Móviles

ANÁLISIS LOCALIZADOANÁLISIS LOCALIZADO

1. Análisis Localizado en el Dominio Temporal

Energía Localizada.Autocorrelación Localizada.

2. Análisis Localizado en el Dominio Frecuencial

Transformada de Fourier Localizada3. Predicción Lineal. Análisis LPC


ANÁLISIS LOCALIZADOANÁLISIS LOCALIZADOIntroducción

• Estacionariedad de la señal de voz

[ ]( ) ( )nm

Q T x m w n m∞

=−∞

= −∑0 0 . 1 0 . 2 0 . 3 0 . 4 0 . 5 0 . 6 0 . 7

- 0 . 2

- 0 . 1 5

- 0 . 1

- 0 . 0 5

0

0 . 0 5

0 . 1

0 . 1 5

T i e m p o ( s )0 . 0 1 2 0 . 0 1 4 0 . 0 1 6 0 . 0 1 8 0 . 0 2 0 . 0 2 2 0 . 0 2 4 0 . 0 2 6 0 . 0 2 8 0 . 0 3

- 0 . 0 6

- 0 . 0 4

- 0 . 0 2

0

0 . 0 2

0 . 0 4

0 . 0 6

Ventana

TransformaciónAspecto a Evaluar


ANÁLISIS LOCALIZADO EN EL DOMINIO ANÁLISIS LOCALIZADO EN EL DOMINIO TEMPORALTEMPORAL

• Energía Localizada ( )2( ) ( )nm

E x m w n m∞

=−∞

= −∑

( )2·( )x n 2 ( )x n nE

( )h n

2( ) ( )h n w n=

0 100 200 300 400 500 6000

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

7950 8000 8050 8100 8150 8200 8250 8300 8350 8400

-10

0

10

20

30

40


ANÁLISIS LOCALIZADO EN EL DOMINIO ANÁLISIS LOCALIZADO EN EL DOMINIO TEMPORALTEMPORAL

• Autocorrelación Localizada

Aplicaciones:Estimación de PitchPredicción Lineal

( ) ( ) ( ) ( ) ( )nm

R k x m w n m x m k w n m k∞

=−∞

= − − − −∑( )x n ( )nR k( )kh n

( ) ( ) ( )kh n w n w n k= −

⊗

kz−

Diferente para cada k


ANÁLISIS LOCALIZADO EN EL DOMINIO ANÁLISIS LOCALIZADO EN EL DOMINIO FRECUENCIALFRECUENCIAL

• Transformada de Fourier Localizada

( ) ( ) ( )j j mn

mX e x m w n m eω ω

∞−

=−∞

= −∑

⊗

1( )Nh n−

( )x n

⊗0j ne ω−

⊗

0 ( )h n

1( )h n1j ne ω−

1Nj ne ω −−

0( )jnX e ω

1( )jnX e ω

1( )NjnX e ω −


ANÁLISIS LPCANÁLISIS LPC• Representación de las características

espectrales de forma precisa y eficiente

• Pocos parámetros, Cálculos Sencillos

• Predicción Lineal

• Error de Predicción1

ˆ( ) ( )p

ii

s n a s n i=

= − −∑ˆ( ) ( ) ( )e n s n s n= −

( )P z

( )s n ⊕

ˆ( )s n( )e n

1( )

pi

ii

P z a z−=

= −∑1

( ) 1p

ii

iA z a z−

=

= +∑( )A z


Cálculo de los CoeficientesCálculo de los Coeficientes

1

ˆ( ) ( )p

ii

s n a s n i=

= − −∑ ˆ( ) ( ) ( )e n s n s n= −

2

2

1( ) ( ) ( )

p

ii

E e n E s n a s n i=

⎧ ⎫⎡ ⎤⎪ ⎪= + −⎨ ⎬⎢ ⎥⎣ ⎦⎪ ⎪⎩ ⎭

∑

Criterio de Mínimo Error Cuadrático Medio

2

1

1

( )2 ( ) ( ) ( )

( ) ( ) ( ) ( ) 0

p

iik

p

ii

E e nE s n a s n i s n k

a

E s n s n k s n k a s n i

∂

∂ =

=

⎧ ⎫⎡ ⎤= + − − =⎨ ⎬⎢ ⎥

⎣ ⎦⎩ ⎭⎧ ⎫

= − + − − =⎨ ⎬⎩ ⎭

∑

∑ 1, 2,...,k P=

1 1

( ) ( ) ( ) ( ) ( ) ( ) 1,...,p p

i s i si i

E s n s n k a E s n i s n k R k a R i k k P= =

− = − − − ⇔ = − − =∑ ∑


Cálculo de los CoeficientesCálculo de los CoeficientesEcuaciones de Yule-Walker

1

2 1

(0) (1) ( 1) (1)(1) (0) ( 2) (2)

( 1) ( 2) (0) ( )

s s s s

s s s ss s s s

ps s s s

aR R R N RaR R R N R

R a B a R B

aR p R p R R p

−

− ⎡ ⎤⎡ ⎤ ⎡ ⎤⎢ ⎥⎢ ⎥ ⎢ ⎥− ⎢ ⎥⎢ ⎥ ⎢ ⎥= − ⇔ = − ⇒ = −⎢ ⎥⎢ ⎥ ⎢ ⎥⎢ ⎥⎢ ⎥ ⎢ ⎥− − ⎢ ⎥⎣ ⎦ ⎣ ⎦⎣ ⎦

K

K

MM M M M

K

Matriz de Autocorrelación (Toeplitz)Dos Métodos de Estimación:

a) Método de la AutocorrelaciónSe obtiene una matriz toeplitz

Resolución mediante algoritmo de Levinson-Durbin

b) Método de la CovarianzaSe obtiene una matriz NO toeplitz

Resolución mediante descomposión factorial (Cholesky)


Algoritmo de Algoritmo de LevinsonLevinson--DurbinDurbinINICIO

(0) (0)E R=

1( 1)

( 1)1

1 ( ) ( )i

ii ji

jK R i a R i j

E

−−

−=

⎧ ⎫= + −⎨ ⎬

⎩ ⎭∑

( )ij ia K= −

i:1... p

j:1... i-1( ) ( 1) ( 1)i i ij j i i ja a K a− −

−= −

j

( )( ) 2 ( 1)1i iiE K E −= −

i

INICIO


Coeficientes PARCORCoeficientes PARCORPara pasar de un predictor de orden i a uno de orden

i+1 hay que recalcular los coeficientes del predictor

Los coeficientes de correlación parcial (PARCOR) permiten obtener los coef. de orden i a partir de los de orden i-1

En ocasiones, puede resultar más conveniente trabajar con los PARCOR.

Pasamos de Estructuras transversales aEstructuras en Celosía (Lattice)

( ) ( 1) ( 1)i i ij j i i ja a K a− −

−= −


Coeficientes PARCORCoeficientes PARCOR

1z− 1z−⊕

⊕

⊕

⊕( )s n0 ( )e n

0 ( )b n

1K−1K−

2K−2K−

1( )e n 2 ( )e n

1z−1( )b n 2 ( )b n

( )ib n Error Backward de Orden i( )ie n Error Forward de Orden i

( ) ( )

1 1

2 21 1

( ) ( 1)

( ) ( 1)

i i

i n

i i

n n

e n b nK

e n b n

− −

− −

−=

−

∑

∑ ∑

Coeficientes de reflexión del modelo de concatenación de

tubos


Análisis LPCAnálisis LPCSalvo en los sonidos nasales, el modelo de

producción es AR (todo polos)

1

( )1

Pi

ii

GH zzα −

=

=− ∑( )H z

( )e n ( )s n

( )A z( )e n ˆ( )e n

( )H z( )s n

( )( )GH z

A z=


Análisis LPCAnálisis LPC

Residuo Para un Segmento Sonoro



Residuo Para un Segmento Sordo



Envolvente Espectro


REPRESENTACIONES DE LA REPRESENTACIONES DE LA SEÑAL DE VOZSEÑAL DE VOZ

1. Análisis HomomórficoCepstrumCepstrum de la señal de voz

2. Modelo de degradación Ambiental3. Representaciones Perceptuales

MFCC: Mel-Frequency Cepstrum CoefficientsPLP: Perceptual Linear PredictionTransformación Bilineal


Análisis Análisis HomomórficoHomomórficoUna transformación homomórfica:

convierte una convolución en suma

( )[ ] [ ]x n D x n=[ ] [ ] [ ]x n e n h n= ∗

ˆˆ ˆ[ ] [ ] [ ]x n e n h n= +

Un Sistema homomórfico estará compuesto por

D[ ] L[ ] D-1[ ]* + + + + *

[ ]x n [ ]x n ˆ[ ]y n [ ]y n

CepstrumCepstrum


Análisis Análisis HomomórficoHomomórficoSistema de AnálisisSistema de Análisis

D[ ]

*

[ ]* [ ]e n h n

Z[ ]x

[ ] [ ]E z H z

ln+

ln( [ ]) ln( [ ])E z H z+

Z-1[ ]+

ˆ[ ] [ ]e n h n+


Análisis Análisis HomomórficoHomomórficoSistema de SíntesisSistema de Síntesis

D-1[ ]

Z[ ]+

ln( [ ]) ln( [ ])E z H z+

x

[ ] [ ]E z H z

e( )+

ˆ[ ] [ ]e n h n+ [ ]* [ ]e n h n

Z-1[ ]*


Análisis Análisis HomomórficoHomomórficoCEPSTRUMCEPSTRUMSPECTRUMSPECTRUM

CepstrumCepstrum complejocomplejo

1[ ] ln[ ( )]2

j j nx n X e e dπ

π

ω ω ωπ −

= ∫pero

ln[ ( )] ln| ( )| arg[ ( )]j j jX e X e j X eω ω ω= +

1[ ] ln| ( )| arg[ ( )]2 2

j j n j j njx n X e e d X e e dπ π

π π

ω ω ω ωω ωπ π− −

= +∫ ∫Si x[n] es real el Si x[n] es real el cepstrumcepstrum complejo es realcomplejo es real


Análisis Análisis HomomórficoHomomórfico

CepstrumCepstrum realreal

1[ ] ln| ( )|2

j j nc n X e e dπ

π

ω ω ωπ −

= ∫Cepstrum real es la parte par del cepstrum complejo

ˆ ˆ[ ] [ ][ ]2

x n x nc n + −=

Variable independiente n Quefrency tiempo


Análisis Análisis HomomórficoHomomórficoCepstrum de la señal de voz

Excitación Filtro h[n]e[n]*h[n]e[n]

Excitación e[n]: secuencia periódica de pulsosruido blanco

Filtro:Función de transferencia racional ARMA


Cepstrum de un sistema ARMA (polo-ceros)

1(1 ) (1 )1 1[ ]

1(1 ) (1 )1 1

M Mi oDAz a z u zk kk kH zN Ni o

b z v zk kk k

−− −∏ ∏= ==

−− −∏ ∏= =


1

1

ln[ ( )] ln[ ] ln[ ] ln(1 )1

ln(1 ) ln(1 ) ln(1 )1 1 1

DMiH z A z a zkk

M N No i ou z b z v zk k kk k k

−

−

= + + − +∑=

− − − − −∑ ∑ ∑= = =

Tomando logaritmos


Análisis Análisis HomomórficoHomomórficoUtilizando el desarrollo en serie de Taylor

ln(1 )1

nxxnn

∞− =− ∑

=

Por ejemplo, el término asociado a los polos internos

1ln(1 )11 1

nNN bii k nb z zk nkk n

−⎛ ⎞∞ ⎜ ⎟ −− =− ∑∑ ∑ ⎜ ⎟== = ⎝ ⎠

Secuencia sobre la que calculamosla transformada Z


Análisis Análisis HomomórficoHomomórficoEl término lleva información del origen de tiempos y normalmente no se tiene en cuenta en el cálculo.

ln[ ]Dz

ln[| |] 0

[ ] 01 1

01 1

A j nn nN Mb ai ik kh n nn nk kn nM Nu vo ok k n

n nk k

σ⎧⎪ + =⎪⎪⎪= − >∑ ∑⎨

= =⎪⎪ − −⎪ − <∑ ∑⎪

= =⎩

00 0

si Asi A

σ πσ= <= >


Análisis Análisis HomomórficoHomomórficoPropiedades

1. Si el filtro no tiene polos y ceros fuera del circulo unidad (sistema de fase mínima)

2. En sistemas de fase mínima el cepstrumcomplejo está determinado de forma unívoca por su cepstrum real

3. El cepstrum es una secuencia infinita pero decae como 1/n concentrado en el origen

[ ] 0 0h n para n= <

0 0[ ] [ ] 0

2 [ ] 0

nh n c n n

c n n

<⎧⎪= =⎨⎪ >⎩


Análisis Análisis HomomórficoHomomórficoEn el caso de un filtro AR (todo-polos)

( )

11

GH zP ka zkk

=−− ∑

=Ganancia y coeficientes se calculan utilizando Predicción Lineal

0 0ln[ ] 0

1 ˆˆ [ ] 0[ ]1

1[ ]

nG n

n ka h k a n ph n n n knkn k h k a n pn knk n p

<⎧⎪ =⎪

−⎪ ⎛ ⎞⎪ + < ≤∑ ⎜ ⎟= −⎨ ⎝ ⎠=⎪−⎪ ⎛ ⎞ >∑⎪ ⎜ ⎟ −⎝ ⎠= −⎪⎩


Análisis Análisis HomomórficoHomomórficoCepstrum de una señal periódica (enventanada)

1[ ] [ ]

0

Me n n kNk

kα δ

−= −∑

=Su transformada Z

1[ ] (1 )

0 1

MM kN NE z z a zk kk k

α− − −= = −∑ ∏= =

Su cepstrum

[ ] ( ) 01

maM ke n n mN mmkδ= − >∑

=


Análisis Análisis HomomórficoHomomórficoCaso límite: tren infinito de impulsos unidad

Propiedades:

1. Es distinta de cero solo en múltiplos enteros de N, siendo cero en el origen

2. Decae con el factor 1/m con el tiempo

[ ] ( )0

e n n kNk

δ∞

= −∑=

1[ ] ( )1

e n n mNmmδ

∞= −∑

=


Análisis Análisis HomomórficoHomomórficoCepstrum localizado de la señal de voz:

Cálculo a través de la Transformada de Fourier LocalizadaSea x[n] la secuencia enventanada

1 2 /[ ] [ ] 00

1 2 /1ˆ ˆ[ ] ln [ ] [ ]0

N j kn NX k x n e k Nn

N j kn Nx n X k e x n rNp N k r

π

π

− −= ≤ <∑=

− ∞= = +∑ ∑

= =−∞

Para reducir el aliasing N grande



Pitch

Filtro

Cepstrum localizado voz hombre


Análisis Análisis HomomórficoHomomórficoCepstrum localizado voz mujer


Análisis Análisis HomomórficoHomomórficoSeparación excitación-filtro por filtrado homomórfico

ExcitaciónFiltro

Filtering Liftering: filtrado homomórfico




Análisis Análisis HomomórficoHomomórficoSegmento de voz sordo


Análisis Análisis HomomórficoHomomórficoAplicación del filtrado homomórfico a la deconvolución ciega

Señal de voz con distorsión convolutiva desconocida

h[n]s[n] x[n]=s[n]*h[n]

Suposición: filtro h[n] invariante en el tiempoˆˆ ˆ[ ] [ ] [ ]x n s n h n= +

Tomando el valor medio

( )

En el domino cepstral

( ) ( ) ( )ˆ ˆˆ ˆ ˆ[ ] [ ] [ ] [ ] [ ]E x n E s n E h n E s n h n= + = +

Sustrayendo la media( ) ( )ˆ ˆ ˆ ˆ[ ] [ ] [ ] [ ]x n E x n s n E s n− = −

Desaparece el filtrado, pero.....


Análisis Análisis HomomórficoHomomórficoAplicación del filtrado homomórfico a la deconvolución ciega.... quitamos también la media del cepstrum de la señal de voz

que está relacionado con la densidad espectral de potencia promedio a largo término de la señal de voz:

- Comportamiento pasobajo influenciado en gran medida por el pulso glotal

( )[ ]E s n

En el análisis localizado, influencia de la ventana. Se requieren ventanas de longitud mucho mayor que la longitud de la respuesta impulsional a ecualizar.

Ejemplo


Modelo de Degradación AmbientalModelo de Degradación AmbientalEn el habitáculo de un vehículo:

Ruido aditivo proveniente de diversas fuentesRuido multicamino: distorsión convolucional


Modelo de Degradación AmbientalModelo de Degradación AmbientalOriginal

Filtrada


Modelo de Degradación AmbientalModelo de Degradación Ambiental



Señaldegradada


Modelo de Degradación AmbientalModelo de Degradación AmbientalLa señal de voz en general puede venir degradada por distorsiones aditivas y convolutivas:

Ruido aditivo de fuentes independientesDistorsión de canal

h[n] +

r[n]

s[n] x[n]

x[n]=s[n]*h[n]+r[n]

( )

2 2 2 2( ) ( ) ( ) ( )

2 ( ) ( ) ( ) cos ( )

j j j jX e S e H e R e

j j jS e H e R e

ω ω ω ω

ω ω ω θ ω

= +

+

Valor medio cero


Modelo de Degradación AmbientalModelo de Degradación Ambiental2 2 2 2

( ) ( ) ( ) ( )j j j jX e S e H e R eω ω ω ω≈ +

Tomando logaritmos2 2 2

ln ( ) ln ( ) ln ( )

2( )

ln 1 2 2( ) ( )

j j jX e S e H e

jR e

j jS e H e

ω ω ω

ω

ω ω

≈ + +

⎛ ⎞⎜ ⎟⎜ ⎟+⎜ ⎟⎜ ⎟⎝ ⎠


2 2 2ln ( ) ln ( ) ln ( )

2 2 2ln 1 exp ln ( ) ln ( ) ln ( )

j j jX e S e H e

j j jR e S e H e

ω ω ω

ω ω ω

≈ + +

⎛ ⎞⎛ ⎞⎜ ⎟+ − −⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

Pasando al dominio cepstral


( )ˆ ˆˆ ˆ ˆ ˆ[ ] [ ] [ ] [ ] [ ] [ ]x n s n h n g r n s n h n= + + − −

Donde g(z) es una función no lineal

( )1[ ] ln(1 exp ( )g z Cepstrum Cepstrum z−⎛ ⎞= +⎜ ⎟⎝ ⎠


Representaciones Representaciones PerceptualesPerceptualesMFCC: Mel-Frequency Cepstrum Coefficients

2595log 110 700

xMel x ⎧ ⎫= +⎨ ⎬⎩ ⎭

Cepstrum real sobre una escala frecuencia no lineal:Escala perceptual MEL



Representaciones Representaciones PerceptualesPerceptuales


Representaciones Representaciones PerceptualesPerceptualesPLP: Perceptual Linear PLP: Perceptual Linear PredictionPrediction (Hermansky, 90)

Motivación: incluir propiedades perceptuales en el análisis LPC


Representaciones Representaciones PerceptualesPerceptualesTransformación bilineal

1

11

zsz

α

α

−

−

−=−

Célula pasatodo 0<α<1

Hace un mapeado en el plano complejo de la circunferenciade radio unidad sobre si misma

( )2arctan1 cos( )

senα ωωα ω

⎡ ⎤Ω= + ⎢ ⎥−⎣ ⎦

Eligiendo adecuadamente α es similar a Bark o Mel


Representaciones Representaciones PerceptualesPerceptuales

MultimodalidadMultimodalidadLecturaLectura de de labioslabios::

IntegraciónIntegración audioaudio--visualvisual


VideoInput

AudioInput

Lip Finding /Tracking

LipFeature

Extraction

Recog.Process

Prepro-cessing

VoiceFeature

Extraction

Recog.Process

Recog.Result

HMM

Documents

1. Análisis Localizado en el Dominio Temporalphysionet.cps.unizar.es/.../ticrm/Tema_4-representaciones_senal_voz… · que está relacionado con la densidad espectral de potencia