Tutorial on Fuzzy C Means

Un breve tutorial de Fuzzy C-Means Trabajo para el curso de posgrado

Introducción y Fundamentos del empleo de Lógica Difusa en Sistemas Inteligentes

Facundo Quiroga 18 de octubre de 2015

Índice 1. Intro ducción

1

2. Mo delo

3

2.1. Restricciones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2. Objetivo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3. Entrenamiento

3 4 5

3.1. 3.1. Cond Condic icio ione ness nec neces esar aria iass para para un clus cluste teri ring ng ópti óptimo mo . . . . . . . . . 3.1.1. Condiciones de optimalidad obtenidas derivando respecto a los centros . . . . . . . . . . . . . . . . . . . . . . . . . 3.1.2. Condiciones de optimalidad obtenidas derivando respecto a las per pertenencias fuzzy . . . . . . . . . . . . . . . . . . . 3.2. Aplicación Aplicación de alternating alternating optimization para encontrar una solución

6 6 7 9

4. Implementación del algoritmo en Julia

10

5. Comparación con otros algoritmos similares

12

5.1. K-Means . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 5.2 5.2. Mo Mode dellos de Mixt ixtura uras Gauss aussiiana anas . . . . . . . . . . . . . . . . . . 13 5.3. Notas finales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

1. Intr Introd oduc ucci ción ón El algoritmo Fuzzy C-Means [2 [2, 1] 1 ] tiene como objetivo generar un clustering fuzzy de un conjunto de datos fijo, de modo que a cada ejemplo del conjunto de datos se le asigna un grado de pertenencia a cada cluster, donde cada cluster

1

Trusted by over 1 million members

Try Scribd FREE for 30 days to access over 125 million titles without ads or interruptions! Start Free Trial Cancel Anytime.







está representado por su punto central, que también se determina a partir del conjunto de datos. La idea de FCM es generar un clustering basado en centroides como el de kmeans, pero considerando el hecho de que cada ejemplar puede pertenecer a más de un cluster, y esta pertenencia es fuzzy, es decir, está representada por un número del 0 al 1. Esto se contrasta con el clustering hard o duro generado por algoritmos como kmeans donde la pertenencia de cada ejemplar a un conjunto de datos es binaria, y además cada elemento puede pertenecer sólo a un cluster.

Figura 1: Clusters hard de un conjunto de datos

Figura 2: Asignaciones de pertenencia fuzzy de los datos a cada uno de los tres clusters, junto con sus centros.







conocimiento de éste último, es altamente recomendable leer sobre kmeans primero y luego este tutorial, debido a que FCM esencialmen esencialmente te extiende extiende kmeans con una noción fuzzy, y mientras los algoritmos son similares, kmeans es más simple para comenzar. Mientras Mientras que que la idea de de la pertenencia fuzzy a varios clusters es lo que hace que el algoritmo sea fuzzy , en este caso los clusters están representados por el centroide del mismo como en kmeans, lo cual es una consideración particular de FCM y puede variar en otros algoritmos fuzzy.

Nota 2

Un clustering clustering fuzzy no es igual a un multi-clus multi-clusterin tering. g. Un clustering clustering fuzzy generaliza a un clustering normal o hard permitiendo que cada ejemplar pertenezca a varios clusters. Típicamente, un multi-clustering combina varias corridas de un clustering tradicional para generar un modelo de similitudes o distancias entre ejemplares.

Nota 3

La C en Fuzzy C-Means denota la cantidad de clusters y fue elegida de forma arbitraria; en este tutorial utilizaremos k como la cantidad de clusters, para ser consistentes con la notación de kmeans. A continuación, presentamos formalmente el modelo FCM y justificamos algunas decisiones de diseño del mismo. Luego, en la sección 3, se deriva el algoritmo clásico de entrenamiento para FCM, para el cual se ofrece una implementación utilizando el lenguaje de programación Julia en el capítulo 4. Finalmente, la sección 5 compara el algoritmo contra los clásicos kmeans y Modelos de mezclas gaussianas . Nota 4

2.

Mode odelo

La entrada al algoritmo consiste en un conjunto de n ejemplos de dimensionalidad d , de modo que se organizan en una matriz X ∈ Rd n El modelo consta de dos grupos de variables: ×

1. Las k medias o centroides de los clusters, dadas por una matriz donde cada columna es un centroide.

C

∈ Rd

k

×

,

2. Las k pertenencias fuzzy a los clusters de cada uno de los n ejemplares, dadas por una matriz W ∈ Rk n , donde cada columna nos indica la pertenencia fuzzy de un ejemplares ×

2.1. 2.1.

Restri Restricci ccione oness

A la matriz de pertenencias fuzzy

W se

le agregan tres restricciones:

1. Las pertenencias pertenencias deben ser no-negativ no-negativas as







2. No debe suceder que haya un cluster para el cual todos los ejemplares tengan pertenencia 0 3. Para cada ejemplo, las pertenencias a los clusters deben estar normalizadas (sumar 1) Estas se traducen en: wji ≥ 0

j = 1 . . . k , i = 1 . . . n

(1)

wji > 0

j = 1 . . . k

(2)

wji = 1

i = 1 . . . n

(3)

n

  i c

j

Mientras Mientras que la primera restricción restricción tiene sentido sentido en general, las otras dos no son fundamentales. De hecho, FCM sin la tercer restricción y con una equivalen equivalente te por columnas columnas en lugar lugar de filas se denomina denomina ProbabilisticProbabilistic-FCM FCM (PFCM), y la segunda se puede obviar con un esquema adaptativo para encontrar k. Nota

2.2. 2.2. Objet Objetiv ivo o El modelo se entrena para minimizar el criterio de error estándar E estándar E((C, W, X), que intenta capturar la idea de que las distancias de cada ejemplar a un cluster, pesadas por la pertenencia del ejemplar al cluster, deben ser pequeñas. Sea d ij = || c j − xi || la distancia entre el centro j y el ejemplar i , donde || || · || es la norma euclídea. Entonces, si w ji es grande (cercano a 1) lo ideal es que la distancia del centro j al ejemplar i sea chica. Si w ji es chico (cercano a 0), no interesa la distancia. La función objetivo puede ser entonces: c

E(C, W, X) =

n

 j

2 wji dij ,

(4)

i

Ahora bien, si queremos suavizar el grado de fuzzyness de de la solución, podemos agregar un parámetro m > 1 para que el criterio se vuelva más hard a medida m que m es más grande, cambiando w ji por w ji : c

E(C, W, X) =

n

 j

m 2 wji dij ,

(5)

i

Dado que 0 que 0 ≤ w ji ≤ 1, 1 , entonces w m ≤ w ji ; si m es muy grande, w m  w ji







3. Entr Entren enam amie ien nto Dado que los ejemplos son fijos, el objetivo del entrenamiento es entonces encontrar W y C tal que: minimizar

E(C, W, X)

sujeto a

wji ≥ 0

C,W

(6) j = 1 . . . k , i = 1 . . . n

(7)

wji > 0

j = 1 . . . k

(8)

wji = 1

i = 1 . . . n

(9)

n

  i

k

j

En general, este problema es difícil de resolver de manera de poder encontrar un mínimo global. Las dos restricciones con desigualdades impiden en principio aplicar el método lagrangiano para obtener el óptimo. Además, mientras que las restricciones son lineales, la función objetivo claramente no lo es respecto de C y W, por ende no se puede resolver con simplex o métodos de puntos interiores; tampoco es convexa, y eso deja afuera los métodos de programación convexa. Por ende, tenemos una función objetivo no-lineal no-convexa con restricciones del tipo desigualdad que no tiene solución analítica. Se pueden utilizar técnicas generales para algoritmos no-lineales con restricciones, pero en principio éstas no explotan explotan la estructura estructura inherente inherente en el problema problema de FCM. FCM. El algoritmo clásico de entrenamiento del modelo FCM encuentra soluciones que son óptimos locales del problema general mediante una técnica llamada Alternating Optimization (AO) [3, 4]. La idea principal de la técnica es que si bien es difícil optimizar E para C y para W al mismo tiempo, si dejamos fijo C es fácil encontrar el óptimo W y viceversa. Entonces, el algoritmo consiste en, alternativamente, dejar fijas un conjunto de variables y optimizar E optimizar E respecto respecto de las otras, hasta que se alcance la convergencia. Las restricción de igualdad kj w ji = 1 se incorpora optimizando el lagrangiano L, es decir, incorporando un término extra en E que represente la restricción para formar L y luego optimizar L . Si bien este esquema en principio ignora las restricciones de desigualdad, afortunadamente la forma del algoritmo resultante mantiene las variables C y W justamente dentro de la región factible, evitando tener que modelar las restricciones de forma explícita. A continuación derivaremos E derivaremos E y y luego L respecto de W y C para encontrar las condiciones necesarias que debe cumplir una solución de FCM. Luego, aplicaremos









3.1. Condiciones Condiciones necesarias necesarias para para un un clusteri clustering ng óptimo óptimo Incorporando la restricción kj w ji = 1 a la función objetivo E objetivo E,, e introduciendo n variables λ i que colectivamente llamaremos Λ, obtenemos el lagrangiano



L(C, W, X, Λ) = E(C, W, X) + L(Λ, W)

(10)

n

con

L(Λ, W) =

  λi (

i=1

wji − 1)

(11)

j

(12)

En el óptimo, las derivadas parciales de L respecto de cada uno de los ∂ L ∂ L parámetros debe ser 0. A continuación derivamos las expresiones y . ∂ cj

3.1.1. 3.1.1.

∂w ji

Condici Condicione ones s de optimali optimalidad dad obten obtenida idass deriv derivando ando respecto respecto a los centros

k j =1

=

∂ cj n m 2 i=1 wji dji )

∂ (

∂ cj

n

=

m wji

i=1 n

=

m wji

i=1 n

=

n m 2 ß=1 wji dji )

        

∂ ( E ∂ E = ∂ cj

2 ∂d ji

∂ cj

∂ (cj − xi )(cj − xi )t ∂ cj

m 2(cj − xi ) wji

i=1 n

m wji (cj − xi )

=2

i=1

∂ L ∂ L = ∂ cj

Entonces:

n i=1 λi (

∂ cj

j w ji

− 1)

=0









E L ∂ L ∂ E ∂ L = + ∂ cj ∂ cj ∂ cj n

=

 

m wji (cj − xi ) + 0

i=1 n

=

m (cj − xi ) wji

i=1

Igualando a 0: n



m (cj − xi ) = 0 wji

i=1

n

 i=1

m wji cj

n

−

      m wji xi = 0

i=1 n

n

m wji cj

i=1

i=1 n

n

m wji =

cj

i=1

cj

3.1.2. 3.1.2.

m wji xi

=

=

m wji xi

i=1 n m i=1 wji xi n m i=1 wji

Condici Condicione ones s de optimali optimalidad dad obten obtenida idass deriv derivando ando respecto respecto a las pertenencias fuzzy

∂ ( ∂ E E = ∂w ji

k j =1

n m 2 ß=1 wji dji )

 

∂w ji







Entonces: E L ∂ L ∂ E ∂ L m−1 2 = + = mw ji dji + λi ∂w ji ∂w ji ∂w ji Igualando a 0: m−1 2 mwji dji + λi = 0 m−1 2 mwji dji = − λi m−1 2 −1 = λ i (mdji ) wji

1 2 wji = − λim−1 (mdji )

−

1 m−1

Pero esta expresión de wji depende de λi . Ahora, como sabemos que kj w ji = 1, entonces si sumamos la última ecuación para todo j podemos obtener una expresión para λ i :



k

k

   wji =

j

1

1

2 − m−1 ) λim−1 (mdji

−

j

k

1=

1

1

2 − m−1 λim−1 (mdji )

−

j

1 = −

k

1

λim−1



2 (mdji )

j

  k

2 (mdji )

j

1

−

−

1 m−1

 

1

= −λim

1

−

−

1 m−1







1

wji = −

1

2 − m−1 ) λim−1 (mdji −

  k

wji =

2 (mdli )

−

1 m−1

l

2

(mdli )

−

1 m−1

l

−

wji =

wji =

3.2. 3.2.

2 (mdji )

 

(m−1) m−1

2 (mdji ) 1

−

1 m−1

−

k

wji =

 

2 (mdji )

−

1 m−1

1 m−1

1

k 2 − m−1 l (mdli )

2 (dji )

−

1 m−1

1

k 2 − m−1 l (dli )

Aplica Aplicació ción n de altern alternati ating ng optimiza optimizatio tion n para para enconencontrar una solución

En la subsección anterior encontramos expresiones para

cj

=

wji =

cj

y wji :

n m i=1 wji xi n m i=1 wji

 

−

2 (dji )

1 m−1

1

k 2 − m−1 l ( dli )

No obstante, el valor de cada una depende de las otras, por ende no se pueden obtener su valor óptimo directamente.







La convergencia del algoritmo puede medirse de varias maneras, pero la más típica es cerciorarse de que la matriz de asignaciones fuzzy deje de cambiar; el cambio puede cuantificarse mediante || Wt − Wt 1 || donde ||· || es alguna norma matricial y t el número de iteración del algoritmo. −

Figura 3: Algoritmo de entrenamiento clásico de FCM. El índice (t) o (t+1) indica el número de iteración t =0 I n i c i a l i z a r cj (t) c o n c e n tr t r o i de de s Mientras W(t) − W(t + 1) <  wji (t + 1) :=

1 − 2 ((dji (t)) m−1 1 − k 2 (dli (t)) m−1

 

l

n

cj (t + 1)

:=

t : = t +1 +1 F in

i=1 n

m (t+1)xi wji

i=1

m (t+1) wji

Se ha demostrado [2 [ 2, 4] que el algoritmo converge en un número finito de pasos a un óptimo local. Al igual que kmeans, FCM requiere inicializar los centroides, y típicamente esto se lleva a cabo tomando k ejemplos aleatorios. Alternativamente, se pueden intercambiar las dos asignaciones del loop y comenzar con asignaciones fuzzy aleatorias (o uniformemente distribuidas) para los ejemplares. Por este motivo, FCM es dependiente de la inicialización de los centroides, y por ende en la práctica se suele utilizar una esquema de múltiples reinicios para independizarse de la misma.

4. Implem Implemen entac tación ión del algori algoritmo tmo en Juli Juliaa module F u z z y C M e a n s







me m e a n s en d function i n i t i a l i z e _ m e a n s ( c , x )

i n d i c e s = D i s t r i b u t i o n s . s a m p l e ( 1 : s i z e ( x , 2 ) , c . k , r e p l a c e = false ) me m e a n s = co p y ( x [: , i n d i c e s ]) me m e a n s + ra n d ( si z e ( m e a n s ) ) * 1 0 0 en d function w e i g h t e d _ c e n t r o i d s ( c , m e a n s , x , w )

w2=w.^c.fuzzyness fo r i=1: size( means ,2) normalizing_constant=sum(w2[i,:]) me m e a n s [: , i ]= ( x *( w2 [ i ,: ] ’ )) / n o r m a l i z i n g _ c o n s t a n t en d en d function u p d a t e _ r e s p o n s i b i l i t i e s ( c , m e a n s , x , r e s p o n s i b i l i t i e s )

d = p a i r w i s e ( c . m e t r i c , m e a ns ns , x ) exponent=1/(1-c.fuzzyness) fo r i = 1 : s i z e ( x , 2 ) fuzzy_distance=d[:,i].êxponent; n o r m al a l i z i ng ng _ c o n st s t a n t = s u m ( f u z zy zy _ d i st st a n c e ) responsibilities[:,i]=fuzzy_distance responsibilities[:,i]/=normalizing_constant en d en d function b u i l d _ m o d e l ( x , c : : F u z z y C M e a n s C o n f i g )

me m e a n s = i n i t i a l i z e _ m e a n s ( c , x ) responsibilities=zeros(c.k,size(x,2)) r = F u z z y C M e a n s R e s u l t ( r e s p o n s i bi bi l i t i e s , m e a n s ) fo r j = 1 : c . i t e r a t i o n s









5. Compar Comparaci ación ón con con otros otros algor algoritm itmos os simil similare aress 5.1. 5.1. K-Me K-Mean anss Fuzzy C-Means puede verse como una relajación de kmeans en donde las asignaciones fuzzy pasan a ser binarias y además cada ejemplo pertenece a un cluster solamente. El problema equivalente es entonces similar al de FCM, pero cambia la restricción que indica el dominio de los wji : n

minimizar C,W

sujeto a

k

 i

2 2 wji ∗ dji

(13)

j

wji ∈ {0, 1}

j = 1 . . . k , i = 1 . . . n

(14)

wji > 0

j = 1 . . . k

(15)

wji = 1

i = 1 . . . n

(16)

n

  i

k

j

Dado que ahora los w ji pertenecen a un conjunto discreto, el problema tiene una cantidad de soluciones finita, pero es NP-hard , y por ende se suelen utilizar algoritmos de entrenamiento como el de Lloyd para encontrar una solución.







Figura 4: Resultado del clustering con kmeans. Los colores de los ejemplos representan su cluster, y el punto negro el centro del mismo

5.2. 5.2.

Modelos Modelos de Mixt Mixtura urass Gauss Gaussian ianas as

Los modelos de mixturas gaussianas (GMM, por Gaussian Mixture Model) también presentan un problema similar al de FCM: se busca ajustar k distribuciones normales multivariadas (con k centros distintos) al conjunto de datos. Cada distribución se interpreta como generadora de un cluster distinto. Entonces, con el modelo se puede determinar la probabilidad de que un ejemplar haya sido generado por una de las k distribuciones, lo cual es similar a las pertenencias fuzzy a los clusters del FCM. El modelo puede lidiar con la ambivalencia de que un mismo mismo ejemplar ejemplar puede haber sido generado generado p or distinta distintass distribuci distribuciones ones simplemente asignando probabilidades no nulas en ambos casos. No obstante, al dotar al problema de una estructura probabilística los GMM buscan maximizar la probabilidad de que esas distribuciones hayan generado el conjunto de datos, lo cual lleva a un algoritmo de entrenamiento distinto. La notación estándar de GMM reemplaza los k centroides cj por k medias µ j de distribuciones normales multivariadas, cada una con una matriz de covarianza Σj que en ocasiones puede ser fija y/o igual para las k distribuciones. Además, se introducen k coeficientes π j , que representan la probabilidad de que un nuevo ejemplar sea generado por la distribución del modelo j . Entonces, en el caso general GMM tiene ∗ k + k ∗ d2 parámetros (d es la dimensionalidad de cada







situación no tiene análogo. Si en FCM en cambio se normalizara por filas en lugar de hacerlo por columnas (o sea, in wji = 1), se obtendría la variante de FCM llamada Probabilistic FCM.









Figura 6: Resultado de los tres modelos de clustering en cuatro conjuntos de datos sintéticos. Se puede comprobar que los tres modelos tienen problemas para los primeros dos conjuntos de datos, pero funcionan bien para datos esféricos del tercero. En el último, compuesto de ruido aleatorio, los tres ofrecen un resultado semejante.

Tutorial on Fuzzy C Means

Recommend Documents