Cadenas de Markov
4.
(
Cadenas de Markov
Algunas veces nos interesa saber cómo cambia una variable aleatoria a través del tiempo. Por ejemplo, desearíamos conocer cómo evoluciona el precio de las acciones de una empresa en el mercado a través del tiempo. El estudio de cómo evoluciona una variable aleatoria incluye el concepto de procesos estocsticos. En este capítulo e!plicaremos esos procesos, en especial uno "ue se conoce como cadena de Markov. #as cadenas de Markov se $an aplicado en reas tales como educación, mercadotecnia, servicios de salud, contabilidad y producción.
Qué es un Proceso Estocástico? %upóngase "ue observamos alguna característica de un sistema en puntos discretos en el tiempo &"ue llamamos ',(,),...*. %ea +t el valor de la característica del sistema en el tiempo t. En la mayor parte de los casos no se conoce +t con certea antes del tiempo t y se puede considerar como variable aleatoria. -n proceso estocástico de tiempo discreto es simplemente una descripción de la relación entre las variables aleatorias + ', + (, + ),... A continuación daremos algunos ejemplos de procesos estocsticos de tiempo discreto.
Ejemplo 1 La ruina del jugador: En el tiempo ' tengo ) dólares. En los tiempos (,),... participo en un juego en el "ue apuesto ( dólar. /ano el juego con probabilidad p, y lo pierdo con probabilidad (0p. Mi meta es aumentar mi capital a 1 dólares, y tan pronto como lo logre se suspende el juego. El juego también se suspende si mi capital se reduce a ' dólares. %i de2inimos "ue + t es mi capital después después del juego cuando el tiempo es t,t, si es "ue lo $ay, entonces se puede considerar "ue + ', +(, ..., +t son procesos estocsticos de tiempo discreto. 3ótese "ue + '4) es una constante conocida, pero "ue + ( y las dems + t son aleatorias. Por ejemplo + (4 con probabilidad p y +(4( con probabilidad (0p. 3ótese "ue si + t41, entonces + t5( y todas las dems + t también sern igual a 1. 6gualmente, si + t4', entonces +t5( y todas las dems + t sern ' también. Ejemplo 2: %ea +' el precio de una acción de computadoras C%# al principio de este día $bil. 7ambién sea + t el precio de esa acción al principio del t0ésimo día $bil en el 2uturo. Es claro "ue si se conocen los valores de +', +(, ..., +t nos dicen algo de la distribución de probabilidad de + t5(8 el asunto es9 :;ué nos dice el pasado &los precios de las acciones $asta el tiempo t* acerca de + t5(< #a respuesta de esta pregunta es de importancia crítica en 2inanas. Un proceso estocástico de tiempo continuo es simplemente un proceso estocstico en el "ue el estado del tiempo se puede e!aminar en cual"uier tiempo y no sólo en instantes discretos. Por ejemplo, se puede considerar "ue el n=mero de personas en un supermercado a los t minutos después de abrir, es un proceso estocstico de tiempo continuo. Así también, el precio de una acción se puede observar en cual"uier tiempo, y no sólo al abrir la bolsa, por lo "ue se puede considerar como proceso estocstico de tiempo continuo. Al considerarlo así, se $a podido a importantes resultados en la teoría de 2inanas, incluyendo la 2amosa 2órmula de >lack0%c$oles para opción de precio.
Definición de adena de !ar"o# 6ng. E2raín Murillo
Cadenas de Markov
)
adenas de !ar"o# es un modelo matemtico "ue se basa en dos conceptos9 estado y transición$ El sistema ocupa un estado i con probabilidad p i y, después de un periodo, procede a una transición para el estado j con probabilidad de transición tij. %ean 3 los estados del sistema, entonces, para cual"uier estado i9 3
∑t
ij
= (, con ' ≤ tij ≤ (
j =(
En los modelos ms simples de cadenas de Markov, los valores de las probabilidades de transición t ij no dependen ni de cómo el sistema llegó al estado i, ni del periodo n. #as probabilidades de ocupar un estado i dependen del n=mero de periodos o de transiciones e2ectuadas. Por lo tanto una secuencia de intentos de un e!perimento es una cadena de !ar"o# si9 a* El resultado del m0ésimo intento depende sólo del resultado del intento &m0(*0ésimo y no de los resultados en los intentos anteriores, y b* #a probabilidad de pasar del estado i al estado j en dos intentos sucesivos del e!perimento permanece constante.
%plicación 1: Participaciones de mercado -na investigación de mercados sobre el consumo de marcas de cervea9 A, > y C por (''' personas dar al inicio &n4'* y después de un periodo &n4(* los siguientes resultados9
%e desea saber9 a* El porcentaje de los clientes "ue consumen cada marca de cervea después de un periodo. b* El porcentaje de los clientes "ue consumen cada marca de cervea después de ) periodos. c* A la larga cómo se reparte el mercado de bebedores de cervea entre las tres marcas< /r2icamente se tiene9
?bservamos "ue estamos delante de un 2enómeno dinmico, en el cual A aumentó su participación en el mercado de )'@ a )@.
6ng. E2raín Murillo
Cadenas de Markov
%iendo p la probabilidad de "ue un consumidor est demostrando pre2erencia por uno de los tres productos &osea la participación de cada producto en el mercado* y observando "ue cada producto &o el $ec$o de estar consumiendo un determinado producto* corresponde a un estado, resulta9 +o 4 Bp A&'* p>&'* pC&'* 4 B',) ', ',D onde +' es el vector de distribución de estados al inicio. y +( 4 B',) ',)F ',11 onde +( es el vector de distribución de estados después de un periodo &n4(*. #as probabilidades del vector + ( nos indican "ue después de un periodo, el comportamiento del mercado ser9 )@ consume el producto A, )F@ el > y 11@ el producto C. eseando analiar como ocurren estas alteraciones, y utiliando el cuadro correspondiente a las transiciones, se tiene "ue9 #a probabilidad de "ue un consumidor de A &o en A* permanece con A es9 tAA 4
(1' )''
= ',F.
#a probabilidad de "ue un consumidor en A pase a C es t AC 4
)' )''
= ',(.
Entonces las probabilidades de transición resultan9 A > C A ',F ',) ',D 7 4 > ',( C ',)1 ',(G
',(
',1
',G
onde observamos "ue la suma de los elementos de cada 2ila siempre es (. Para visualiar mejor el 2enómeno, diseHamos la siguiente cadena9
#a probabilidad de ocupar estado j después de un periodo es9 3
p j&(*4
∑ p &'*.t i
ij
i =(
o en 2orma matricial9 + ( 4 +'7 espués de la segunda transición &n4)*, resulta9
6ng. E2raín Murillo
Cadenas de Markov
1
+) 4 +( 7 + ) = [ '.)
'.F '.11] '.( '.)1
'.)F
'.(
'.) '.D
'.1
'.(G
'.G
+) 4 B',1 ',)G ',1' #o "ue signi2ica "ue después de ) periodos, el comportamiento del mercado ser9 1@ consume el producto A, )G@ el > y 1'@ el producto C.
&am'ién +)4 +'7 7 4 + '7) espués de la tercera transición &n4*, resulta9 + 4 +) 7 4 +'7) 7 4 +'7 espués de n transiciones se tiene9 +n4+n0(7 4+'7n0(7 4+'7n onde +n es el vector de distribución de probabilidad de estados en el periodo n. espués de muc$as transiciones, se llega a una situación estacionaria o de régimen de e"uilibrio dinmico &osea, lo contrario de transitoria* en la cual las participaciones de mercado no se alteran ms. En este caso9 +n 4 +n0( 4 π donde π9 Iector de distribución de estado estable*. Por lo tanto9 π 4 π.7 eseando calcular los elementos de π4BπA B πA
π> πC
4 BπA
π>
',F ',( πC ',)1
, tenemos9
π> πC
',)
',(
',D
',1
',(G
',G
adems de9 5 π> 5 πC 4(
πA
El sistema de ecuaciones sería9 5 π> 5 πC 4( ',FπA 5 ',(π> 5 ',)1πC 4 πA ',)πA 5 ',Dπ> 5 ',(GπC 4 π> ',(πA 5 ',1π> 5 ',GπC 4 πC πA
Este sistema es redundante y, para resolverlo, eliminamos una de las tres =ltimas ecuaciones &por ejemplo la =ltima*. 5 π> 5 πC 4( 0',πA 5 ',(π> 5 ',)1πC 4 ' ',)πA 0 ',Dπ> 5 ',(GπC 4 ' πA
y la solución es9 π 4 B ',FG ',)GD ',D ?bservamos el aumento en la participación de A, "ue pasa de )'@ a F.G@8 principalmente a costa de C, "ue cae de D'@ a D,@. Entonces si C "uiere promover una campaHa publicitaria para "uebrar el proceso, debería,
6ng. E2raín Murillo
Cadenas de Markov
D
principalmente, dirigirla $acia los actuales consumidores de A, ya "ue t AC4',( &muy pe"ueHo*. %e observa "ue t>C es bastante grande. #a siguiente tabla muestra las distribuciones de estado para di2erentes periodos de transición9
%e observa "ue a partir del periodo F, las variaciones en los tres estados son casi despreciables.
%()L*+*+ E,(,!*,: %i la marca A, por cada cliente ganado aumenta sus ventas en J1' :por cuntos períodos se debe realiar la campaHa publicitaria, sabiendo "ue esta cuesta JD'' por semana< Para dar respuesta a esta in"uietud realiamos el siguiente cuadro9
Periodo
Participación de mercado
0 1 2 3 4
0.2 0.29 0.3356 0.3575 0.3676
número de clientes
200 290 336 358 368
incremento Ingresos de clientes adicionales
90 46 22 10
Costo publicidad
$3600 1840 880 400
$500 500 500 500
Utilidad
$ 3100 340 380 -100
En consecuencia se deber realiar la campaHa durante semanas, luego cambiar.
(,&%.0 Para "ue e!ista un =nico vector de distribución estacionaria π, se re"uiere "ue 7 sea regular. 7 4 Btij es regular si t ij K ' en al menos una de sus potencias 7 m
Ejemplos: ( L ) ( L ) a* 74 es regular ya "ue t ij K ' ( L ) L
( L ) ( L ) ) ( L 1 b* 74 ,74 ( ' ' ( L M 74 '
L 1
, (
F L M
, (
entónces cual"uier 7 m no cumplir la condición t ij K ' ya "ue siempre e!istir el elemento t )(4 ', por lo tanto 7 no es regular.
6ng. E2raín Murillo
Cadenas de Markov ( L ) ( L ) ' ' ( L ) , 7)4 c* 74 ( L ) ' ( L ) ( L )
G ( L ) ( L 1 ( L 1 ( L 1 ( L ) ( L 1 , ( L 1 ( L 1 ( L )
por lo tanto 7 es regular. %i 7 es matri regular ⇒ e!iste un vector π =nico de tal 2orma "ue π7 4 π donde π es llamado a menudo #ector de distri'ución de estado esta'le compuesto por probabilidades de estar en cada estado a largo plao.
%plicación 2:
Pronóstico del clima #as probabilidades del estado del tiempo para la ciudad de Are"uipa el mes de enero del presente aHo 2ueron e!traídas de la base de datos de %E3AMN6 Are"uipa. ic$os valores $an sido tomados de un dia anterior al dia "ue irían a ser puestos a conocimiento de la población are"uipeHa. Estos datos se pueden e!presar mediante la siguiente matri de transición9
#a matri P representa el modelo del clima, en donde dice "ue un dia es soleado es '@ posible de "ue sea seguido por otro dia soleado y un dia lluvioso es D'@ posible de "ue sea seguido por otro dia lluvioso. #as columnas pueden ser nombradas como Osoleado y Olluvioso respectivamente y las 2ilas pueden ser nombradas en el mismo orden. &P* es la probabilidad "ue, dado un dia de tipo j, sea seguido por un dia i. 3ótese "ue las columnas de P suman (, es así por"ue P es una matri estocstica. Pronosticando el clima.-
El clima en el dia ' es conocido como soleado. Esto es representado por el vector en donde la entrada de Osoleado es (''@ y la de Olluvioso es '@
El clima en el día ( puede ser pronosticado de la siguiente manera
Por eso, $ay un '@ de posibilidad de "ue el dia (sea tambien soleado El clima para el día ) puede ser pronosticado de la siguiente manera9
6ng. E2raín Murillo
Cadenas de Markov
F
#as reglas generales para el día n son9
Estado estacional del clima$Para este caso, las predicciones para el clima en días mas distantes son incrementalmente imprecisos y tienden a tornarse en un vector de estado estacional. Este vector representa las probabilidades de condiciones soleadas y lluviosas para todos los días y son independientes del clima inicial. El vector del estado estacional se de2ine como9
pero solo converge si P es una matri de transición regular. esde "ue q es independiente desde condiciones iniciales, no debe ser alterada cuando trans2ormada por P . Esto genera un eigenvector &vocablo aleman "ue signi2ica vector propio* y signi2ica "ue puede ser derivado de P. Par el caso que se venia tratando:
Asi que; q( Q Dq) 4 '
Estableciendo s = q2 asi "ue s = q1. %e re"uire s + 5s = 1 para lo cual s= 0.167. El vector estacional seria el siguiente9
.epuesta$- En conclusión/ a final de cuentas/ 0 de los d3as fueron soleados en la cuidad de %re4uipa para el mes de Enero del presente a5o$
6ng. E2raín Murillo
Cadenas de Markov
%DE(%+ DE !%.6,7 %8+,.8E(&E+ Muc$as aplicaciones interesantes de las cadenas de Markov incluyen cadenas en las "ue algunos de los estados son absorbentes y el resto son transitorios. A esas cadenas se les llaman cadenas absorbentes. -n estado i de una cadena de Markov se dice "ue es absorbente si, una ve alcanado el estado i en alg=n intento, el sistema permanece en el estado i en todos los intentos 2uturos. -na cadena de Markov es absorbente si tiene uno o ms estados absorbentes y es posible llegar a un estado absorbente a partir de cual"uiera de los estados no absorbentes o transitorios. 3ota.0 Puede ser necesario pasar por varios estados transitorios para llegar a un estado absorbente. %i el estado i es absorbente, la probabilidad de transición de i a j es de (. En otras palabras, el estado i es absorbente sí y sólo sí t ij4(. El n=mero de estados absorbentes de una cadena de Markov es igual al n=mero de unos en la diagonal de su matri de transición. #a probabilidad de "ue el sistema esté en un estado transitorio disminuye al aumentar el n=mero de intentos
%plicación : Planificación de Personal #a empresa de abogados O#os Rusticieros emplea a tres categorías de abogados9 principiantes, con e!periencia y s0m 74
m
columnas columnas s − m renglones ; S m renglones
'
6
socios. urante un aHo determinado $ay una probabilidad (D@ "ue un abogado principiante sea ascendido a abogado con e!periencia y una probabilidad D@ "ue deje la empresa. 7ambién $ay una probabilidad )'@ "ue un abogado con e!periencia sea ascendido a socio y una probabilidad ('@ "ue deje la empresa. 7ambién $ay una probabilidad D@ "ue un socio deje la empresa. #a empresa nunca degrada a un abogado. %urgen muc$as preguntas interesantes "ue la empresa podría contestar. Por ejemplo9
1$ :Cul es la duración promedio de un abogado joven recién contratado en la empresa<. 2$ :Cul es la probabilidad de "ue un abogado joven llegue a ser socio<. $ :Cul es la duración promedio "ue pasa un socio en el bu2ete< entre muc$as otras. Modelaremos la trayectoria de un abogado en O#os Rusticieros como cadena absorbente con la siguiente matri de probabilidad de transición9
#os dos =ltimos estados son estados absorbentes y los dems son transitorios. Por ejemplo, E!perimentado es estado transitorio, por "ue $ay una trayectoria de E!perimentado a %ale sin ser socio, pero no $ay trayectoria "ue regrese de %ale sin ser socio a E!perimentado. %uponemos "ue una ve "ue un abogado sale de la empresa nunca regresa.
6ng. E2raín Murillo
Cadenas de Markov
Para toda la cadena absorbente se desea conocer9 &(* %i la cadena comiena en un determinado estado transitorio, y antes de alcanar un estado absorbente, :cul es el n=mero esperado de veces "ue se entrar en cada estado< :Cuntos periodos esperamos pasar en un estado transitorio dado antes "ue se e2ect=e la absorción<. &)* %i una cadena inicia en un estado transitorio dado, :cul es la probabilidad de terminar en cada uno de los estados absorbentes<. Para contestar estas preguntas necesitamos 2ormular la matri de transición con los estados en una lista con el siguiente orden9 primero los estados transitorios y después los absorbentes. Para precisar, se supondr "ue $ay s0 m estados transitorios &t (, t), ..., ts0m* y m estados absorbentes &a (, a), ..., am*. Entonces la matri de transición para la cadena de absorción puede escribirse como sigue9 En este caso, 6 es una matri identidad m!m, "ue re2leja el $ec$o de "ue nunca podemos dejar un estado absorbente8 ; es una matri &s0m*!&s0m* "ue representa las transiciones entre los estados transitorios8 S es una matri &s0m*!m "ue representa las transiciones desde los estados transitorios a los estados absorbentes8 ' es una matri m!&s0m* "ue consta de ceros. Esto re2leja de "ue es imposible ir de un estado absorbente a uno transitorio. Aplicando esta notación a la aplicación, tenemos "ue9 t(4 Principiante, t) 4 E!perimentado, t4 %ocio, a(4 %ale sin ser socio y a) 4 %ale siendo socio. y podemos escribir la matri de probabilidad de transición como9
Entonces s4D, m4), y ',M' ;4 ' '
'
',(D
',)' S 4 ',D !
',F' '
','D ',(' '
' '
','D ! )
Para dar respuesta a las preguntas 2ormuladas anteriormente, es necesario obtener las matrices9 &60;* la in2ormación contenida en estas matrices debidamente interpretadas, permite tomar decisiones. Entonces, ',)' 60; 4 ' '
− ',(D
− ',)' ','D '
',' '
Con el método /auss0Rordan o el método de la matri adjunta, se encuentra "ue9
t(
6ng. E2raín Murillo
t)
t
0(
y &60;*0(S,
Cadenas de Markov
('
t( D
),D (' &60;*0( 4 t ) ' (' L 1' L t ' ' )' Entonces, a( a) t( ',D' ',D' &60;*0(S 4 t ) ( L ) L t ( '
*nterpretación9 &(* %i en este momento estamos en el estado transitorio t i, el n=mero esperado de periodos "ue pasarn en un estado transitorio t j antes de la absorción es el ij0ésimo elemento de la matri &60;* 0(. &)* %i en este momento estamos es un estado transitorio t i, la probabilidad de ser absorbidos 2inalmente por un estado absorbente a j es el ij0ésimo elemento de la matri &60;* 0(S. Por lo tanto,
1. El tiempo esperado "ue un abogado principiante permanece en la empresa 4 &duración esperada del abogado principiante en la empresa como principiante* 5 &tiempo esperado "ue el abogado principiante permanece en la empresa como abogado con e!periencia* 5 &tiempo esperado "ue el abogado principiante permanece en la empresa como socio*. Entonces 0 7iempo esperado como principiante 4 &60;* 0(((4D 0 7iempo esperado como con e!periencia 4 &60;* 0(()4),D 0 7iempo esperado como socio 4 &60;* 0(( 4(' Por lo tanto, el tiempo total esperado "ue un abogado principiante permanece en la empresa es D 5 ),D 5 (' 4 (F,D aHos.
2$ #a probabilidad de "ue un abogado principiante recién ingresado llegue a ser socio es tan sólo la probabilidad de "ue salga de la empresa siendo socio. Como t ( 4 Principiante y a ) 4 %ale siendo socio, la respuesta es el elemento () de &60;* 0(S 4 D'. $ Como t 4 %ocio, buscamos el n=mero esperado de aHos "ue pasa en t , dado "ue comenamos en t . Este es justamente el elemento de &60;* 0( 4 )' aHos. Es raonable, por "ue durante cada aHo $ay una probabilidad de ','D &( en )'* "ue un socio deje el bu2ete y, por lo tanto, debe tardar un promedio de )' aHos en dejar la empresa.
Aplicación 19 M?E#?% E P#A3EAC6?3 E PES%?3A# Muc$as empresas, como por ejemplo O#os Rusticieros del ejemplo de plani2icación de personal, emplean varias categorías de personal. Con 2ines de planeación a largo plao, a menudo es =til poder predecir el n=mero de empleados de cada categoría "ue, si las tendencias actuales contin=an, estarn disponibles en el estado estable. %i e!iste censo de estado estable podemos encontrarlo al resolver un sistema de s ecuaciones "ue se plantea como sigue9 tan sólo nótese "ue para "ue e!ista ese estado, debe ser vlido "ue, para i4(, ), ..., %, 3=mero de personas "ue entran al grupo i durante cada periodo 4 3=mero de personas "ue salen del grupo i durante cada periodo
Ejemplo9 Segresemos al bu2ete de abogados O#os Rusticieros &Ejemplo anterior* %upongamos "ue la meta a largo plao de ese bu2ete es tener D' abogados principiantes, ' con e!periencia y (' socios. Para alcanar este censo de estado estable, :cuntos abogados de cada tipo deben contratar cada aHo<.
6ng. E2raín Murillo
Cadenas de Markov
((
%olución9 %ean /rupo ( 4 abogados principiantes /rupo ) 4 abogados con e!periencia /rupo 4 socios /rupo 1 4 abogados "ue salen del bu2ete Censo de estado estable9 3 (4D', 3)4' y 34(' Adems9 H 1= número de aogados !rinci!iantes a contratar H 2 = número de aogados con e"!eriencia a contratar H # = número de aogados asociados a contratar
Entonces9 3=mero "ue ingresa al grupo i 4 n=mero "ue sale del grupo i N( 4 &',(D 5 ','D*D' &abogados principiantes* &',(D*D' 5 N ) 4 &',)' 5 ',('*' &abogados con e!periencia* &',)'*' 5 N 4 &','D*('
&abogados asociados*
#a solución =nica de este sistema de ecuaciones es N (4(', N)4(,D, N40D,D. Estos signi2ica "ue para mantener el censo deseado de estado estable, O#os Rusticieros deben despedir D,D socios cada aHo. Esto es raonable, por "ue cada aHo $ay ',)'&'* 4 G abogados con e!periencia "ue pasan a ser socios, y una ve "ue lo $acen, permanecen en ese puesto un promedio de )' aHos. Esto muestra "ue para mantener el n=mero de asociados en (', deben despedirse algunos de ellos. ?tra solución podría ser reducir, a menos de su valor actual de ',)', la 2racción de abogados con e!periencia "ue pasan a ser socios cada aHo.
!%+ %PL*%*,(E+: %PL*%*9( 1$- -na empresa necesita contratar copiadoras en renta, escogiendo entre dos m"uinas. #as dos m"uinas $acen copias "ue no se pueden distinguir. Cada m"uina 2unciona o no 2unciona. %eg=n los registros anteriores, se $a determinado "ue si la m"uina 6 trabaja un día determinado, la probabilidad es de ',D "ue trabaje el día siguiente. %i no trabaja un cierto día, la probabilidad es de ',FD "ue 2uncione el siguiente día. %i la m"uina 66 trabaja $oy, la probabilidad es de ', "ue trabaje maHana. %i no 2unciona $oy, la probabilidad es de ', "ue trabaje maHana. :;ué m"uina debe rentar la empresa<. %?#-C6T39 %iendo los estados9 U &2unciona* y 3U &no 2unciona*, elaboramos las matrices de transición de estados respectivas. Matri de transición de estados &7* para la M"uina (
Matri de transición de estados para la M"uina )
#uego $allamos los vectores de estado estable para ambas m"uinas aplicando la relación9
6ng. E2raín Murillo
Cadenas de Markov
()
4 π.7
π
%iendo π 4 B !( !) onde 9 !(9 probabilidad de estado estable de "ue la m"uina Uuncione !)9 probabilidad de estado estable de "ue la m"uina 3o Uuncione Adems !(5!)4( Para la m"uina ( tenemos9 B !( !) 4 B !( !) V7 !(5!)4( Seemplaando los datos de matri de 7ransición de estados de la m"uina ( y resolviendo el sistema de ecuaciones tenemos9 !(4 '.FD y !)4'.'G)D entonces π( 4 B '.FD '.'G)D Para la m"uina ) tenemos π) 4 B '. '.(((( Por lo tanto se observa "ue la m"uina ( tiene mayor probabilidad de 2uncionamiento &.FD@* 2rente a .@ de la m"uina ), en consecuencia la empresa debe rentar la m"uina (.
%PL*%*9( 2$- -na pe"ueHa tienda de videos lleva un control del n=mero de veces por semana "ue es rentado un video y estima las siguientes probabilidades de transición &ver matri siguiente*.
onde9 los estados en orden son9 D veces, 1 veces, veces, ) veces, ( ve y ' veces Por ejemplo, si un video se rentó D veces esta semana, entonces $ay una probabilidad de '@ de "ue sea rentado D veces la siguiente semana, ('@ de probabilidades de "ue sea rentado 1 veces y ('@ de probabilidades de "ue sea rentado veces. Cuando un video es rentado ' veces, este se desec$a. #a siguiente matri 2ue calculada utiliando el las 2unciones de E!cel9
a* %uponga "ue un video 2ue rentado D veces esta semana. :Cul es la probabilidad de "ue sea rentado 1 veces durante la siguiente semana<. Entonces se tiene "ue9 +o 4 B ( ' ' ' ' '
6ng. E2raín Murillo
Cadenas de Markov
(
Nallamos +( +( 4 +o7 +( 4 B '. '.( '.( '.' '.' '.' Entonces la probabilidad de "ue sea rentado 1 veces la pró!ima semana es ('@. b* %uponga "ue un video 2ue rentado veces esta semana. :Cul es la probabilidad de "ue sea rentado ) veces durante la segunda semana<. Entonces se tiene "ue9 +o 4 B ' ' ( ' ' ' Nallamos +) +( 4 +o7 +( 4 B '.' '.' '.G '. '.( '.' +) 4 +(7 +) 4 B '.' '.' '.D( '.' '.(D '.''1 Entonces la probabilidad de "ue sea rentado ) veces la segunda semana es '@. c* %uponga "ue un video 2ue rentado D veces esta semana. En promedio, :cuntas veces ms ser rentado antes de "ue se desec$e<. Para responder esta pregunta usamos la in2ormación de la matri &60;* 0( &primera 2ila* D&D*5 (.GGF&1* 5 G.1(&* 5 .D(&)* 5 ).D&(* 4 G( veces d* %uponga "ue esta semana se rentó D veces. En promedio, :cuntas semanas ser rentado por lo menos ) veces<. Para responder esta pregunta usamos la in2ormación de la matri &60;* 0( &primera 2ila* .D( semanas ser rentado ) veces G.1( semanas ser rentado veces (.GGF semanas ser rentado 1 veces D.''' semanas ser rentado D veces Entonces ser rentado por lo menos ) veces .D( 5 G.1( 5 (.GGF 5 D 4 (G.F semanas. e* %uponga "ue un video 2ue rentado veces esta semana. En promedio, :cuntas veces ms ser rentado<. Para responder esta pregunta usamos la in2ormación de la matri &60;* 0( &tercera 2ila* '&D*5 '&1* 5 G.GGF&* 5 .&)* 5 ).D&(* 4 ) veces. 2*
%uponga "ue un video 2ue rentado 1 veces esta semana. :Cul es la probabilidad de "ue sea desec$ado<.
( ( ( Nallamos la matri &60;* 0(VS 4 ( ( (
6ng. E2raín Murillo
Cadenas de Markov
(1
-samos la in2ormación de la segunda 2ila9 #a probabilidad de "ue sea desec$ado es (''@
%PL*%*9( $- Ruan es propietario de un terreno con D''' pinos. Cada aHo Ruan le permite a los detallistas de rboles de navidad seleccionar y cortar rboles para la venta a clientes individuales. Ruan protege los rboles pe"ueHos &por lo general de menos de ()' cm. de alto* de manera "ue estén disponibles para la venta en aHos 2uturos. Actualmente estn clasi2icados (D'' rboles como protegidos, en tanto "ue los D'' restantes estn disponibles para corte. %in embargo, aun"ue en un aHo dado un rbol esté disponible para corte, "uis no sea seleccionado sino $asta en aHos 2uturos. Aun"ue la mayoría de los rboles "ue no se cortan en un aHo dado vi ven $asta el siguiente, todos los aHos se pierden algunos pinos en2ermos. Al estudiar la operación de los rboles de navidad de Ruan como un proceso de Markov con periodos anuales, de2inimos los cuatro estados siguientes9 Estado (. Cortado y vendido. Estado). Perdido por en2ermedad. Estado. Pe"ueHo para cortarse Estado1. isponible para cortar, pero no cortado ni vendido #a siguiente matri de transición es apropiada
Aplicando el E!cel $allamos las siguientes matrices9
a* :Cuntos de los D''' rboles se vendern y cuntos se perdern<. (D''V'.D) 5 D''V'. 4 D' rboles se vendern (D''V'.1 5 D''V'.) 4 (1)' rboles se perdern b* :Cuntos aHos se espera "ue pase un rbol pe"ueHo en el vivero antes de ser cortado y vendido o perdido por en2ermedad<. ) 5 '. 4 ). aHos c* :Cul es la probabilidad de "ue un rbol disponible para cortar sea cortado y vendido<. :y cul es la probabilidad de "ue se pierda por en2ermedad<. '@ de probabilidad de "ue un rbol disponible para cortar sea cortado y vendido y )'@ de probabilidad de "ue un rbol disponible para cortar se pierda por en2ermedad.
6ng. E2raín Murillo
Cadenas de Markov
(D
%PL*%*,(E+ P.,PUE+&%+ %PL*%*9( 1$- -na m"uina puede estar en dos estados9 U O2unciona o ; Oaveriada, con t UU 4 '., t;; 4 '.1, t;U 4 '.G, tU; 4 '.). Cuando 2unciona da una utilidad de 1' por periodo y, cuando est averiada, los gastos son de (G' por periodo, considerando la situación de régimen estable9 a* Calcule la ganancia media por periodo. b* Ieri2i"ue si un plan de mantenimiento preventivo "ue cuesta JD' por periodo, alterando9 t UU a '. y t ;; a '. vale la pena<.
%PL*%*9( 2$- Calcule la situación de régimen π para el modelo cuyas probabilidades de transición son las siguientes9 t((4 '.1 t()4 '. t(4 '.
t))4'. t)4'.F
t(4'.D t4'.D
Sepita en el caso de t )4',1 en ve de ',F.
%PL*%*9( $- -n asaltante notorio puede estar en uno de tres estados9 i* ii* iii*
%uelto, practicando asaltos. Preso en la delegación de policía, esperando su trans2erencia. Preso en la crcel.
Considerando las siguientes probabilidades de transición9 taa 4 '.G8 Permanecer suelto. tab 4 '.18 %er preso y llevado para la delegación. t ba 4 '.)8 Uugar de la delegación. t bb 4 '.)8 Continuar en la delegación. t bc 4 '.G8 %er llevado a prisión. tcc 4 '.8 Continuar en la prisión. tca 4 '.)8 Uugar de la prisión. a* b*
Naga un diagrama de la situación. Calcule la probabilidad de "ue un asaltante, inicialmente suelto, siga suelto &practicando asaltos* después de dos periodos.
%PL*%*9( $- %e usa una m"uina para producir $erramientas de precisión. %i la m"uina est $oy en buenas condiciones, entonces estar bien maHana con '@ de probabilidad. %i la m"uina est en mal estado $oy, entonces estar en mal estado maHana con '@ de probabilidad. %6 la m"uina est en buen estado, produce ('' $erramientas por día, y si est en mal estado, G' $erramientas por día. En promedio, :cuntas $erramientas por día se producen<.
%PL*%*9( ;$- #a Wep$yr Electronics Co. Uabrica tocacintas porttiles. Antes de mandar a ventas un casete o portacintas, se analia el lote. #as categorías de inspección son9 no 2unciona &3U*, regular, bueno y e!celente. #os portacintas 3U se desec$an, mientras "ue los lotes e!celentes se envían inmediatamente a ventas. #os lotes regulares y buenos se regresan para ajustes y se vuelven a probar. #as proporciones de lotes regulares y buenos "ue cambian de categoría se dan en la tabla siguiente9
6ng. E2raín Murillo
Cadenas de Markov
(G
a* escríbase este proceso de prueba como una cadena de Markov absorbente y calc=lese la matri de transición. b* Cuntas veces, en promedio, se volver a inspeccionar un lote "ue ya se $abía probado y $abía resultado regular en la prueba anterior< c* Cuntas veces, en promedio, se inspeccionar de nuevo un lote "ue ya se $abía probado y dio por resultado ser bueno< d* Cul es la probabilidad de "ue se desec$e un lote regular< e* Cul es la probabilidad de "ue un lote regular llegue a ventas< 2* e ' ''' lotes probados como buenos originalmente. Cuntos llegarn a ventas<
%PL*%*9( <$- Ureeco, 6nc., vende re2rigeradores. #a 2abrica otorga una garantía en todos los re2rigeradores "ue especi2ica cambio gratis de cual"uier unidad "ue se descomponga antes de tres aHos. %e nos da la siguiente in2ormación9 &(* el @ de todos los re2rigeradores nuevos 2alla durante su primer aHo de 2uncionamiento8 &)* el D@ de todos los re2rigeradores con ( aHo de 2uncionamiento 2alla durante el segundo aHo de trabajo, y &* el F@ de todos los re2rigeradores con dos aHos de 2uncionamiento 2alla durante su t ercer aHo. #a garantía no vale para el re2rigerador de repuesto. a* -se la teoría de cadenas de Markov para predecir la 2racción de todos los re2rigeradores "ue deber cambiar Ureeco. b* %uponga "ue a Ureeco le cuesta D'' dólares cambiar un re2rigerador y "ue vende ('''' re2rigeradores al aHo. %i la 2abrica redujera el plao de garantía a dos aHos, :cunto dinero se a$orraría en costos de reemplao<.
%PL*%*9( =$- El Programa Pro2esional de 6ngeniería 6ndustrial, después de $aber recogido datos durante varios aHos, puede predecir las proporciones de los estudiantes "ue pasarn de una categoría a otra en un aHo dado. Estos datos se dan en la tabla siguiente.
%e observa el estado de cada estudiante al principio de cada aHo. Por ejemplo, si un estudiante es del er aHo al principio de este aHo, $abr GD@ de probabilidades de "ue al principio del aHo siguiente sea del 1to aHo, (D@ de probabilidad de "ue a=n sea del tercer aHo y )'@ de "ue se retire. %uponemos "ue una ve de "ue se retire un estudiante ya nunca vuelve a inscribirse. a* %i un estudiante entra al Programa a primer aHo, :Cuntos aHos se espera "ue pasen siendo estudiante<. b* :Cul es la probabilidad de "ue egrese un estudiante de nuevo ingreso<. c* %i $ay )D' estudiantes de primer aHo, (D' estudiantes de segundo aHo, ()' de tercer aHo, ' de cuarto aHo y D' de "uinto aHo. :Cuntos de éstos estudiantes culminarn la carrera<.
6ng. E2raín Murillo
Cadenas de Markov
(F
%PL*%*9( 0$- El e"uipo de 2=tbol del U>C Melgar consta de ) estrellas, novatos y (( sustitutos. Para 2ines de impuestos, los accionistas deben evaluar a los jugadores. %e de2ine el valor de cada jugador como el valor total del sueldo "ue gana $asta su retiro. Al inicio de cada temporada, se clasi2ican los jugadores en cuatro categorías9
ategor3a 1: ategor3a 2: ategor3a : ategor3a :
Estrella 3ovato Seserva Setirado
&/ana ( millón de dólares al aHo*. &/ana 1'' mil dólares al aHo*. &/ana ('' mil dólares al aHo*. &3o gana salario*.
%i un jugador es estrella, novato o reserva el principio de ésta temporada, las probabilidades de "ue pase a ser estrella, novato, reserva o retirado al principio de la siguiente temporada son como sigue9
etermine el valor de los jugadores del e"uipo.
%PL*%*9( >$- En un proceso productivo las pieas una ve procesadas son inspeccionadas para determinar si son rec$aadas, reprocesadas o aceptadas para su posterior venta. Estadísticamente el '@ de las pieas son aceptadas y el D@ son rec$aadas. a* %i el costo de proceso es de J(D por piea y el de reproceso JD. :Cul seria el costo de un item "ue termine en ventas<. b* En un lote de ('''' pieas :cuntas sern rec$aadas<
%PL*%*9( 1$- -na 2brica de jabón se especialia en jabón de tocador de lujo. #as ventas de este jabón 2luct=an entre dos niveles Xbajo y alto0 y dependen de dos 2actores9 (* si $acen o no publicidad y )* si los competidores anuncian y comercialian nuevos productos. El segundo 2actor est 2uera de control de la compaHía, pero "uieren determinar cul debe ser su propia política publicitaria. Por ejemplo, el gerente de comercialiación propone $acer publicidad cuando las ventas estn bajas y no $acerla cuando estn altas. #a publicidad "ue se $ace en un trimestre dado del aHo tiene su impacto el siguiente trimestre. e cual"uier manera, al principio de cada trimestre se dispone de la in2ormación necesaria para pronosticar con e!actitud si las ventas sern altas o bajas ese trimestre y decidir si $acer publicidad o no. El costo de publicidad es de J( millón de dólares cada trimestre del aHo "ue se $aga. Cuando se $ace publicidad en un trimestre, la probabilidad de tener ventas altas el siguiente trimestre es Y o Z seg=n si en el trimestre actual se tiene ventas bajas o altas. Estas probabilidades bajan a [ y Y cuando no se $ace publicidad en el trimestre actual. #as ganancias trimestrales de la compaHía &sin incluir los costos de publicidad* son de J1 millones cuando las ventas son altas pero sólo J) millones cuando son bajas. &e a"uí en adelante utilice ci2ras en millones de dólares*. a* Construya la matri de transición &de un paso* para cada una de las siguientes estrategias de publicidad9 i* nunca $acer publicidad, ii* siempre $acer publicidad, iii* seguir la propuesta del gerente de comercialiación. b* etermine las probabilidades de estado estable para los tres casos del inciso a*. c* Encuentre la ganancia promedio a la larga &incluyendo una deducción por los costos de publicidad* por trimestre para cada una de las estrategias del inciso a*. :Cul de estas estrategias es la mejor seg=n esta medida de desempeHo<.
6ng. E2raín Murillo
Cadenas de Markov
(
%PL*%*9( 11$- El estado de las cuentas por cobrar en una empresa se modela con 2recuencia como una cadena absorbente de Markov. %uponga "ue una empresa supone "ue una cuenta es incobrable si $an pasado ms de tres meses de su 2ec$a de vencimiento. Entonces, al principio de cada mes, se puede clasi2icar cada cuenta en uno de los siguientes estados especí2icos9 Estado ( Cuenta nueva. Estado ) #os pagos de la cuenta estn retrasados un mes. Estado #os pagos de la cuenta estn retrasados dos meses. Estado 1 #os pagos de la cuenta estn retrasados tres meses. Estado D %e $a saldado una cuenta. Estado G %e $a cancelado la cuenta por ser mal pagador. %upongamos "ue los =ltimos datos indican "ue la siguiente cadena de Markov describe cómo cambia el estado de una cuenta de un mes al siguiente9
Por ejemplo si al principio de un mes una cuenta lleva dos meses de vencida, $ay 1'@ de probabilidades de "ue no se pague al principio del mes siguiente y, por lo tanto, "ue tenga tres meses de retraso y una probabilidad de G'@ de "ue se pague. %uponga ademn "ue después de tres meses, la cuenta o se cobra o se considera incobrable. -na ve "ue una deuda se paga o se considera incobrable, se cierra y no se tiene ms transiciones. a* :Cul es la probabilidad "ue una cuenta nueva sea cobrada alguna ve<. b* :Cul es la probabilidad "ue una cuenta atrasada un mes se vuelva 2inalmente incobrable< c* %i las ventas de la empresa son ('' ''' dólares en promedio mensual, :cunto dinero ser incobrable cada aHo<.
%PL*%*9( 12$- En la siguiente matri de probabilidad de transición se resume la in2ormación del progreso de los estudiantes universitarios en una universidad en particular.
$
(.'' '.'' '.'' = '.'' '.'' '.A'
' .''
'.''
' .''
'.''
'.''
(.''
' .''
'.''
'.''
'.)'
' .(D
'.GD
'.''
' .''
'.(D
' .''
'.('
'.FD
' .''
'.('
' .''
'.''
'.'D
' .MD
'.'D
' .''
'.''
'.''
' .'D
' .''
onde los estados son9 Estado (9 /raduado, Estado )9 Abandona, Estado 9 e primer aHo, Estado 19 e segundo aHo, Estado D9 e tercer aHo y Estado G9 e cuarto aHo a* :;ué estados son absorbentes<. b* :Cul es la probabilidad de "ue un estudiante de segundo aHo se grad=e, :cul la probabilidad de "ue abandone<.
6ng. E2raín Murillo
Cadenas de Markov
(
c* En un discurso de bienvenida a G'' alumnos de nuevo ingreso, el rector les pide "ue se den cuenta de "ue apro!imadamente D'@ de los presentes no llegar al día de graduación. :-n anlisis de los procesos de Markov apoya la declaración del rector<. E!pli"ue. d* :Cuntos aHos se espera "ue pase en la universidad un estudiante de nuevo ingreso antes de "ue se grad=e< e* Noy, la universidad tiene G'' estudiantes nuevos8 D)' de segundo aHo8 1G' de tercero y 1)' de cuarto. :;ué porcentaje se graduar de los )''' estudiantes de la universidad<. 2*
entro de D aHos, :cul ser la distribución de los )''' estudiantes<
%PL*%*9( 1$- El ( de enero &de este aHo*, las panaderías \losman controlaban el 1'@ de su mercado local, mientras "ue las otras dos panaderías, A y >, tenían 1' y )' por ciento, respectivamente, del mercado. >asndose en un estudio de una empresa de investigación de mercado, se compilaron los siguientes datos9 la panadería \losman retiene el '@ de sus clientes, y gana el D@ de los clientes de A y el ('@ de los de >. #a panadería A retiene el D@ de sus clientes y gana D@ de los clientes de \losman y F@ de l os de >. #a panadería > retiene @ de sus clientes y gana D@ de los clientes de \losman y ('@ de los de A. a* :Cul ser la participación de cada empresa en (] de enero del aHo siguiente. b* \losman decide $acer una campaHa publicitaria a e2ectos de ganar clientes, dic$a campaHa altera las probabilidades de transición de estados de la siguiente manera9 la panadería \losman retiene el '@ de sus clientes, y gana el (D@ de los clientes de A y el )'@ de los de >. #a panadería A retiene el FD@ de sus clientes y gana D@ de los clientes de \losman y F@ de los de >. #a panadería > retiene F@ de sus clientes y gana D@ de los clientes de \losman y ('@ de los de A. %i a \losman le cuesta D' dólares por mes una campaHa publicitaria y por cada cliente ganado obtiene un ingreso igual a (' dólares mensuales, :por cuntos periodos debe mantener su campaHa publicitaria, sabiendo "ue se compite en un mercado de (''' clientes<.
6ng. E2raín Murillo
