Spark Para Dummies

SPARK PARA DUMMIES

Spark, al igual que Hadoop, es básicamene un marco de desarrollo que proporciona una serie de plaa!ormas inerconecadas, sisemas " esándares para lle#ar a cabo pro"ecos de $ig Daa% Spark ambi&n es de c'digo abiero " perenece a la Apac(e So!)are *oundaion% De c'digo abiero quiere decir que el c'digo puede ser uili+ado libremene por cualquie cualquierr persona persona aun más- puede puede ser modi.cad modi.cado o por cualqui cualquier er persona persona para crea crearr ora oras s #ers #ersio ione nes s dirig irigid idas as a resol esol#e #err nue#a ue#as s prob proble lemá mái ica cas% s% /os desarrollador desarrolladores es " las empresas que las producen, esán consanemene consanemene re.nando " acual acuali+a i+ando ndo los prog program ramas, as, a0adi a0adiend endo o nue#a nue#as s !unci !unciona onalid lidad ades es o ma"or ma"or e.ciencia% Spark !ue el pro"eco de Apac(e más paricipai#o el a0o pasado, " no s'lo de Apac(e, sino de odas las aplicaciones de c'digo abiero de $ig Daa, con más de 122 colaboradores en más de 322 organi+aciones%

Seg4n los e5peros, Spark es más a#an+ado " más reciene que Hadoop, " esá dise0ado para raba6ar mediane el procesamiento de !ragmenos de daos 7 en memoria7% Eso signi.ca que rans.ere los daos de los discos duros !8sicos a la memoria del sisema, donde el procesamieno es muc(o más rápido 9(asa :22 #eces más rápido en algunas operaciones;% /a plaa!orma Spark esá mu" de moda, " lo uili+an muc(as grandes empresas para para el alma almace cena nami mien eno o " anál anális isis is de enor enorme mes s can canid idad ades es de dao daos s mul muli< i< peab"es, debido a su #elocidad- el a0o pasado, Spark alcan+' un r&cord mundial al complear una prueba de clasi.caci'n de :22 erab"es de daos en 3= minuos, cuando el r&cord anerior era de >: minuos con Hadoop% Además, es id'neo para aplicaciones aplicaciones de Machine Learning 9Aprendi+a6e 9Aprendi+a6e Auomáico;, una de las prácicas de ma"or crecimieno " más emocionane denro de las ciencias de la compuaci'n 9#er pos anerior;% Apac(e Spark esá dise0ado desde sus inicios para ser !ácil de insalar " usar ? siempre que se engan cieros conocimienos de in!ormáica< " para ser uili+ado en m4liple m4liples s aplicaci aplicaciones ones de negocio negocio%% Muc(os Muc(os pro#eed pro#eedore ores s o!recen o!recen sus propias propias #er #ersion iones 9al 9al igual que Hadoop oop;, orien rienados dos a indu ndusria rias concre crea as,

con.guraciones cusomi+adas para pro"ecos " usos concreos, " ser#icios de consulor8a para su implanaci'n " !uncionamieno % Spark uili+a la compuaci'n en clúster 9grupos de máquinas unidas por una red de ala capacidad, que !uncionan como una gran máquina; para obener una ma"or poencia de cálculo " almacenamieno, lo cual se raduce en que puede uili+ar los recursos de muc(os procesadores unidos enre s8% Es una soluci'n escalable, es decir, que si se necesia más capacidad, s'lo se ienen que a0adir más procesadores en el sisema% @on el almacenamieno disribuido, los grandes .c(eros de daos recogidos para el análisis se almacenan en muc(os discos duros !8sicos indi#iduales más peque0os, lo cual acelera las operaciones de lecuraescriura, porque la 7cabe+aB que lee la in!ormaci'n de los discos iene menos disancia !8sica para despla+arse sobre la super.cie del disco% Al igual que con la poencia de procesamieno, se puede a0adir más capacidad de almacenamieno cuando sea necesario ", además, uili+a (ard)are comercial 9discos duros esándar; que maniene ba6os los coses de in!raesrucura%

A di!erencia de Hadoop, Spark no #iene con su propio sisema de arc(i#os- en #e+ de eso, se puede inegrar con muc(os sisemas de arc(i#os inclu"endo el de Hadoop HD*S, MongoD$ " el sisema S= de Ama+on% Cro elemeno di!erencial es Spark Sreaming, que permie que las aplicaciones que se desarrollen realicen análisis en sreaming, daos en iempo real, redes sociales, .c(eros de log, ec% En las indusrias como el markeing, el análisis en iempo real proporciona grandes #ena6as por e6emplo, personali+ar los anuncios en base al comporamieno real del usuario, en lugar de en el comporamieno (is'rico, aumenando la posibilidad de obener una compra% Una bre#e inroducci'n de Apac(e Spark, el !uuro del $ig Daa, que espero que resule 4il% Esándar  Publicado en Anal"ics, $ig Daa, buisiness inelligence, Daa Science, Hadoop, (p-)))%madridsc(oolo!markeing%es!ormacionarea< masermaser
2>%3:%:1 por msmksocialmedia

HADCCP *CR DUMMIES

Hadoop es, (o" por (o", el marco de desarrollo esablecido para implanaciones de $ig Daa% Se compone de un con6uno de capacidades reales, escalables " auomáicas para gesionar el Fu6o de daos, " con#erir raw data 9daos en bruo; en insight 9#alor;% Su creador !ue Doug @uing " lo don' a Apac(e So!)are *oundaion 9organi+aci'n sin ánimo de lucro creada para dar sopore a los desarrollos de So!)are;% Su nombre " el logo, se lo debe a la mascoa de su (i6o, un ele!ane de peluc(e llamado Hadoop% Surge en 322G a parir de un (ie Paper de oogle que describ8a su sisema de .c(eros% Doug no u#o problema en implanarlo " me6orarlo% @omo "a (emos dic(o en pos aneriores, Hadoop cubre las necesidades básicas que iene el $ig Daa- almacenamieno " procesado de daos% De a(8, que es& basado en dos concepos



HD*S 9Hadoop Disribued *ile S"sem;- es un sistema de archivos disribuido, escalable " poráil% MapReduce- es el modelo de programación sencillo para dar sopore a la compuaci'n paralela%

El sisema disribuido de .c(eros raba6a sobre grupos de compuadoras, organi+adas en lo que se llama un cluster, puede incluir desde una máquina 9nodo;, (asa =2%222 seg4n la )eb de Apac(e% @ada máquina puede ener #arios discos% Hadoop !unciona en modo cliene
/os grandes .c(eros de daos de enrada se rocean en ama0os menores 9JG$ ' :3$; " cada ro+o se replica al menos res #eces en nodos disinos% As8 se comien+a el procesamieno en paralelo, " si alguno de los nodos !alla, el máser deeca el !allo " asigna el raba6o a oro nodo disponible% MapReduce raba6a mediane algorimos simples de 7 clave?valorB % /a pare de Map, asigna la cla#e a la in!ormaci'n que esamos buscando% El e6emplo esrella de los cursos de Hadoop es el algorimo de conar palabras en un e5o% /a cla#e ser8a cada palabra, " el #alor las #eces que aparece% Primero conar8amos cada palabra, siendo el resulado 9palabra, :;, despu&s ordenar8amos las palabras " .nalmene, en la !ase Reduce, sumar8amos las palabras que aparecen repeidas% Leámoslo con un grá.co-

@on ese m&odo se a(orra iempo de rans!erencia de .c(eros, "a que el almacenamieno " el procesado se reali+a en el mismo siio% Hadoop raba6a en modo batch, es decir, e6ecuando unos procesos ras oros% Esá opimi+ado para leer cada .c(ero enero, desde el principio (asa el .nal, por ello esá desinado a raba6ar con pocos .c(eros grandes en #e+ de con muc(os peque0os, porque lo carga en memoria " lo lee de una sola #e+% Por suere, e5ise odo un ecosisema para raba6ar con Hadoop, " no ener que escribir odo el c'digo necesario para reali+ar la asignaci'n de .c(eros, el procesamieno, ec% Leamos algunos de los componenes del +oo de Hadoop-

Eclipse- es un enorno de desarrollo inegrado, donado por I$M a la comunidad Apac(e% Agili+a enormemene el desarrollo de los programas a#a% Sqoop: nos permie conecarnos a cualquier base de daos relacional 9que el acceso mediane una cone5i'n CD$@; e inercambiar daos con nuesro sisema de .c(eros HD*S% Es mu" imporane poder incorporar !ácilmene daos de nuesras bbdd 9daa)are(ouse, ERPs, ec%; igualmene poder lle#ar !ácilmene el resulado de un cálculo 9scoring, segmenaci'nN; a nuesras bases de daos% Flume: nos permie recuperar in!ormaci'n de siios remoos% Mediane un agene que se e6ecua en el lugar que se producen los daos 9.c(ero de log, O)eeerN; recoge los daos " los impora en HD*S% Es solo de una direcci'n, no permie e5porar daos de HD*S a oras ubicaciones% Mu" 4il para recuperar in!ormaci'n en iempo real% ive: ac4a como la base de daos de Hadoop% Es un in&rpree S/ ? MapReduce%  Oraduce la quer" a programas a#a que realicen los MapReduce% Eso permie uili+ar (erramienas de $usiness Inelligence con#encionales 9que admian cone5i'n CD$@; con los daos de HD*S% !ig: para raba6ar con MapReduce, es necesario programar, ener s'lidos conocimienos de a#a, saber c'mo !unciona MapReduce, conocer el problema a resol#er, escribir, probar " manener el c'digo N Para ello es mu" bene.cioso disponer de un sisema más sencillo, que nos absraiga de la comple6idad del MapReduce% Para ello e5ise Pig, que !acilia el Fu6o de daos de una manera más sencilla% Dispone de su propio lengua6e de programaci'n llamado Pig /ain% base: es una base de daos columnar que se e6ecua sobre HD*S% Puede almacenar grandes canidades de daos, " acceder a ellos mu" rápidamene " lle#a bien el procesamieno incluso cuando (a" daos dispersos% Un e6emplo de

base de daos columnar, es como si almacenáramos los resulados de !4bol en

una abla as8"o#ie- Ac4a como un plani.cador% Es un moor de )orkFo)s, que puede incluir procesos MapReduce 9#arios, "a que los procesos MapReduce son simples " por lo general, (a" que encadenar #arios para reali+ar los cálculos;, scrips de Pig, de Hi#e, ec% $oo%eeper- alguien en8a que cuidar de ana !aunaN Qookeeper ac4a como coordinador% uarda oda la con.guraci'n de los meadaos, reali+a los bloqueos perinenes si dos procesos deben acceder al mismo .c(ero, guarda usuarios " pass)ords para el acceso a los disinos sios, ec% Mahout: es una librer8a de algorimos de Mac(ine /earning, escrios en a#a% u& es Mac(ine /earning Un programa al que no (a" que decirle qu& debe (acer% Dedicaremos un pos poserior a (abla de Mac(ine /earning% Despu&s de ese ecosisema, "a podemos ponernos a uili+ar Hadoop, sin necesidad de ser e5peros en a#aN os animáis Esándar  Publicado en $ig Daa, Daa Science, Hadoop, (p-)))%madridsc(oolo!markeing%es!ormacionarea< masermaser