{"id":1955,"date":"2016-01-15T12:54:03","date_gmt":"2016-01-15T10:54:03","guid":{"rendered":"https:\/\/inlab.fib.upc.edu\/?p=1955"},"modified":"2016-01-15T12:54:03","modified_gmt":"2016-01-15T10:54:03","slug":"que-herramientas-necesitas-para-iniciarte-en-big-data","status":"publish","type":"post","link":"https:\/\/inlab.fib.upc.edu\/es\/uncategorized-ca-en\/que-herramientas-necesitas-para-iniciarte-en-big-data","title":{"rendered":"\u00bfQu\u00e9 herramientas necesitas para iniciarte en Big Data?"},"content":{"rendered":"

Desde la creaci\u00f3n de Internet y cada vez m\u00e1s, se ha contado con datos generados por infinidad de aplicaciones y que tenemos a nuestro alcance esperando a ser usados. Anta\u00f1o, tener y consumir todo este ingente material se pod\u00eda volver una tarea pr\u00e1cticamente imposible o inviable tanto econ\u00f3mica como tecnol\u00f3gicamente.<\/span><\/p>\n

<\/p>\n

Introducci\u00f3n<\/h2>\n

Desde la creaci\u00f3n de Internet y cada vez m\u00e1s, se ha contado con datos generados por infinidad de aplicaciones y que tenemos a nuestro alcance esperando a ser usados. Anta\u00f1o, tener y consumir todo este ingente material se pod\u00eda volver una tarea pr\u00e1cticamente imposible o inviable tanto econ\u00f3mica como tecnol\u00f3gicamente. Esto limitaba el uso de la informaci\u00f3n a aquella que era m\u00e1s relevante y punto. Vamos a ver en que herramientas podemos iniciarnos para solventar este handicap y sacar el m\u00e1ximo valor a nuestros datos<\/strong>. Herramientas open-source y que cualquiera tiene a su disposici\u00f3n. El ecosistema Hadoop<\/strong>.<\/p>\n

Hardware<\/h2>\n

\"CubieboardHoy en d\u00eda tenemos a nuestro alcance el poder consumir esta informaci\u00f3n sin necesidad de contar con un car\u00edsimo supercomputador en nuestro trastero. Podemos llegar a hacer pruebas con sistemas de 8-16GB de RAM y unos cuantos GB de disco duro. En un entorno de producci\u00f3n se usa \u00abcomodity hardware<\/strong>\u00ab, es decir, m\u00e1quinas que no necesitan tener un alto grado de fiabilidad y sofisticaci\u00f3n (sistemas RAID, discos duros enterprise, componentes redundantes, etc). M\u00e1quinas de este tipo son mucho m\u00e1s baratas y si se rompen, ponemos otras y ya est\u00e1. El peso de la fiabilidad recae sobre el software. Tendremos, esto s\u00ed, que dimensionar las caracter\u00edsticas seg\u00fan los requerimientos de nuestro escenario. Una configuraci\u00f3n t\u00edpica de un nodo de un entorno productivo podr\u00eda ser una m\u00e1quina con 8-24 cores, 32-256GB de RAM y unos 8-12 discos HDD.<\/p>\n

Para introducirnos en el uso de este software, no es necesario tener un cluster de m\u00e1quinas potentes, podremos ponernos a trastear con un \u00bfCubieboard cluster <\/a>:)?, unas simples VM’s en nuestro PC o con alguna VM como la Cloudera QuickStart VM con todo ya montado, que sirve justamente para aprender.<\/span><\/p>\n

Motivaci\u00f3n<\/span><\/h2>\n

\"Big<\/p>\n

Antes de nada, dejemos clara una cosa y no nos enga\u00f1emos, Big Data es para tratar con grandes vol\u00famenes de datos. Big Data aparece cuando decidimos dejar de quedarnos con lo que era m\u00e1s relevante y pasar a quedarnos con TODO<\/strong>. Toda informaci\u00f3n sirve en alg\u00fan momento<\/strong> y nos puede permitir ver cosas que con solamente \u00ablo importante\u00bb no podemos llegar a ver y que en muchas ocasiones nos puede aportar mucho valor<\/strong>.<\/p>\n

Como dec\u00edamos, hoy en d\u00eda se ha vuelto factible tener mucha informaci\u00f3n y ser capaz de consumirla, pero tambi\u00e9n hay que entender cuando tiene sentido usar herramientas Big Data y cuando no. Si tenemos un volumen alto de datos<\/strong> y tenemos que lidiar con gigas y gigas de datos (o alguna magnitud mayor) estar\u00e1 bien usar estas herramientas. De no ser as\u00ed, tambi\u00e9n podemos hacer uso de todo esto, pero matar moscas a ca\u00f1onazos quiz\u00e1s no es tan adecuado, aunque sea la moda.<\/p>\n

La Base<\/span><\/h2>\n

Hablar de Big Data es hablar de Hadoop y todo lo que lo rodea. Vamos a ver qu\u00e9 es Hadoop. Hadoop se sustenta en la forma en la que almacena y accede a los datos. Hadoop est\u00e1 formado por HDFS y MapReduce. La combinaci\u00f3n de estos dos permite que los datos est\u00e9n replicados y distribuidos<\/strong> por N nodos beneficiando la capacidad de acceso a grandes vol\u00famenes. Cuando queremos ejecutar alguna operaci\u00f3n sobre estos datos distribuidos, Hadoop se encarga de procesar cada porci\u00f3n de los datos en el nodo que los contiene<\/strong>. De esta forma se aprovecha la localidad de tener los datos cerca de donde se van a procesar y permite escalar<\/strong> de forma casi lineal. Si queremos crecer en capacidad, a\u00f1adimos m\u00e1s nodos y listo. Del almacenamiento se encarga HDFS y del procesamiento MapReduce.<\/p>\n

\"aplicaciones<\/p>\n

Complementos B\u00e1sicos<\/h2>\n

Con HDFS y MapReduce tenemos la capacidad b\u00e1sica de almacenar datos en crudo y realizar procesos en paralelo abstray\u00e9ndonos de la complejidad de este tipo de computaci\u00f3n. Ahora bien, podemos utilizar otras herramientas encima de Hadoop que nos potencian estas capacidades. Todo depender\u00e1 de nuestras necesidades. Estos son los dos m\u00e1s t\u00edpicos:<\/p>\n

HDFS<\/h3>\n

Es el filesystem en el que se basa Hadoop. Este sistema de ficheros se basa en una arquitectura master-slave donde los MasterNodes coordinan a los DataNodes, que son aquellos donde se guarda la informaci\u00f3n. Los datos en HDFS se distribuyen por los diferentes DataNodes en particiones del fichero original, asegurando que cada una de estas particiones est\u00e1 replicada en un nivel de replicaci\u00f3n definido. Por tanto, no necesitamos disponer de sistemas con RAID, si un disco se estropea, HDFS autom\u00e1ticamente replica muy r\u00e1pidamente todas las particiones que estaban en este disco en todo el resto de DataNodes.<\/p>\n

\"HDFS\u200b<\/p>\n

YARN – MapReduce<\/h3>\n

YARN es la evoluci\u00f3n de MapReduce para Hadoop 2.0. La funci\u00f3n de YARN en Hadoop es la de proporcionar un entorno que gestione los recursos para realizar trabajos de computaci\u00f3n. YARN se ocupa de distribuir el trabajo a hacer teniendo en cuenta donde est\u00e1n los datos a procesar, adem\u00e1s de gestionar las propias ejecuciones de los programas. Con YARN podemos separar el sistema de ficheros del sistema de ejecuci\u00f3n. Por tanto podemos usar HDFS sin pasar por YARN o bien usar este gestor de recursos para correr aplicaciones (Como es el caso de la mayor\u00eda de herramientas que trabajan en Hadoop).<\/p>\n

HBase<\/span><\/h3>\n

\"HBase\"<\/a>Se puede considerar \u00abla base de datos\u00bb de Hadoop. Basado en BigTable<\/a> de Google, proporciona la capacidad de crear tablas con millones de entradas y permite hacer accesos de lectura\/escritura r\u00e1pida y consistentemente. Tambi\u00e9n es versionada y no-relacional, por lo que ofrece flexibilidad. Adem\u00e1s es f\u00e1cilmente conectable, ya sea a trav\u00e9s de su API java o mediante web services. Podemos usar HBase para dar forma a nuestros datos.<\/p>\n

Hive<\/h3>\n

\"Hive\"<\/a> Es una mezcla entre MapReduce y HBase. Permite estructurar los datos en tablas y vistas y nos permite realizar todo tipo de consultas usando su lenguaje de querying tipo SQL, el HiveQL. Para aquellos casos en los que no podamos obtener lo que queremos con HiveQL, podemos conectar Hive con nuestros propios mappers y reducers, ya que Hive es muy flexible en cuanto a conectividad y se le puede conectar cualquier cosa.<\/p>\n

Spark<\/span><\/h3>\n

\"Spark\"<\/a> Es el rey que ha venido a conquistarlos a todos. Mientras que MapReduce realiza sus procesos sobre disco, Spark carga en memoria los datos y realiza operaciones entre datasets intermedios llamados RDDs. Esto hace que su rendimiento sea brutal. Adem\u00e1s es bastante sencillo de utilizar y tiene soporte tanto para Scala como para Java y Python, contando con librer\u00edas para realizar procesamiento en micro-batch (STREAMING), machine learning (MLLIB), grafos (GRAPH) y SQL (SPARKSQL).<\/p>\n

Otros Complementos<\/h2>\n

Adem\u00e1s de la suite t\u00edpica que hemos visto, hay muchos otros productos que funcionan junto con Hadoop<\/strong> y permiten nuevas funcionalidades. Seg\u00fan el tipo de aplicaci\u00f3n usaremos unas u otras. Tambi\u00e9n existen variantes de estas herramientas adaptadas a usos espec\u00edficos<\/strong>, como SparkOnHBase<\/a>, Spork<\/a>, RHadoop<\/a> y otros muchos m\u00e1s. Aqu\u00ed ten\u00e9is una min\u00fascula clasificaci\u00f3n:
\nData Engineering: Spark<\/a>, Hive<\/a>, Pig<\/a>
\nData Discovery & Analytics: Spark<\/a>, Impala<\/a>, Solr<\/a>
\nData Integration & Storage: HBase<\/a>, Kudu<\/a>, HDFS<\/a>
\nUnified Data Services: Yarn<\/a>, Sentry<\/a>, Hue<\/a>, Oozie<\/a>
\nData Ingestion: Sqoop<\/a>, Flume<\/a>, Kafka<\/a><\/span><\/p>\n

Hands <\/span>o<\/span>n<\/span><\/h2>\n

Hemos visto solo una pincelada de las herramientas que se usan para BigData. Dominarlas es cuesti\u00f3n de horas y de pr\u00e1ctica. Para practicar, pod\u00e9is hacer uso de la VM que anteriormente os comentaba<\/a> para poner en practica alguno de los muchos cursos y tutoriales que se pueden encontrar on-line, como este curso gratuito<\/a>, que te ense\u00f1ar\u00e1n desde hacer el cl\u00e1sico WordCount hasta realizar tareas de Analytics m\u00e1s complejas. Tambi\u00e9n recomiendo encarecidamente echar mano de los cl\u00e1sicos libros O’Reilly<\/a> espec\u00edficos de cada tecnolog\u00eda.<\/span><\/p>\n","protected":false},"excerpt":{"rendered":"

Desde la creaci\u00f3n de Internet y cada vez m\u00e1s, se ha contado con datos generados por infinidad de aplicaciones y que tenemos a nuestro alcance esperando a ser usados. Anta\u00f1o, tener y consumir todo este ingente material se pod\u00eda volver una tarea pr\u00e1cticamente imposible o inviable tanto econ\u00f3mica como tecnol\u00f3gicamente.<\/p>\n","protected":false},"author":594,"featured_media":1931,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[590],"tags":[],"experteses":[8],"class_list":["post-1955","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-uncategorized-ca-en","experteses-datascienceandbigdata-en"],"acf":[],"_links":{"self":[{"href":"https:\/\/inlab.fib.upc.edu\/es\/wp-json\/wp\/v2\/posts\/1955","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/inlab.fib.upc.edu\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/inlab.fib.upc.edu\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/inlab.fib.upc.edu\/es\/wp-json\/wp\/v2\/users\/594"}],"replies":[{"embeddable":true,"href":"https:\/\/inlab.fib.upc.edu\/es\/wp-json\/wp\/v2\/comments?post=1955"}],"version-history":[{"count":0,"href":"https:\/\/inlab.fib.upc.edu\/es\/wp-json\/wp\/v2\/posts\/1955\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/inlab.fib.upc.edu\/es\/wp-json\/wp\/v2\/media\/1931"}],"wp:attachment":[{"href":"https:\/\/inlab.fib.upc.edu\/es\/wp-json\/wp\/v2\/media?parent=1955"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/inlab.fib.upc.edu\/es\/wp-json\/wp\/v2\/categories?post=1955"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/inlab.fib.upc.edu\/es\/wp-json\/wp\/v2\/tags?post=1955"},{"taxonomy":"experteses","embeddable":true,"href":"https:\/\/inlab.fib.upc.edu\/es\/wp-json\/wp\/v2\/experteses?post=1955"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}