Data Science i Big Data

En aquesta àrea d’expertesa s’inclou:

L'enginyeria de dades:

• Arquitectures Big Data: Ecosistema end-to-end (ingesta, emmagatzemament, serveis), Data Lakes, Cloud
• Repositoris no-relacionals (NOSQL): key values (escalabilitat), document stores (flexibilitat), graph databases (topologies), streaming (temps real)
• Operacionalització de la governança de dades: generació, manteniment i processament de metadades, gestió massiva de dades, seguretat de dades, monitoratge (estàtiques i en temps real)

L'anàlisi de dades:

• Dashboarding i visualització de dades
• Models predictius i de classificació
• Processat del llenguatge natural (NLP)
• Visió per Computador (CV)
• Intel·ligència artificial avançada (Deep Learning) en diferents àmbits

Integració dels dos aspectes en projectes Data Science / Big Data

Serveis:

• Arquitectures Big Data per a l’explotació d’informació (lambda, kappa, ...) i frameworks de processat massiu de dades: Spark, Flink, Beam, ...
  • Arquitectura pròpia de referencia: Bolster
• Data Lakes a mida a diferents proveïdors de Cloud (Google, Amazon i Azure)
• Processos de governança de dades semi-automàtics, catàlegs de dades, pre-processament i preparació de les dades
• Repositoris NOSQL especialitzats: MongoDB, Neo4j, Cassandra, HDFS+Hbase+Spark (i la resta de l’ecosistema Hadoop), ...
• Models d’aprenentatge automàtic (regles d’associació, mètodes lineals supervisats, xarxes neuronals, màquines de vector suport, arbres de decisió/boscos aleatoritzats, clustering, ...)
  • Classificació i regressió
  • Algoritmes de predicció
• Models d’aprenentatge automàtic específics
  • Processat de llenguatge Natural (NLP): Sentiment anàlisis, detecció temes emergents, .....
  • Processat de series temporals
  • Processat d’imatges / Visió per computador (CV)
• Programari i entorns pel desenvolupament de models:  Mllib, TensorFlow, Pytorch, Keras, scikit-learn, notebooks (Zeppelin, Jupyter), …
• Càlcul d’indicadors (KPIs), quadres de comandament i visualització de dades. Ús d’eines de Business Intelligence per a la representació gràfica d’anàlisi descriptiva
• Construcció d’analítica en temps real (complex-event processing, streaming analytics)