Data Science i Big Data

En aquesta àrea d’expertesa s’inclou:

L'enginyeria de dades:

  • Arquitectures Big Data: Ecosistema end-to-end (ingesta, emmagatzemament, serveis), Data Lakes, Cloud
  • Repositoris no-relacionals (NOSQL): key values (escalabilitat), document stores (flexibilitat), graph databases (topologies), streaming (temps real)
  • Operacionalització de la governança de dades: generació, manteniment i processament de metadades, gestió massiva de dades, seguretat de dades, monitoratge (estàtiques i en temps real)

L'anàlisi de dades:

  • Dashboarding i visualització de dades
  • Models predictius i de classificació
  • Processat del llenguatge natural (NLP)
  • Visió per Computador (CV)
  • Intel·ligència artificial avançada (Deep Learning) en diferents àmbits

Integració dels dos aspectes en projectes Data Science / Big Data

Serveis:

  • Arquitectures Big Data per a l’explotació d’informació (lambda, kappa, ...) i frameworks de processat massiu de dades: Spark, Flink, Beam, ...
    • Arquitectura pròpia de referencia: Bolster
  • Data Lakes a mida a diferents proveïdors de Cloud (Google, Amazon i Azure)
  • Processos de governança de dades semi-automàtics, catàlegs de dades, pre-processament i preparació de les dades
  • Repositoris NOSQL especialitzats: MongoDB, Neo4j, Cassandra, HDFS+Hbase+Spark (i la resta de l’ecosistema Hadoop), ...
  • Models d’aprenentatge automàtic (regles d’associació, mètodes lineals supervisats, xarxes neuronals, màquines de vector suport, arbres de decisió/boscos aleatoritzats, clustering, ...)
    • Classificació i regressió
    • Algoritmes de predicció
  • Models d’aprenentatge automàtic específics
    • Processat de llenguatge Natural (NLP): Sentiment anàlisis, detecció temes emergents, .....
    • Processat de series temporals
    • Processat d’imatges / Visió per computador (CV)
  • Programari i entorns pel desenvolupament de models:  Mllib, TensorFlow, Pytorch, Keras, scikit-learn, notebooks (Zeppelin, Jupyter), …
  • Càlcul d’indicadors (KPIs), quadres de comandament i visualització de dades. Ús d’eines de Business Intelligence per a la representació gràfica d’anàlisi descriptiva
  • Construcció d’analítica en temps real (complex-event processing, streaming analytics)

 

Projectes relacionats amb l'àrea

Juliol, 2017 - Gener, 2018
OSM maps
Novembre, 2017 - Gener, 2018
Juny, 2017 - Octubre, 2017
big data image
Novembre, 2016 - Juny, 2017
Pilot (week 1)
Desembre, 2014 - Desembre, 2015
Desembre, 2013 - Juny, 2015
Learning analytics : Learning from how we learn
Gener, 2013 - Agost, 2014
Gener, 2009 - Desembre, 2012
Neu

Segueix-nos a

Els nostres articles del bloc d'inLab FIB

         
         

inLab FIB incorpora esCert

Icona ESCERT

First LogoCSIRT Logo

inLab és membre de

CIT UPC

inLab és centre TECNIO

ACCIO