Data Science i Big Data

Descripció de l'àrea

En aquesta àrea d’expertesa s’inclou:

  L'enginyeria de dades:

  • Arquitectures Big Data: Ecosistema end-to-end (ingesta, emmagatzemament, serveis), Data Lakes, Cloud
  • Repositoris no-relacionals (NOSQL): key values (escalabilitat), document stores (flexibilitat), graph databases (topologies), streaming (temps real)
  • Operacionalització de la governança de dades: generació, manteniment i processament de metadades, gestió massiva de dades, seguretat de dades, monitoratge (estàtiques i en temps real)

 L'anàlisi de dades:

  • Dashboarding i visualització de dades
  • Models predictius i de classificació
  • Processat del llenguatge natural (NLP)
  • Visió per Computador (CV)
  • Intel·ligència artificial avançada (Deep Learning) en diferents àmbits

 

 

 

 

 

 

 

 


 Serveis:

  • Arquitectures Big Data per a l’explotació d’informació (lambda, kappa, ...) i frameworks de processat massiu de dades: Spark, Flink, Beam, ...
  • Data Lakes a mida a diferents proveïdors de Cloud (Google, Amazon i Azure)
  • Processos de governança de dades semi-automàtics, catàlegs de dades, pre-processament i preparació de les dades
  • Repositoris NOSQL especialitzats: MongoDB, Neo4j, Cassandra, HDFS+Hbase+Spark (i la resta de l’ecosistema Hadoop), ...
  • Models d’aprenentatge automàtic (regles d’associació, mètodes lineals supervisats, xarxes neuronals, màquines de vector suport, arbres de decisió/boscos aleatoritzats, clustering, ...)
    • Classificació i regressió
    • Algoritmes de predicció
  • Models d’aprenentatge automàtic específics: processat de llenguatge Natural (NLP), processat de series temporals, processat d’imatges / Visió per computador (CV).
  • Programari i entorns pel desenvolupament de models:  Mllib, TensorFlow, Pytorch, Keras, scikit-learn, notebooks (Zeppelin, Jupyter), …
  • Càlcul d’indicadors (KPIs), quadres de comandament i visualització de dades. Ús d’eines de Business Intelligence per a la representació gràfica d’anàlisi descriptiva
  • Construcció d’analítica en temps real (complex-event processing, streaming analytics)

 

Projectes relacionats amb l'àrea

Febrer, 2012 - Maig, 2019
Novembre, 2017 - Gener, 2018
Juliol, 2017 - Gener, 2018
OSM maps
Juny, 2017 - Octubre, 2017
big data image
Novembre, 2016 - Juny, 2017
Pilot (week 1)
Desembre, 2013 - Juny, 2015
Learning analytics : Learning from how we learn
Gener, 2013 - Agost, 2014

Segueix-nos a

Els nostres articles del bloc d'inLab FIB

         
         

inLab FIB incorpora esCert

Icona ESCERT

First LogoCSIRT Logo

inLab és membre de

CIT UPC

inLab és centre TECNIO

ACCIO