Big Data i seguretat entre les ponències més interessants de Rediris 2016

rediris

Inici » Actualitat »

Big Data i seguretat entre les ponències més interessants de Rediris 2016

El passat novembre en Jordi Renyè i en Daniel Sánchez van assistir a les conferències tècniques i grups de treball de RedIris 2016.

RedIris és una xarxa acadèmica i d’investigació espanyola que proporciona serveis de comunicacions avançats a la comunitat científica i les universitats espanyoles. En aquesta edició, les reunions s’han celebrat al Campus de Vera de la Universitat Politècnica de València. Els grups de treball es van desenvolupar els dies 14 i 15 i les jornades tècniques els dies 16,17 i 18 de novembre. Podeu trobar més informació al programa RedIris 2016. Us fem un petit resum d’algunes de les ponències més interessants:

CCosmoHub en Hadoop

CCosmoHub en Hadoop és un portal web per analitzar i distribuir dades cosmològiques massives. És una web desenvolupada pel PIC (Port d’Informació Científica) per distribuir la informació de milions d’estels catalogats a les seves bases de dades.
Aparentment, un projecte senzill. “Fem un portal web on els investigadors puguin fer consultes sobre les nostres BDs d’estels”, però la realitat mai és tan senzilla. Inicialment el projecte es va desenvolupar sobre una base de dades relacional PostgreSQL. El pes de les dades és d’aproximadament de 3TB i d’uns 109 objectes, és a dir, bases de dades molt grans. El que van explicar a la presentació és que, encara que PostgreSQL semblava una bona solució, van veure que el seu rendiment no era el que necessitaven. Però… per què?, el hardware estava ben dimensionat, la base de dades afinada, que fallava? Doncs l’investigador va explicar molt clarament que, si es fan “selects” que afecten a més del 15% de les dades d’un índex, es fa una cerca seqüencial sobre les dades i, això, provoca que els temps de resposta siguin massa elevats.
Aquesta conclusió es pot aplicar al conjunt de bases de dades relacionals. És a dir, amb gran quantitat de dades i cerques molt grans, aquests sistemes no funcionen bé.
Després d’arribar a aquesta conclusió van anar a sistemes dissenyats per manegar volums de dades gegants. En aquest cas van optar per Hadoop.
Hadoop és un sistema de codi obert que s’utilitza per emmagatzemar, processar i analitzar grans volums de dades. Ja n’hem parlat en l’article: Quines eines necessites per iniciar-te en Big Data?.
A la seva presentació podreu veure que, un cop descartada la solució relacional, es va poder concloure el projecte amb èxit, avançar en la seva recerca i ja estan planejant utilitzar-lo per altres conjunts de dades.

Si en voleu saber més, podeu llegir la presentació de CCosmoHub.

Projecte Matterhorn/OpenCast

El dijous 17, a les sessions sobre Serveis TIC a l’aula, van posar als assistents al dia dels avenços en la plataforma Galicaster.
El projecte Matterhorn/OpenCast és una iniciativa de codi obert per desenvolupar un sistema automàtic de gravació, processat, i distribució de vídeos educatius. La idea és un sistema hardware/software que grava automàticament les classes i, posteriorment, genera i indexa un contingut multi font combinant àudio, vídeo, transparències, subtítols, etc. totes les fonts de que disposem. A més, també proporciona un portal on publicar automàticament els vídeos.
Galicaster és un Spin-off de la universitat de Vigo especialitzada en solucions de gravació automàtica de classes. S’ha especialitzat en la creació de solucions avançades dins del marc del projecte Mattherhorn. Totes aquestes solucions estan encaminades a donar solucions avançades en el món de l’e-Learning.
Galicaster és un habitual a RedIris. Van presentar el seu primer projecte fa uns quants anys i, des de llavors, cada any mostren els seus avenços. Aquest any van presentar els seus nous gravadors hardware, Galicaster Tòtem, noves versions del seu publicador de continguts, Pumukit, i moltes altres novetats.

Mitigación de ataques DDoS en la Anella Científica

​A la conferència “Mitigación de ataques DDoS en la Anella Científica”, per part de Maria Isabel Gandía, del CSUC, ens va ensenyar com avaluar 2 solucions per prevenir que un atac de denegació de servei (DDoS) afecti l’anella científica, o sigui totes les universitats catalanes.

Des de fa un temps, les universitats de l’anella estaven demanant una solució d’aquest tipus, sobretot per evitar problemes durant l’època de matriculacions, el període més sensible.
Una de les propostes era un hardware connectat físicament als canals entrada/sortida de la xarxa (en línia). L’altre era una solució off-line basada en l’anàlisi de tràfic dels routers. Cadascuna de les propostes presenta avantatges i inconvenients.
La presentació explica com es van ajustar a la infraestructura actual i la configuració les 2 solucions en mode només detecció. A partir d’aquí van estudiar el comportament de totes dues per decidir.
Totes dues estan basades en l’anàlisi dels fluxos habituals de tràfic. El sistema “aprèn” del tràfic normal per establir els patrons de tràfic legítim i, a partir d’aquestes dades, intenta detectar atacs basats en la detecció d’anomalies.
El més interessant de l’estudi és que, basant-se en les proves fetes, es va arribar a conclusions molt curioses:

  • Una de les parts més importants no era la part tècnica, sinó l’organitzativa. Les institucions afectades, volen que el seu tràfic sigui “tallat” automàticament o que se l’avisi? Quines són les persones a qui s’ha d’avisar? Que passa amb els falsos positius?
  • El tràfic normal de les institucions segueix patrons no estàndards. Això fa que es detectin com falsos positius tràfic legítim. Per exemple, una transferència massiva de dades per un projecte d’investigació.
  • No existeixen solucions màgiques, s’ha d’arribar a un consens i, sobretot, s’ha d’actuar conjuntament amb l’organització afectada. Tot el procés és manual, temporal, i provoca efectes secundaris.

Si voleu més informació, està disponible la presentació de “Mitigación de ataques DDoS en la Anella Científica”.