Le scienze della Terra – come la geologia, l’oceanografia e l’astronomia – generano immense quantità di megadati. Tuttavia, senza gli strumenti adatti, gli scienziati vengono sommersi da questo mare di megadati oppure i dati finiscono in un archivio rimanendo quasi inutilizzati.
L’idea del progetto Earthserver è quella di offrire ai ricercatori “Megadati sulla Terra a portata di mano”, in modo che essi possano avere accesso e manipolare enormi banche dati con solo pochi clic del mouse.
“Il progetto è il risultato di un ‘tira e molla’,” dice Peter Baumann, coordinatore del progetto e professore di informatica all’Universtià Jacobs di Brema, in Germania. “Sul lato della domanda vi era un bisogno di nuove idee per gestire l’ondata di dati che ci sta travolgendo. Dal lato dell’offerta, disponevamo di una tecnologia dei cubi di dati che è adatta a questo settore.” Un cubo di dati è una matrice a tre (o più) dimensioni di valori, comunemente usata per descrivere una serie temporale di dati immagine. I cubi di dati aiutano i ricercatori ad accedere ai dati e a visualizzarli.

Earthserver ha creato cubi di dati avanzati e portali web personalizzati per consentire ai ricercatori di estrarre e visualizzare i dati relativi alle scienze della Terra sotto forma di cubi 3-D, mappe 2-D o diagrammi 1-D. Il British Geological Service, ad esempio, ha usato la tecnologia di Earthserver per scavare attraverso diversi strati della Terra in 3-D.
“Per l’utente, i cubi di dati nascondono l’inutile complessità dei dati,” dice il professor Baumann. “Come utente, io non voglio vedere un milione di file: voglio solo vedere pochi cubi di dati.”
L’enorme quantità di dati delle scienze della Terra è costituita da dati provenienti da sensori, immagini, simulazioni e statistiche, e spesso possiedono una dimensione temporale. Generalmente, i dati formano delle griglie di valori regolari o irregolari con coordinate spaziotemporali. Earthserver ha reso queste matrici disponibili sotto forma di cubi di dati.
A parte la loro facilità di utilizzo, i cubi di dati hanno anche reso possibile l’integrazione di dati provenienti da diverse discipline, e gli scienziati hanno potuto mettere assieme dati di misurazioni con dati generati da simulazioni.

Sviluppare le tecnologie esistenti

Per gestire i megadati riguardanti la Terra in modo efficiente, Earthserver aveva bisogno di ampliare le tecnologie e gli standard esistenti. Il linguaggio di interrogazione dei database SQL, ad esempio, è più orientato verso la manipolazione di dati alfanumerici.
Per rendere possibili i cubi di dati, il progetto è stato costruito sul rasdaman, un nuovo tipo di sistema di gestione dei database specializzato in dati multidimensionali disposti in griglie, chiamate raster o matrici. Rasdaman consente un’estrazione flessibile e veloce di dati da matrici di megadati riguardanti la Terra di qualsiasi dimensione.
“Fondamentalmente, abbiamo unito il linguaggio SQL del database con l’elaborazione delle immagini,” spiega il professor Baumann. “Questo sta ora diventando parte dello standard ISO SQL.” Inoltre, il progetto ha avuto un forte impatto sugli standard dei megadati riguardanti la Terra del Open Geospatial Consortium e di INSPIRE, l’infrastruttura europea di dati territoriali. I ricercatori di Earthserver hanno anche sviluppato una tecnologia di “parallelizzazione semantica” che suddivide una singola interrogazione o query del database in subquery multiple, che vengono inviate ad altri server del database per l’elaborazione. Questo metodo consente a Earthserver di distribuire una singola query in arrivo su oltre 1 000 nodi del cloud e di rispondere velocemente a interrogazioni su centinaia di terabyte in meno di un secondo.

Più grande e migliore: Earthserver-2

Earthserver-1, che è stato operativo per 36 mesi a partire dal mese di settembre del 2011 e ha ricevuto 4 milioni di euro di finanziamenti dall’UE, ha coinvolto partner internazionali. Basandosi sull’ottima riuscita della prima fase del progetto, Earthserver è riuscito a farsi assegnare nuovi finanziamenti dalla Commissione europea per supportare la sua fase successiva, Earthserver-2. Questa ha avuto inizio a maggio del 2015 e si concentrerà sul paradigma del cubo di dati e sulla gestione di volumi di dati persino più grandi. “Il piano è quello di concentrarsi sulla fusione di dati provenienti da settori differenti e di riuscire a risolvere una query su un petabyte nel giro di un secondo,” spiega il professor Baumann. “Questo significherebbe che un utente sarebbe in grado di vedere i dati sullo schermo e potrebbe manipolarli in modo interattivo.” Earthserver-2 sta attualmente lavorando sulla prossima frontiera: la visualizzazione 4-D open source.