Costruire lo Spazio europeo della ricerca digitale dalla nascita

Àl'heure actuelle, la recherche scientifique ne se limite plus aux territoires nationaux, l'énorme volume de données scientifiques issues d'instruments et de simulations informatiques dans des installations internationales conduit les scientifiques à dépendre considérablement de ressources informatiques et d'espaces de stockage transfrontaliers pour le traitement de données à grande échelle.

Le projet EGI-INSPIRE avait pour objectif de mettre en place une infrastructure de grille européenne (European Grid Infrastructure, EGI) durable en rassemblant les initiatives nationales (National Grid Initiatives, NGI) et d'autres organisations existantes en Europe. Cette collaboration a réunit plus de 50 institutions. À l'origine, le projet EGI-Oggi la ricerca scientifica non è più condotta all’interno dei confini nazionali – l’enorme quantità di dati scientifici delle simulazioni e degli strumenti di calcolo di strutture internazionali hanno reso gli scienziati sempre più dipendenti da risorse di calcolo e immagazzinamento distribuite per l’analisi dei dati su larga scala.

Il progetto EGI-INSPIRE si è proposto di creare un’infrastruttura grid europea (European Grid Infrastructure - EGI) attraverso l’unione di iniziative grid nazionali (National Grid Initiatives - NGI) e di altre organizzazioni in tutta l’UE. Si è trattato di un'iniziativa collaborativa che ha coinvolto oltre 50 istituzioni. Originariamente EGI-INSPIRE è stato istituito in ragione delle ingenti esigenze di calcolo degli utenti di megadati presso il CERN, l’Organizzazione europea per la ricerca nucleare, dove i fisici hanno adottato il paradigma del calcolo distribuito in tutto il mondo al fine di risolvere i loro problemi legati ai megadati. Hanno usato EGI per analizzare i dati del grande collisore di adroni (Large Hadron Collider - LHC), giungendo alla scoperta dell’inafferrabile bosone di Higgs.

“Poco dopo il nostro successo iniziale, ci siamo resi conto che il nostro modello poteva essere replicato per servire le comunità di ricerca paneuropee, che avevano il problema dell’accesso scalabile a grandi set di dati – dalle infrastrutture di ricerca, alle innumerevoli attività della scienza,” dice Tiziana Ferrari, direttore tecnico di EGI.eu.

La più grande infrastruttura di calcolo distribuito al mondo

Il modello è stato riprodotto ampiamente al punto che, in termini di impronta geografica, EGI è adesso la più grande infrastruttura di calcolo distribuito al mondo. Attraverso EGI-INSPIRE, EGI offre agli utenti un’analisi di dati distribuiti ad alto rendimento confederando la capacità di calcolo, l’immagazzinamento e la gestione dei dati di 350 centri dati affiliati e 21 fornitori di servizi cloud al mondo.

La chiave del successo è la confederazione: accesso sicuro ai dati, analisi ad alto rendimento, cloud computing, immagazzinamento sul cloud e una serie di strumenti, applicazioni scientifiche e software per mezzo di un’unica serie di credenziali dell’utente. EGI-INSIPIRE è stato fondamentale per realizzare tutto ciò. In EGI le comunità di ricerca possono confederare i loro dati e le loro infrastrutture di calcolo, ampliarle per aumentare la capacità corrente o semplicemente ottenere una concessione da una fonte gestita a livello centrale.

Non solo hardware e software

Una parte importante del lavoro di EGI riguarda la gestione del servizio, ovvero l’armonizzazione delle politiche operative e dei processi tra i membri di tale confederazione. È qui che la diversità dell’Europa ha costituito sia un problema che un vantaggio. Accordarsi su un insieme minimo di politiche e procedure standard non è facile, ma una volta costituita all’interno dell’UE, la federazione può facilmente estendersi ai paesi extraeuropei. Pertanto, oggi la federazione integra infrastrutture elettroniche di 57 paesi che rappresentano quasi tutti gli angoli del mondo.
L’impatto

EGI è cresciuto rapidamente al punto che adesso confedera 650 000 core CPU e 300 petabyte di spazio su disco, servendo 30 000 utenti con i suoi 1,5 milioni di calcoli al giorno. È inoltre notevolmente cresciuto dai suoi inizi, fornendo servizi a scienziati e ricercatori nel campo delle scienze naturali, dell’ingegneria, della medicina, della salute, dell’agricoltura e delle scienze umanistiche. Tutto ciò ha permesso la pubblicazione di oltre 2 000 articoli scientifici sottoposti a revisione paritaria.

EGI-INSIPIRE ha lavorato dal 1º maggio 2010 al 31 dicembre 2014 e ha ricevuto 25 milioni di euro di finanziamenti dall’UE. Il lavoro svolto durante EG-INSPIRE sarà portato avanti e sviluppato ulteriormente nell’ambito del progetto EGI-ENGAGE.

“Abbiamo osservato che quasi il 25% della capacità di calcolo a cui accedono scienziati e ricercatori si trova al di là dei confini del loro paese,” ha detto Tiziana Ferrari. “Per noi questo significa che c’è ancora molto spazio per la collaborazione internazionale.”
NSPIRE a été lancé pour fournir les capacités de traitement informatique nécessaires aux utilisateurs de mégadonnées (big data) du CERN, l'Organisation européenne pour la recherche nucléaire, où les physiciens avaient adopté le concept d'informatique distribuée dans le monde entier pour résoudre leurs problèmes de mégadonnées. Ils ont, par exemple, utilisé l'EGI pour l'analyse des données du Grand collisionneur de hadrons qui a conduit à la découverte du boson de Higgs.

«Très rapidement après cette première réussite, nous avons réalisé que notre modèle pouvait être répliqué et servir aux travaux de recherche européens qui requièrent un accès évolutif à d'importants ensembles de données — des infrastructures de recherche à l'ensemble de la communauté scientifique», explique Tiziana Ferrari, directrice technique de EGI.eu.

La plus grande infrastructure informatique distribuée au monde

Le modèle a été largement répliqué au point qu'en termes d'impact géographique, l'EGI est maintenant devenue la plus grande infrastructure informatique distribuée au monde. À travers EGI-INSPIRE, l'EGI offre aux utilisateurs des capacités d'analyse distribuée de données à haut débit, en fédérant les ressources de traitement, de stockage et de gestion de données de 350 centres affiliés et de 21 fournisseurs de services dans le nuage du monde entier.

La clé de cette réussite est la centralisation: l'accès sécurisé aux données, l'analyse haut débit, le traitement et le stockage dans le nuage ainsi qu'une bibliothèque de d'outils, d'applications scientifiques et de logiciels à travers un seul identifiant. EGI-INSPIRE était la clé de voute de cette initiative. Au sein de l'EGI, les chercheurs peuvent mettre en commun leurs propres données et infrastructures informatiques puis exploiter la capacité augmentée ainsi obtenue ou, tout simplement, utiliser les ressources centralisées.

Au-delà des logiciels et du matériel

Une partie importante du rôle de l'EGI implique la gestion des services: harmoniser les politiques opérationnelles et les processus des différents membres de la fédération. C'est sur ce point que la diversité au sein de l'Europe a été à la fois un atout et une difficulté. En effet, l'obtention d'un consensus sur un ensemble minimal de règles et procédures standard ne se fait pas sans peine mais, une fois en place au sein de l'UE, la fédération peut ensuite s'élargir aux pays externes à l'UE. Ainsi, la fédération regroupe aujourd'hui des infrastructures informatiques de 57 pays, qui représentent pratiquement toutes les régions du monde.

Pour un vaste impact

L'EGI s'est développée rapidement et regroupe aujourd'hui 650 000 processeurs et 300 pétaoctets d'espace disque, utilisés par 38 000 personnes pour 1,5 million de traitements quotidiens. Cette infrastructure s'est également développée au-delà de son domaine d'origine et fournit des services aux scientifiques et chercheurs en sciences naturelles, en ingénierie, en médecine et santé, en agriculture et en sciences humaines. Tout ceci a permis la publication de plus de 2 000 articles scientifiques révisés par des pairs.

EGI-INSPIRE s'est déroulé du 1er mai 2010 au 31 décembre 2014, avec un financement européen de 25 millions d'euros. Les travaux d'EGI-INSPIRE se poursuivront et seront approfondis lors du projet EGI-ENGAGE.

«Nous avons constaté que près de 25 % des capacités informatiques utilisées par les scientifiques et chercheurs se trouvent en dehors de leur pays, ce qui démontre l'important potentiel de collaboration internationale», conclut Tiziana Ferrari.