Dal cellulare alla riproduzione 3D di eventi dal vivo

L'idea è venuta a Chen e Nizan Sagiv durante un concerto dei Depeche Mode a Tel Aviv, cinque anni fa. "Mentre io seguivo lo spettacolo, Nizan osservava il pubblico", ha spiegato Chen, coordinatrice del progetto SCENENET. "Non riusciva a ignorare l'enorme quantità di luci provenienti dagli schermi dei telefoni cellulari. Gli spettatori stavano filmando lo spettacolo. Nizan ha pensato che combinare insieme tutti i filmati registrati dai singoli spettatori in un unico video sinergetico, migliorato e possibilmente tridimensionale, poteva essere un'idea interessante. Abbiamo discusso del progetto per diversi mesi, ma ci sembrava troppo futuristico, rischioso e complicato".

Collaborazione Israele-Europa

Ma non hanno abbandonato l'idea e sono andati a chiedere consigli all'ISERD, la direzione R&S Israele-Europa , e hanno contattato il prof. Peter Maass, dell'Università di Brema in Germania, e il prof. Pierre Vandergheynst, dell'École Polytechnique Fédérale (EPFL) di Losanna in Svizzera, con il quale Chen aveva collaborato in precedenza per un altro progetto finanziato dal 7° Programma quadro, UNLOCX anch'esso nato nell'ambito delle Tecnologie future ed emergenti (FET) .

Il risultato è il progetto SCENENET, che ha ricevuto un finanziamento di 1,33 milioni di euro dalla Commissione europea ed è coordinato dall'azienda di Chen e Nizan, la SagivTech, specializzata in visione computerizzata e calcolo parallelo, e ha sede a Ra'anana. L'Università di Brema, Steinbeis Innovation e European Research Services, (Germania), e l'EPFL in Svizzera sono gli altri partner del progetto.

Durante il primo anno del progetto il team ha realizzato l'infrastruttura mobile per i contenuti video, un meccanismo per etichettarli e la loro trasmissione a un server cloud. Sono anche stati sviluppati strumenti di base per un'interfaccia uomo-computer che permetterà agli utenti di vedere il video 3D da qualsiasi punto di vista "nello stadio" e di modificarlo. Secondo i due ricercatori, ciò contribuirà a creare delle comunità online che condividono contenuti per poter rivivere insieme l'esperienza del concerto. In tale ottica, nei prossimi due anni del progetto i partner dovranno affrontare le questioni riguardanti la privacy e la proprietà intellettuale.

"Alla fine del primo anno, e prima del previsto, abbiamo completato la pianificazione di SCENENET, basandoci su componenti d'avanguardia", ha detto Chen. In effetti, gli algoritmi di visione computerizzata accelerata per telefoni cellulari rappresentano un lavoro pionieristico a livello mondiale e il progetto è seguito da vicino dai maggiori produttori di chip.

SCENENET comporta diverse sfide tecnologiche: la pre-elaborazione sul dispositivo, che richiede una potenza di calcolo immensa, la trasmissione efficiente delle sequenze video, lo sviluppo di metodi precisi e veloci per la registrazione tra le sequenze video e la ricostruzione in 3D. Tutte queste attività devono svolgersi quasi in tempo reale.

"Riteniamo che i vari componenti che costituiscono SCENENET, ovvero la registrazione delle immagini e la ricostruzione in 3D, offrano grandi potenzialità per il calcolo mobile e per il cloud computing. SCENENET rappresenta quindi un'enorme rivoluzione tecnologica sia complessivamente, sia attraverso ognuno dei suoi singoli componenti".

Non solo concerti

Con l'avanzare del progetto stanno emergendo una miriade di possibili usi per SCENENET. Diritti di proprietà e privacy permettendo, la tecnologia potrebbe essere utilizzata per ricreare altri eventi in 3D, come notizie o manifestazioni sportive, oppure nel settore del turismo o della sorveglianza. I partner stanno inoltre studiando la possibilità di riprendere oggetti statici, ma anche in movimento, da varie angolazioni, per creare le istruzioni da inviare a stampanti 3D. Il modello di server cloud mobile potrebbe essere usato per ospitare varie altre applicazioni - dicono i ricercatori - ma per il momento si concentrano sugli appassionati di musica.

"SCENENET è basato sulle videocamere dei telefoni cellulari e sulla visione tridimensionale. Con l'invasione delle videocamere dei cellulari e il loro costante miglioramento, produciamo un'enorme quantità di immagini che vogliamo migliorare e mostrare agli altri. Esistono numerosi dispositivi in grado di "capire" gli input visivi – come Google Glass, ad esempio – che sono per lo più basati sull'elaborazione di immagini e la visione computerizzata. La visione tridimensionale diventa sempre più importante per ottenere una migliore visualizzazione e comprensione del mondo", ha spiegato la coordinatrice del progetto.

SCENENET è un ottimo esempio di collaborazione di ricerca tra l'UE e Israele. Circa 1600 scienziati israeliani hanno beneficiato del 7° Programma quadro, partecipando a oltre 800 progetti finanziati dalla CE con 634 milioni di euro, in settori che vanno dalla ricerca innovativa e le TIC alla nanotecnologia, l'energia e la salute.

"È un'opportunità per far parte delle principali comunità scientifiche e industriali europee, e per collaborare con importanti partner accademici e aziende in Europa", ha concluso Chen.

SCENENET ha ricevuto finanziamenti per la ricerca nell'ambito del Settimo programma quadro (7° PQ) dell'Unione europea.

Collegamento al progetto su CORDIS:

- 7° PQ su CORDIS
- Scheda informativa del progetto SCENENET su CORDIS

Collegamento al sito web del progetto:

- Sito web di SCENENET

Altri collegamenti:

- Sito web dell'Agenda digitale della Commissione europea

- «Uncertainty principles versus localization properties»

- HORIZON 2020 - Future and Emerging Technologies