Apr 26 2005

    Immersive Eye-Tracking

    Posted at 1:33 pm under eye-tracking, gaming, schermi, addestramento, simulazione

    HAL visto dentro lo schermo immersivo di BottinEcco
    a voi un
    setup di Eye-Tracking drammaticamente
    nuovo: quelle legato alle simulazioni immersive utili tanto
    all’addestramento -ad esempio- nella guida di ogni genere di veicolo, quanto
    al gaming. …questo, lasciando ad altri il compito di approfondire invece
    le valutazioni riguardo a percezione e altro ancora.

    In questa pagina


    - Introduzione
    - Setup
    - A bit of music
    - Flight Simulator
    - Lost Perception

    - Conclusioni


    Introduzione
    La percezione dell’Eye-Tracking nell’immaginario
    collettivo
    è ancora abbastanza distante dalla realtà. Infatti, nell’uso
    quotidiano che ne fanno aziende come la SRLABS, l’Eye-Tracking è qualcosa
    di consolidato ed accurato, mentre nell’immaginario del mercato si tratta ancora
    di qualcosa di futuristico e super-avanzato, ovvero: fragile.

    Odissea 2001 su schermo immersivo - uno sballo!

    Non c’è volta -dunque-
    che si parli di test che non venga fuori l’argomento della "distorsione" da
    laboratorio, e non c’è volta che si parli
    di applicazioni di Eye-Tracking legate a test in ambito automotive, cellulari,
    cartellonistica stradale, etc, che non venga fuori il limite di dover testare
    tutto dentro ad un "banale" monitor per computer. Ebbene -anche se
    i dati dimostrano che il monito va benone per quasi ogni genere di test- chi
    si occupa di eye-tracking è sempre alla ricerca di setup più convincenti. Se
    già con
    i sistemi TobiiX50 -che
    sono degli eye-tracker che si collegano anche ad un proiettore- l’immersività
    del test è più convincente (questo aldilà dei risultati) adesso l’immersività
    è ad una svolta. Almeno per alcune applicazioni specifiche, la soluzione sta
    nella combinazione di questo particolare genere di eye-tracker chiamato x50
    con schermi immersivi (e innovativi) come lo
    schermo
    Bottin
    .

    Parte della struttura dello schermo e fase di calibrazione

    Lo schermo inventato da PierPaolo Bottin è uno schermo immersivo
    hand-made che si basa sulla distorsione -tramite specchio- di una proiezione
    generata da un computer. Così, in men che non si dica, potreste ritrovarvi
    seduti (o meglio sdraiati) su una fantastica poltrona rivolta verso
    questo "guscio" che copre a 180gradi il vostro campo visivo
    .

    Ovviamente le applicazioni ottenibili combinando l’Eye-Tracking con questo
    genere di schermi sono innumerevoli. Tra queste figurano certamente quelle
    legate a software per l’addestramento di ogni genere (dalla scuola
    guida alle applicazioni di volo
    e/o militari), al gaming puro (puntare le proprie armi
    con lo sguardo dentro ad un Doom immersivo è fantastico), finendo agli studi
    più in ambito psicologia sperimentale. Ma partiamo dal dire due parole su setup
    e vincoli dello stesso. Ne vale la pena!

    TORNA IN ALTO


    Setup
    Innanzitutto bisogna chiarire un aspetto di base:
    gli eye-tracker non MISURANO l’esatta distanza tra occhi e "stimolo" presente
    sullo schermo. Semmai, questa misura (in cui sono previste delle tolleranze specifiche) è insita
    nel software che calcola la posizione dello sguardo sullo schermo e che -tra
    le altre cose- da per scontato che lo schermo sia piatto!

    In uno schermo semisferico -laddove anche la profondità tra occhio e schermo
    rimanga identica- la funzione che calcola la posizione dello sguardo sullo
    schermo NON sta tenendo conto della semisfericità dello stesso, e dunque
    l’eye-tracker sarà impreciso nel tracciamento dello sguardo.
    Questo "problema" non è un vincolo insormontabile, ed è sufficiente
    variare il modo in cui l’argoritimo che calcola la posizione dello sguardo tiene
    conto della proiezione della posizione dell’occhio sullo schermo per rimettere
    tutto a posto. Il che -tradotto- significa settimane/mesi di sviluppo, che vanno
    calcolate a seconda del grado di flessibilità
    che si vuole ottenere, ma nulla di più. Tempo e denaro, insomma.

    A dimostrazione delle potenzialità di questo sistema, come da immagini
    subito sopra, c’è sia una calibrazione ben riuscita (a
    sinistra: tutti i punti centrali sono stati calibrati correttamente da un soggetto
    -io- con occhiali), che una accuratezza nel "puntamento" abbastanza
    confortante nelle aree meno distorte (a destra, nel riquadro: pallino blu dentro
    all’area rossa compresa nel cerchio verde).

    Ciò detto, pur mantenendo vive tutte le problematiche di accuratezza ai
    lati, ha avuto molto senso la sperimentazione che vado a raccontarvi e che ha
    visto per la prima volta insieme uno schermo immersivo ed un eye-tracker X50.

    TORNA IN ALTO


    A bit of music
    Una delle prime prove che abbiamo fatto con questo setup è stata quella
    di vedere sin dove il tracker riusciva a seguire gli occhi e -accuratezza
    a parte- il raggio di azione ci ha piacevolmente sorpreso. Nell’immagine
    qui sotto a sinistra, potete vedere quanto ampia sia stata la copertura.
    Le fissazioni -in rosso- coprono infatti non soltanto tutta la parte centrale
    dello schermo, ma vanno anche sino a quello che -senza muovere la testa-
    è il limite della nostra visione periferica. Nell’angolo alto-sinistra
    del fotogramma a destra, si vede invece il "track-status" ovvero
    il pannello che segue istante per istante i nostri occhi e ci avvisa quando
    il Tracker non riesce più a rtracciarli. In questo caso, anche
    con lo sguardo volto verso una parte dello schermo già molto distorta,
    il Tracker NON perde la sua capacità di tracciamento
    (in
    questo caso mantiene in posizione l’occhio sinistro).

    sperimentazione con un semplice player di musica dotato di effetti visivi

    Vedere i -pur semplici-
    effetti di visualizzazione del palyer musicale di windows, ci ha fatto comprendere
    quanto forte possa essere l’immersività a seconda dello stimolo che viene somministrato,
    ed è stato per noi più evidente perchè il Centro
    di Studi fondato da Bottin abbia profuso così tante energie nel realizzarlo.
    Di fatto, uno schermo immersivo come questo, può essere adoperato per studi
    di psicologia sperimentale e/o per sedute terapeutiche sperimentali.
    L’audio predisposto nel sistema ha avuto una forte
    impatto emotivo, rafforzando il coinvolgimento che già lo schermo è in grado
    di trasmettere.

    Personalmente avevo "intuito" questa potenzialità mentre Bottin
    e l’ottimo Paolo Salone stavano all’interno del sistema e girava il DVD di
    2001 Odissea nello Spazio, ma la musica è stata davvero più forte
    quando -con un semplice CD audio ed un pò di effetti video- ero io a
    starci dentro.

    TORNA IN ALTO



    Flight Simulator
    La simulazione di guida di ogni genere di veicolo stradale, volante, ferroviario
    o spaziale è davvero la cosa più stimolante che può essere posta in uno schermo
    come questo. Lo stesso genere di coinvolgimento può essere ottenuto con i giochi
    (specie quelli in soggettiva) ma in quel caso sarebbe opportuno fare dello
    sguardo un modo non soltanto di orientarsi, ma anche di interagire con il gioco
    stesso.

    L’esempio più calzante è una versione modificata di Doom che abbiamo realizzato
    qualche tempo fa. In questa nostra versione, il videogiocatore si muove con
    i convenzionali tasti o joystick, ma punta le proprie armi semplicemente con
    lo sguardo. Così, ci si può muovere in una direzione e sparare in un’altra.
    Davvero un a piccola rivoluzione. Ma torniamo al nostro simulatore…

    fligh simulator immersivo

    La video-simulazione è oramai parte fondamentale dell’addestramento e l’accezione
    del termine videosimulazione diventa sempre più ampia. Non soltanto i costosissimi
    simulatori di volo in dotazione all’aviazione civile e militare, ma anche tutta
    una fascia più abbordabile di prodotti video che assomigliano molto a degli speciali
    videogiochi di guida piuttosto che di combattimento.

    E così, mentre Scuole Guida d’oltralpe si associano ed insegnano ai loro
    clienti la guida tramite simulatore (per abbassare l’inquinamento ed aumentare
    la sicurezza), le scuole di volo -anche italiane- guardano al "semplice" Flight
    Simulator
    di Microsoft ed alla sezione del sito che rimanda alle Aviation
    Information
    come
    ad una concreta opportunità per
    l’addestramento simulato. A chi giova è utile tutto ciò? A coloro
    che partecipano attivamente a quello che sta diventando un fenomeno molto visibile:
    quello dei piloti
    virtuali
    .

    NOTA: E’ possibile che qualcuno stia pensando che questo
    scenario abbia sin troppi riferimenti in ambito militare… Ebbene, prima di
    esprimere un giudizio su cosa sono videogames e cosa può essere usato a fini militari, è opportuno
    aggiornare entrambi i termini. Questo è roba
    militare vera o verosimile
    (filmato quicktime). Questo è gioco: Call
    of Duty
    . …e la distanza da colmare è -per certi versi- resa più breve
    da videogiochi di addestramento vero e proprio, come questo
    simulatore scaricabile dalla Rete prodotto dalla US ARMY
    . Chi fosse interessato
    al download

    Interessantissimi i risultati sul Flight Simulator

    Perchè mettere un eye-tracker su un simulatore?
    Volo o altro
    che sia, la registrazione dei movimenti oculari fornisce informazioni utilissime
    in fase di addestramento. Ad esempio: il soggetto ha guardato l’altimetro prima
    di schiantarsi? O in un simulatore di guida: A che distanza è stato
    visto dal soggetto il semaforo. Quando il pedone che sta attraversando la strada
    è stato colto dall’attenzione? Qual’è il ritardo con cui si torna
    a guardare fuori dall’auto dopo aver -ad esempio- cambiato la stazione radio?
    Quali sono i principalli problemi ergonomici e quali comportamentali? etc ect.

    Semmai… Dal mio punto di vista, è del simulatore SENZA eye-tracker
    che bisognerebbe verificare la validità.
    Capisco di essere di
    parte, ma questo è anche dovuto alla differenza di approccio di chi -come me-
    ha fatto "n" test di usabilità ed un istruttore di autoscuole. A me interessa
    comprendere anche il PERCHE’ si verifica un certo evento/errore (e magari contribuire
    a rimuoverne le cause) e non soltanto continuare a ripetere l’addestramento sino
    a quando l’esperiemento di una guida corretta riesce -per prove ed errori- per
    la prima volta.

    TORNA IN ALTO


    Lost Perception
    Quando Bottin mi ha parlato delle possibili applicazioni sperimentali
    dell’immersività, per un lungo attimo mi è tornato
    in mente un libro letto da adolescente: "Stati
    di Allucinazione" di Paddy Chayefsky, libro interessantissimo
    reso (quasi) celebre dalla versione
    cinematografica
    diretta da Ken Russell (La trama in
    breve). …ma il punto è che effettivamente ad opportuni stimoli il nostro
    cervello risponde secondo pattern interessanti.

    Il fotogramma che vedete qui
    sotto è -ad esempio- estratto da un video musicale che fa della distorsione
    geometrica il suo punto di forza. Nel video, la camera è posta in posizione
    centrale rispetto ad un androne di forma circolare, e la pavimentazione
    a schacchiera aumenta moltissimo le fughe e la percezione di profondità.

    Un video fortemente prospettico

    Tutto questo sarebbe reso estremamente realistico anche dalla
    semplice rappresentazione prospettica sullo schermo semisferico, ma la regia
    introduce degli altri elementi intrigantissimi. Innanzitutto i movimenti di camera
    sono tutti "orizzontalli" in asse con il punto di ripresa, ovvero enfatizzano
    la circolatità di questo spazio ed assomiglliano fortemente a ciò che accadrebbe
    se fosse il soggetto stesso a girare la testa. Inoltre, questi movimenti vanno
    in direzioni imprevedibili e possono essere molto sfumati o rapidissimi.

    Infine, tutti i personaggi che compongono la scena non sono
    posti sullo stesso piano della scena stessa, ma sono come "ritagliati" e "reincollati"
    sopra
    , mandando
    a monte l’eventuale propsettiva unica che il soggetto fosse riuscito a percepire.
    Insomma, un vero flash!

    In questo caso, l’eye-tracking è importantissimo per cercare di ottenere dal
    soggetto informazioni più puntuali di una semplice ammissione di disorientamento.
    L’analisi dei suoi movimenti oculari ci può far comprendere sin dove e quando
    l’attegiamento sia stato esplorativo e quanto -invece- sia stato passivo. In
    pratica si può comprendere esattamente se il soggetto ha tentato di ricostruire
    una corretta percezione spaziale dello stimolo, oppure si è abbandonato alla
    fruizione passiva dello stesso.

    Tra l’altro -nel caso del video in questione-
    si trattava di una produzione commerciale e non di un video appositamente
    realizzato per un test del genere, e quindi le nostre evidenze sono state fortemente
    limitate dalla bassa scalabilità dello stimolo usato. A parere di Bottin, questo
    setup aprirebbe invece delle intrigantissime opportunità di speculazione accademica.
    …cosa però che deborda dalle mie competenze e che sono ben lieto di lasciar
    approfondire ad altri. :)

    TORNA IN ALTO


    Conclusioni
    In questo nostra "immersione" tra simulazioni a fini di addestramento, giochi,
    musica e psicologia sperimentale, sono emerse molte potenzialità e qualche
    verità di fondo. Una verità è -ad esempio- quella legata alla semplice "forza
    della contaminazione", ovvero dalle potenzialità che si rendono immediatamente
    disponibili quando competenze ed abilitatori diversi si incontrano e collaborano
    sperimentando insieme. Un atto semplice che però in molte realtà aziendali
    sarebbe semplicemente impossibile. Così come una altra importante conferma
    giunge dall’Eye-Tracking come abilitatore in grado di contribuire
    all’evolversi di settori tra i più distanti. Se penso che le applicazioni
    in ambito HCI sono ancora le più frequenti, penso anche a quanto potenziale
    ancora non sfruttato vi sia, e quanto l’incredibile ampiezza delle attività
    giornaliere in cui -come azienda- siamo coinvolti, non faccia altro che rispecchiare
    questa potenzialità che coinvolge il design delle interfacce come la topografia,
    l’automotive quanto la medicina, i giochi quanto l’addestramento e valutazione
    del personale.

    Con questo, non intendo che le attività specifiche mostrate in questo
    articolo possano direttamente essere trasformate in opportunità di business.
    Ma -per alcune- siamo forse soltanto ad un paio di step di distanza e -inoltre-
    "n" altri scenari investigati o investigabili NON sono stati inclusi in questo
    articolo. :)
    Di certo, una delle cose meno business ma che più ha colpito il mio immaginario
    è stato questa sorta di momento di revival della realtà virtuale alla TRON.
    Ed oggi sento una sensazione -di pancia- per cui avrei voglia di confrontarmi
    e discutere con chi trascorre ore su The
    SIMS
    , THERE o su SeconLife,
    o sta lavorando a nuovi concetti di intrattenimento come: The
    Journey of WildDivine
    . Apoteosi dell’era new-age che molto bene
    si occorderebbe con il sistema che ho raccontato in questo articolo. Alla prossima.

    NOTA - Si ringrazia la SRLABS per
    la strumentazione di Eye-Tracking usata in questa sperimentazione realizzata
    presso il Centro Studi Aponense da: Leandro Agrò, PierPaolo Bottin e Paolo Salone.

    TORNA IN ALTO

    No responses yet

    Comments are closed at this time.