Google porta Project Gameface su Android: lo smartphone si controlla con il volto

Project Gameface è disponibile open-source per tutti gli sviluppatori Android. Lo ha comunicato Google nel corso dell'evento I/O 2024 informando il pubblico sugli sviluppi del progetto lanciato ufficialmente a maggio dell'anno scorso. É, questo, un passo importante verso l'integrazione di funzioni di accessibilità all'interno delle app per consentire a persone come lo streamer quadriplegico Lance Carr - e ovviamente non solo - di controllare il cursore del PC con il movimento della testa e di compiere azioni tramite espressioni facciali.

Le persone possono alzare le sopracciglia per fare clic e trascinare o aprire la bocca per spostare il cursore, rendendo il gioco più accessibile.

La soluzione implementata da Google registra il volto dell'utente attraverso la telecamera trasformandolo in un reticolo di punti. Il software traduce gli spostamenti dei punti in azioni e movimenti del cursore.

Ora le prime aziende iniziano ad applicare le soluzioni di Project Gameface grazie alla messa a disposizione del codice open source tramite il quale gli sviluppatori possono creare app Android accessibili. Google cita la collaborazione con Incluzza, società indiana che supporta persone con disabilità, insieme stanno studiando come il progetto possa essere esteso a contesti educativi e lavorativi.

Gli sviluppatori possono ora creare applicazioni in cui gli utenti possono configurare la propria esperienza personalizzando le espressioni facciali, le dimensioni dei gesti, la velocità del cursore e altro ancora.

La nuova sfida di Google consiste nel portare il controllo tramite espressioni facciali anche su uno smartphone Android. Gli sviluppatori sono riusciti a creare un sistema basato su

• il servizio di accessibilità di Android per la creazione del cursore
• l'API Face Landmarks Detection di MediaPipe per programmare il cursore affinché si muova secondo gli ordini impartiti dal movimento della testa dell'utente. L'API contiene 52 valori di forma del viso che corrispondono ad altrettanti gesti facciali

Rispetto a Windows, Android richiede più tipologie di azioni, dal semplice tap alle funzioni torna indietro, multitasking, home e così via. In questa prima fase Google è riuscita ad attivarne alcune tramite le API di accessibilità, altre saranno implementate successivamente.

L'utente riceve il feedback dei suoi movimenti dalla sua immagine inquadrata dalla fotocamera anteriore e che resta sempre visualizzata in modalità flottante. C'è tuttavia ancora tanto da fare, ad esempio riguardo la possibilità di eseguire il trascinamento dello schermo. Nonostante le difficoltà date da alcune limitazioni del servizio di accessibilità di Android, Google è riuscita ad includere il trascinamento "consentendo agli utenti di definire sia il punto iniziale che quello finale. Di conseguenza, l'azione di trascinamento verrà eseguita senza soluzione di continuità lungo il percorso specificato".