1 year ago
343
Qualcomm investe sulle tecnologie di visione neuromorfica di Prophesee, azienda con sede a Parigi che lavora nel campo della computer vision. La partnership pluriennale prevede l'integrazione del software e dei sensori Event-Based Metavision di Prophesee nei SoC di Qualcomm nelle fotocamere degli smartphone di prossima generazione. L'azienda di San Diego dimostra grande interesse verso le tecnologie per il miglioramento e l'elaborazione delle immagini: ne è un esempio la recente dimostrazione del modello di apprendimento automatico Stable Diffusion che per la prima volta è stato eseguito su uno smartphone Android basato su piattaforma mobile Snapdragon 8 Gen 2.
L'obiettivo dichiarato è portare la velocità, l'efficienza e la qualità della visione neuromorfica sui dispositivi mobili attraverso "l'approccio di rilevamento dei pixel continuo e asincrono basato sugli eventi", migliorando così le prestazioni delle fotocamere soprattutto nello scatto di foto con scarsa illuminazione o di soggetti in rapido movimento. Agli sviluppatori sarà presto messo a disposizione un development kit per l'implementazione dei sensori e degli algoritmi di Prophesee sulle piattaforme Snapdragon.
FUNZIONAMENTO IN BREVE
La tecnologia sviluppata da Prophesee si concentra unicamente sui cambiamenti che avvengono all'interno di una scena, "pixel per pixel, continuamente, a velocità estreme". Ciascun pixel nel sensore Metavision è in grado di attivarsi in modo intelligente e asincrono: quando ciò accade si parla di "evento". Gli eventi sono determinati dalle dinamiche della scena - dunque dalle sue variazioni - e la velocità di acquisizione coincide con le effettive dinamiche della scena.
Sincronizzando un sensore basato su frame con uno basato sugli eventi (di Prophesee) si ottiene il deblurring con cui il sistema è in grado di riempire gli spazi tra i vari fotogrammi con eventi lunghi appena pochi microsecondi "per estrarre algoritmicamente informazioni di movimento pure e riparare il motion blur".
English (US)