Il computer sa cosa guardi

Da oltre dieci anni i ricercatori sanno ricostruire ciò che una persona vede o sente analizzando lattività cerebrale, ma decodificare contenuti complessi, come brevi video, è sempre stato difficile. I tentativi precedenti riuscivano a estrarre solo parole chiave, senza cogliere il contesto completo.

Il neuroscienziato Tomoyasu Horikawa ha sviluppato un nuovo approccio: prima ha creato una “firma di significato” digitale per più di duemila video, analizzandone i sottotitoli con un modello linguistico. Poi ha addestrato un’altra IA a collegare queste firme ai pattern di attività cerebrale osservati in sei volontari tramite risonanza magnetica.

Quando il sistema analizza una nuova scansione celebrale mentre qualcuno guarda un video, riesce a prevedere la relativa firma di significato, e un generatore di testo trova la frase che meglio la rappresenta. Così, da un semplice video di una persona che salta da una cascata, il modello è riuscito passo dopo passo a ricostruire una descrizione completa e accurata.

Il metodo ha funzionato anche quando i partecipanti richiamavano alla memoria video già visti: l’IA ha generato descrizioni basate sui ricordi, suggerendo che il cervello utilizza rappresentazioni simili per visione e memoria.