Университетът в Осака е разработил невронна мрежа, способна да реконструира образа, който човек вижда в момента. Анализирайки данни от функционален ядрено-магнитен резонанс, системата прецизно възпроизвежда не само формата, но и цветовете на обектите. Учените говорят за първата в света машина за четене на мисли, съобщава БГНЕС.

Обхватът на приложенията на обещаващата технология на компютърното зрение е много широк: от общуване с парализирани хора до записване на сънища и изучаване на начина, по който различните животни възприемат света около себе си.

Японски изследователи са се възползвали от предимствата на Stable Diffusion - популярна програма за преобразуване на текст в реч. Тази невронна мрежа с отворен код е подобна по структура на други генеративни LLM (Large language models), като DALL-E2 на OpenAI (създател на ChatGPT) или Midjourney.

Тя се основава на дифузия - метод за машинно обучение, при който визуалният образ се генерира чрез последователни приближения. Всяка нова итерация се базира на друга текстова реплика.

Японците са добавили допълнителна стъпка на обучение към стандартната схема за Stable Diffusion. Така невронната мрежа сравнява данните за мозъчната активност на четирима участници в експеримента, на които са показани различни снимки с текстови описания на изображенията.

Във фазата на машинното обучение на участниците бяха показани десет хиляди изображения и системата събра генерираните в процеса на изследване модели на fMRI, които след това бяха декодирани от изкуствен интелект.

Анализирайки пиковете, регистрирани чрез fMRI в различни области на мозъка, учените откриват, че темпоралните лобове са отговорни за съдържанието на образите. Това е така наречената семантична зона. А тилната, където се намира зрителната кора, пресъздава размера и общото разположение на обектите.

Резултатите до голяма степен съответстват на хипотезата за два потока визуална информация, формулирана през 1983 г. от американския невропсихолог Мортимър Мишкин. Той предложи, че в мозъчната кора да има два анатомично и функционално различни канала за обработка на пространствена и предметна информация: "Къде?" и "Какво?".
Японците са комбинирали визуална и семантична информация. Дифузионният алгоритъм е сравнявал наблюдаваните модели на невронна активност, формирани при разглеждане на снимки, с моделите в набора от данни за обучение. Сигналите от "визуалната" кортикална област са били използвани за изграждане на общ обем и перспектива. След това били свързани сигналите от семантичния декодер на сигнали и първичната картина, приличаща повече на смущение на телевизионния екран, постепенно придобила очертанията на разпознаваеми обекти.

Учените получиха около хиляда изображения, които съвпаднаха със смисъла и съдържанието на оригинала с точност до 80%. В повечето случаи изкуственият интелект дори пресъздава цветовата схема на оригиналното изображение.

Това се случи Dnes, за важното през деня ни последвайте и в Google News Showcase

По публикацията работи: Стела Стоянова