В Японии разработали новый метод «описание мыслей»

Японский исследователь разработал новый метод «описание мыслей», который с помощью методов визуализации мозга и искусственного интеллекта позволяет преобразовывать образы, возникающие в сознании человека, в слова.

Исследователь Томоясу Хорикава, работающий в Лаборатории коммуникационных наук телекоммуникационной компании Nippon Telegraph and Telephone в Японии, провел исследование с участием 6 добровольцев в возрасте от 22 до 37 лет, для которых японский язык является родным, и изучил процесс переноса ментальных образов в письменные описания.

В ходе эксперимента участникам было показано 2180 видеороликов с различным содержанием: от предметов до природных пейзажей, от движений людей до повседневных действий.

Мозговая активность участников записывалась с помощью функционального магнитно-резонансного томографа (фМРТ) во время просмотра коротких видеороликов.

Тексты, описывающие содержание видеороликов, сначала были преобразованы в числовые последовательности с помощью больших языковых моделей, а затем простые модели искусственного интеллекта были обучены сопоставлять эти числовые последовательности с мозговой активностью, зарегистрированной во время просмотра видеороликов.

В рамках эксперимента Хорикава, которому удалось преобразовать образы, возникающие в сознании участников при просмотре видео или воспоминаниях о просмотренном, в предложения, назвал разработанную им технику «описанием мыслей».

Ученый сказал, что этот новый метод, анализируя то, как мозг обрабатывает визуальную информацию, может генерировать подробные тексты, описывающие объекты, места, действия, события и взаимосвязи между ними.

Подчеркнув, что эта техника работает независимо от языковых центров мозга, Хорикава отметил, что она может помочь людям, утратившим речевые навыки из-за нейродегенеративных заболеваний, общаться.

Исследование было опубликовано в журнале «Science Advances».