Вы смотрите фильм, и голос звучит из динамиков по бокам, но кажется, что говорит актёр на экране. Это не ошибка слуха, а работа мозга: он решил, что источник звука там, где видно движущиеся губы. Эффект чревовещателя известен давно, но его объяснение — часть более общего правила.

Правило надёжности

Марк Эрнст и Мартин Бэнкс в 2002 году провели опыт. Участники на ощупь и на взгляд оценивали ширину бруска. Экспериментаторы подмешивали шум в зрительное изображение, делая его размытым, и добавляли противоречие: на ощупь брусок был чуть шире, на вид уже. Если картинка была чёткой, люди ориентировались на глаза. Если размытой, они больше верили рукам. Результат хорошо совпал с формулой оптимального сложения: каждому источнику даётся вес, пропорциональный его точности. Чем надёжнее чувство в данной ситуации, тем больше мозг ему доверяет. Бонус от объединения в том, что итоговая оценка точнее, чем по любому чувству отдельно.

Примеры из жизни

  • Чтение по губам. В шумной комнате вы понимаете речь лучше, видя говорящего. Зрение компенсирует плохой звук (см. «Эффект коктейльной вечеринки»).
  • Эффект Мак-Гурка. Звук «ба» вместе с видео «га» воспринимается как «да» (отдельная статья).
  • Вкус и запах. То, что мы называем вкусом клубники, в основном обоняние, а язык даёт сладость и кислоту (см. «Вкус и обоняние»).
  • Равновесие. Мозг объединяет вестибулярные, зрительные и проприоцептивные сигналы. В поезде, который тронулся на соседнем пути, возникает ощущение, будто движется ваш.
  • Иллюзия резиновой руки показывает, как зрение и осязание достраивают тело.

Где это происходит

Классическим местом считают верхние бугры среднего мозга. Там нейроны откликаются на сигналы разных чувств, и ответ на совпадающие по месту и времени вспышку и звук сильнее суммы откликов на каждый. Но и кора участвует: теменная, височная и лобная области получают сигналы нескольких чувств. Раньше думали, что интеграция идёт только на поздних этапах, а теперь известно, что даже первичные сенсорные области получают влияние других чувств.

Условия слияния

Чтобы мозг счёл сигналы одним событием, они должны быть рядом по времени (различия в десятки миллисекунд допустимы, в сотни нет) и по месту. Это ограничение делает возможным обман. И это объясняет, почему задержка звука при видеосвязи так раздражает: сигналы перестают склеиваться.

Развитие и нарушения

Способность оптимально комбинировать чувства созревает довольно поздно: у детей до восьми-десяти лет вклад чувств складывается не по правилу надёжности, а скорее выбирается одно. У людей с расстройствами аутистического спектра описаны особенности мультисенсорной интеграции, но выводы неоднородны.