Чтобы лучше понимать, как мозг обрабатывает изображения, Пикард сотрудничала с учеными, исследовавшими зрительную зону коры головного мозга человека. Но даже когда имитация человеческого зрения была освоена, остались серьезные проблемы, от решения которых зависела стабильная и надежная работа системы. Было недостаточно просто создать фильтры для выделения сцен или жестко задать правила, описывающие, как выглядит тигр, стул или машина. Линии размываются. Цвета и текстуры накладываются друг на друга. Тени исчезают. Поэтому система, основанная только на жестких правилах, не может быть устойчивой. Такие системы программного обеспечения называют нестабильными, поскольку имеют ограниченное применение в жизни. Нестабильность – очень подходящее название; получая новые условия или непонятную информацию на входе, система просто ломается.

Именно в ходе этой работы Пикард поняла, что многие системы, над которыми она работала, могли быть более эффективными, если бы только удалось узнать, куда направить их внимание. Глядя на изображение, мы не фокусируем внимание с одинаковым интересом на всем, что видим. Мы рассматриваем один элемент, а потом другой. Направление взгляда и фокус внимания смещаются к тому, что нас интересует: цвет, контраст, узор. Пикард предположила, что если бы удалось смоделировать внимание, это помогло бы ее группе решить некоторые задачи. Однако для этого требовалось нечто близкое к системе биологического зрения, что могло активно различать объекты и определять важные. Как объясняет Пикард:

В качестве примера того, как наши чувства влияют на зрение и внимание, Пикард рассказывает историю о своем друге, с которым она начинала работать в Лабораториях Белла и который занимался разработкой системы сжатия видеоинформации в рамках работы над докторской диссертацией. Он уже знал, что комиссия, которой он собирался демонстрировать свой новый метод, состояла из трех мужчин. Итак, он сделал видеоролик с пышногрудой девушкой из группы поддержки, зная наверняка, куда именно будет смотреть комиссия. В этой области он сохранил резкость и сильно сжал все остальные области, на которые комиссия не смотрела, создав при этом множество всевозможных дефектов и искажений. Несмотря на все визуальные недостатки изображения, никто ничего не заметил, и комиссия оценила метод сжатия на отлично. Пикард радостно делает заключение: «Теперь это эмоциональный интеллект!»

Тем не менее создать такую разновидность эмоционального интеллекта было крайне сложно. Компьютер мог обнаружить в изображении линии и границы, но распознать и распределить объекты по категориям в зависимости от их важности было принципиально иной задачей. Оставался вопрос: как мы решаем, что имеет значение, когда рассматриваем изображение?

В 1991 году, в свой первый год работы в Массачусетском технологическом институте, Пикард прочла статью на первой полосе «Wall Street Journal» об ученом и музыканте Манфреде Клайнсе. Клайне был выдающимся человеком, автором целого ряда успешных изобретений. Большинство его работ посвящены нейронаукам в музыке, но внимание Пикард привлек именно его «сентограф», машина, предназначенная якобы для измерения эмоций. (На латыни глагол «sentire» означает «чувствовать».) Машина Клайнса измеряла малейшие изменения колебательного сигнала пальцев человека, нажимавшего на кнопку. Он говорил, что эти изменения следуют характерным моделям, отражающим разные эмоции. Пикард заинтересовала идея измерения эмоций, и она сохранила статью.

Исследование продвигалось, и Пикард обнаружила, что сталкивается с проблемами, которые показывают, насколько ограниченным был ее прежний подход. Она сотрудничала с учеными, исследовавшими зрение, и изучала и моделировала визуальную область коры головного мозга, тот участок, который отвечает за обработку зрительной информации. Подход был в чем-то полезен, но системы все равно не выполняли того, что требовалось, и в процессе работы возникли дополнительные вопросы. Например, откуда мы знаем, на что следует обратить внимание? Почему один объект или фигура интересует нас в один момент времени и совершенно не интересует в другой? Или, как в случае с Эллиотом после операции, как наше разум присваивает ценность?

Другая работа в области цифровой обработки информации заставила Пикард задать те же вопросы о мотивации и расстановке приоритетов. Конечно, можно было создать системы, которые бы проходили последовательность жестко заданных шагов, устанавливая фильтры и определяя степень важности различных элементов, но такие подходы не работали, если на входе оказывалась необычная или неожиданная информация. Программное обеспечение по-прежнему было слишком нестабильным. Она считала, что нужен другой подход, чтобы повысить стабильность и адаптивность системы и сделать ее устойчивой.

Как-то во время рождественских каникул Пикард читала книгу «Человек, который пробовал формы на вкус» (The Man Who Tasted Shapes), написанную неврологом Ричардом Ситауиком. В книге исследовался мир синестезии – явления, при котором люди воспринимают одну разновидность входящей сенсорной информации как совершенно другую. Например, некоторые синестетики воспринимают звуки как цвета. В случае лексико-вкусовой синестезии слово может обладать вкусом того или иного блюда или вещества. Среди догадок Ситауика было утверждение, что восприятие ощущений связано с лимбической системой и соответствующими зонами коры головного мозга. Это особенно интересовало Пикард, учитывая то, что лимбическая система – это часть мозга, имеющая первостепенное значение для памяти, внимания и эмоций.

Молодой профессор уже тогда интересовалась процессами памяти и внимания, так что она начала читать многочисленные работы по нейронаукам, узнав из них, что эмоции возникают постоянно. Различные исследования подтверждали, что эмоции неразрывно связаны с памятью, вниманием, восприятием и принятием решений. Пикард начала думать, что нашла недостающий фрагмент головоломки.

К сожалению, он находился слишком далеко от того, чем она занималась. Она привыкла, что в науке и инженерном проектировании нет места таким иррациональным вещам, как эмоции. В Технологическом институте Джорджии Пикард была единственной женщиной в учебной аудитории среди сотни мужчин. Если бы она связалась с чем-то необъективным и ненаучным, таким как чувства, она не получила бы докторскую степень по проектированию электрических систем.

Всего через год Пикард собиралась претендовать на должность в Массачусетском технологическом институте. Она неустанно работала над новаторским исследованием в области моделирования стандартных изображений и разрабатывала первую в мире систему поиска информации по содержимому. Она писала в своей статье для ИЕЕЕ, Института инженеров по электротехнике и электронике:

Она четко понимала, что это решение может погубить ее карьеру. Внезапная смена направления могла обесценить и поставить под угрозу огромную работу, которую она проделала к тому времени.

И все же Пикард была уверена в том, что какая-то связь существует. Она знала, что настоящий ученый должен искать доказательства, даже если они не совпадают с устоявшимся мнением большинства членов научного сообщества. Она решила обратиться к тому, кому можно рассказать о своем исследовании, в идеале коллеге-мужчине со сложившейся репутацией. Если какая-то связь существовала, ее нужно было исследовать, даже если это сделает не она.

По мере продолжения исследования Пикард обнаружила, что неожиданные советы исходят из множества областей. Необходимость пойти на риск, позволить себе мыслить нешаблонно, пренебречь условностями постоянно возникала в разговорах с коллегами и учителями. Это повлекло за собой определенные последствия. Пикард считала себя рядовым сотрудником знаменитой на весь мир Междисциплинарной исследовательской лаборатории Массачусетского технологического института. Инженер-проектировщик электрических систем, занимающийся разработкой систем поиска по содержимому. Это важная работа, но рискованная ли? Не слишком. Скорее наоборот, именно этого от нее все и ждали.

Убедившись в том, что эмоции нужно исследовать и распознавать так, как это никогда не делалось прежде, во время рождественских каникул и времени, отведенного для самостоятельной работы, Пикард изложила предварительное мнение по вопросу. Помимо всего технического материала и идей, которые ей было необходимо представить в документе, Пикард нужно было как-то его озаглавить. Такие фразы, как «программирование чувств» и «эмотивная технология», содержали отсылки к субъективности и иррациональности, которых она так старалась избежать. Наконец, она решила, что хорошим научным названием будет психологический термин «аффект», означающий переживание чувства. В статье «Аффективное программирование» она подробно изложила идеи и доказательства, собранные в ходе исследования до 1995 года. Не привлекая к работе особого внимания, она дала ее прочесть коллегам, обладавшим самыми широкими взглядами, и стала ждать их реакции. Как и предполагалось, реакция была неоднозначной. Один студент счел ее идеи многообещающими. Он пришел в кабинет Пикард с кипой книг об эмоциях и сказал: «Вам стоит это почитать». Между студентами и преподавателями Массачусетского технологического института иногда возникают дружеские отношения. Преподаватели либо не разделяли ее энтузиазма, либо просто не знали, что думать. Многим это казалось чем-то незначительным, не играющим особой роли в их личной реальности. «У меня нет чувств», – прокомментировали многие из них в уверенности, что так и есть на самом деле, а нечто столь расплывчатое, как эмоции, нельзя ни измерить, ни воспринимать серьезно.

Но постепенно к ней пришло признание. Пикард обнаружила, что все больше рассказывает и пишет об эмоциях и методах их измерения. Ее работу обсуждали в прессе и на телевидении. Наконец, в 1997 году, спустя девять месяцев после подписания контракта на публикацию, она закончила книгу, которая носила то же название, что и первая статья. Книга «Аффективное программирование» (Affective Computing) представила миру ее смелые новаторские идеи и положила начало новейшей отрасли искусственного интеллекта и информатики.