Когда Даниэль поняла, что деньги «Амазон» ей не вернет, она позвонила на местное радио KIRO 7 и обратилась с жалобой. Сказала, что инженер так и не сказал, в чем дело, а сама она убеждена в том, что Алекса сначала наблюдала за семьей, а потом злобно подшутила над ними.
Представительница Амазона в ответе на запрос радиостанции сказала, что компания «очень серьезно относится к вопросам прайваси», и что подобное происходит крайне редко. Что встроенная в дом система «Эхо» проснулась, услышав в разговоре хозяев слово, похожее на «Алекса». А затем интерпретировала дальнейший разговор как запрос на отсылку записи. И громко спросила хозяев: «Кому?» Хозяева-де продолжали говорить, и в разговоре проскочило имя сотрудника в Сиэттле. Тут Алекса с громкостью, которую сама определила как достаточную, спросила хозяев: «Такому-то послать?» Затем она интерпретировала их буб-неж как «да» и отослала разговор.
Даниэль до сих пор отрицает, что Алекса что-либо переспрашивала, и, откровенно говоря, версия, озвученная представительницей Амазона, звучит невероятно. Заметьте, никто не оспаривает сам факт тотальной прослушки разговоров и возможности их распространения без разрешения. Известно, что «Амазон» работает и на оборонное ведомство США, в частности, разрабатывая системы распознавания образов для беспилотников, а также продает технологию распознавания лиц правоохранительным органам, поэтому информация, полученная через гаджеты обычных людей, может быть доступна на деле очень многим.
Но главный вопрос здесь даже не в том, что «Большой брат» следит за тобой через системы с элементами искусственного интеллекта. Настоящий вопрос в том, подчиняются ли «Большому брату» сами эти системы — или искусственный интеллект уже вышел из-под контроля создателей?
Странные случаи, как бы указывающие на это, множатся. То робот распыляет на складе «Амазона» медвежий репеллент, отправив в больницу несколько десятков рабочих. То беспилотный автомобиль Uber сбивает насмерть женщину, и расследование устанавливает, что система автоматического торможения была намеренно отключена. СМИ не вдаются в тему, как такое могло случиться, а виновным признают человека, который занимался уходом за автомобилем. То пользователи ведущей мировой соцсети начинают замечать, что стоит им поговорить на какую-то тему, как реклама начинает предлагать вещи, соответствующие теме разговора.
Но прежде чем попытаться понять, действительно ли искусственный интеллект достиг такого уровня, что стал опасным, стоит разобраться в том, что это такое.
ухо БОЛЬШОГО БРАТА
За пределами весьма ограниченного интерфейса система Amazon Echo находится абсолютно вне пользовательского контроля. Это не старый радиоприемник, который можно разобрать и починить, не автомобиль, который можно усовершенствовать и прокачать, в зависимости от умений владельца. Перед пользователем «Алексы» просто гладкая поверхность, пластик, за которым скрыты сенсоры и мало что еще, ибо по-настоящему сложные вещи происходят совсем в другом месте, куда поступают собранные в доме сигналы.
Echo — это просто ухо Большого Брата, которым он прослушивает дом, находясь при этом за тридевять земель, а если быть совсем точным, находясь одновременно во многих местах.
Технологии ИИ практически уничтожили понятие о частной жизни человека, при этом сами компании, которые зарабатывают на этом, превратились в «черные ящики». Это было очевидно даже на слушаниях в американском конгрессе, куда вызвали главу «Фейсбука» Марка Цукерберга. Сенаторы в своих вопросах в основном гадали на кофейной гуще, явно не имея базовой информации о работе компании. Исходя из этого, Цукербергу было сравнительно легко манипулировать вопросами и ответами, и в конечном итоге, при всем запале законодателей, он отделался малой кровью.
Крупным монополиям, занимающимся разработкой и внедрением систем с ИИ, есть что скрывать, и их можно понять: ведь потребители могут испугаться новых технологий, и их продажи замедлятся. Поэтому даже если электронные гомункулусы уже сегодня играют в свою игру, у «Гугла» или «Фейсбука» нет никакого резона об этом распространяться.
Потребители на самом деле уже привыкли пользоваться искусственным интеллектом. Мобильные телефоны, домовые помощники типа Алексы, автопилоты в автомобилях—все эти устройства передают данные в облака и получают оттуда команды. Это происходит невидимо и неслышно для потребителей, которые не представляют, что происходит внутри системы, но даже если сделать ее прозрачной, это не поможет.
Информация и на входе, и на выходе устройств никак не контролируется их весьма условными «хозяевами» — а на самом деле потребители тоже становятся частью системы, которая их эксплуатирует и ничем перед ними не отвечает.
Кто владеет данными, владеет миром — так что, получая все больше власти, технологические корпорации будут пользоваться ею, чтобы получить еще больше информации. Возникает замкнутый круг, который, если ничего не делать, приведет к реальному тоталитаризму. Только полная подотчетность корпораций и сознательный выбор потребителя может как-то укротить систему, но это, пожалуй, невозможно без существенных социальных преобразований.
За ответом искусственного интеллекта Алексы на вопрос хозяйки стоит целая пирамида извлечения вполне материальных ресурсов и человеческого труда, переплетенные друг с другом глобальные сети добычи редкоземельных металлов, логистики, распределения, аутсорсинга, сбора и обработки данных, машинного обучения и, наконец, финансовых и политических учреждений.
СЛЕЗЫ ТУНИПЫ: ГЕОЛОГИЧЕСКИЕ ТАЙНЫ ИИ
Индейцы аймара — может быть, самый богатый и самый несчастный народ на Земле. Они живут на высоких равнинах в боливийских и перуанских Андах. Горы эти славятся богатыми залежами серебра, олова, меди, вольфрама, платины, сурьмы, ванадия и других ценных металлов. Миллионы аймара погибли от непосильного труда на рудниках знаменитой Серебряной горы Потоси и других месторождений, которые со времен прихода испанцев и по сей день приносят колоссальные прибыли своим владельцам.
По местной легенде, когда-то вулканы были живыми и свободно бродили по равнинам. Среди них была красивая девушка Тунипа, которую добивались все мужчины-вулканы. Наконец, Тунипа родила, но не сказала, от кого. Мужчины-вулканы из ревности забрали у нее ребенка и спрятали. За это боги наказали их всех, приковав к земле. А слезы Тунипы перемешались с ее молоком и образовали озеро Салар де Уюни.
Как раз там, на плато Салар, на высоте более 3600 метров над уровнем моря, находится от половины до двух третей мировых запасов лития. Аймара до сих пор живут в хижинах из самана, а без лития не ответит на ваш вопрос Алекса, не зазвонит ваш смартфон и не тронется с места распиаренное детище Илона Маска. Для батареи этой модной машины, запущенной уже и в космос, нужно около семи килограммов металла, который называют «серым золотом».
Так на слезах и грудном молоке Тунипы держится благополучие ведущих мировых компаний и их акционеров, которые слыхом не слыхивали об индейцах аймара.