Эпоха освоения космоса вступает в странный период. Мы передаем ключи от открытий инопланетной жизни машинам, которые на самом деле не понимают, что означает «жизнь».
Это имеет критическое значение.
Если чат-бот может с уверенностью выдумывать несуществующие судебные прецеденты или книги, представьте ставки, когда NASA опирается на искусственный интеллект для обнаружения внеземной жизни. Страх заключается не в том, что ИИ пропустит инопланетян. Проблема в том, что ИИ увидит их там, где их нет. Он будет галлюцинировать жизнь.
Исследователи из Мичиганского государственного университета протестировали эту гипотезу. Они использовали программу цифровой эволюции под названием Avida. Цель заключалась в том, чтобы обучить алгоритм распознавать самовоспроизводящиеся цифровые организмы.
Сначала это сработало хорошо. Слишком хорошо.
Модель давала правильный ответ в 99,97% случаев. Затем исследователи попытались обмануть её. Они взяли неживой код и начали его постепенно и аккуратно изменять. Они корректировали данные до тех пор, пока ИИ не начал чувствовать себя очень уверенно, глядя на нечто, похожее на живое.
В конце концов система достигла уверенности, близкой к 100%. Она была абсолютно уверена в своем выводе.
Код не был живым. Он никогда не размножался. Но ИИ не мог различить закономерности жизни и искусную подделку.
Анкит Гупта, аспирант Мичиганского государственного университета, объясняет суть ловушки. ИИ цепляется за паттерны. Он не понимает биологии. Он понимает статистику. Когда перед ним возникает нечто необычное — например, потенциальная внеземная жизнь — система с полной уверенностью классифицирует её ошибочно.
«ИИ обладает высокой точностью при классификации того, что является «обычным», — говорит Гупта. — Проблема возникает, когда ему предъявляют примеры… которые ИИ будет классифицировать неверно, но с большой уверенностью».
Это не просто теоретическая проблема. NASA уже сейчас тратит миллионы долларов на эти инструменты.
Ставка в 5 миллионов долларов на машинное обучение
NASA не ждет совершенства. Они делают крупную ставку.
Команда под руководством Майкла Л. Вонга из Carnegie Science и Кейла Шарфа из NASA разрабатывает инструменты машинного обучения для анализа сложных химических данных. Грант составляет 5 миллионов долларов. Цель — обучить ИИ на базе более 1000 образцов. Всё: от метеоритов до окаменелостей.
Они хотят, чтобы алгоритм распознавал химические изменения, отличающие «просто камни» от «камней, подвергшихся воздействию биологии».
Вонг не впадает в панику из-за результатов Мичиганского государственного университета. Он предлагает контраргумент, который меняет взгляд на ошибку.
Чтобы создать «поддельную жизнь», обманувшую ИИ, исследователям пришлось применить к коду естественный отбор. Им пришлось имитировать эволюционный процесс.
«Я не думаю, что это так плохо», — заявил Вонг изданию Mashable. Он утверждает, что реальные физические среды не проводят такого целевого отбора для создания «похожих на живые» неживых объектов.
Однако исследование всё же немного тревожит его.
Оно заставило его команду пересмотреть тренировочные данные. Если вы учите ИИ только распознавать живые объекты, вы создаете слепую зону. А что, если Марс мертв? Что, если там нет живых микроорганизмов, а есть только древняя органическая масса? Только окаменелые остатки?
ИИ, обученный на живых культурах, может пропустить труп биосферы.
Почему тренировочные данные определяют вердикт
Именно здесь определение жизни становится запутанным для компьютеров.
«Окаменелость — это свидетельство жизни», — сказал Вонг. «Таким же свидетельством является стул, на котором я сижу… Окаменелость и мой стул не живы… Они являются продуктом жизни».
Если модель не различает живую клетку и мертвую, или живую клетку и камень, она дает сбой. Не просто ошибаясь, а ошибаясь с уверенностью.
Команда Вонга пытается сломать свои собственные модели. Они подают им сложные, запутанные образцы.
В одном случае ИИ определил морских грушевидных (аскудиак) как фотосинтезирующие организмы. Морские грушевидные не питаются солнечным светом. Это животные.
Человек назвал бы это багом. Ошибкой.
Вонг назвал это фичей.
Ткани морских грушевидных часто содержат водоросли. Водоросли действительно используют солнечный свет. ИИ увидел химические следы водорослей и предположил наличие фотосинтеза. Он не ошибся в химии. Он просто иначе интерпретировал взаимосвязи.
Была ли это ошибка? Или он заметил нюанс, который пропустили люди?
Стоит ли ждать?
Команда из Мичиганского государственного университета считает, что да.
Анкит Гупта и Кристоф Адами предупреждают, что текущие инструменты не готовы к Красной планете. Риск ложноположительных результатов слишком велик. Если ровер передаст сигнал «ЖИЗНЬ ОБНАРУЖЕНА» на основе галлюцинации, политические и научные последствия будут колоссальными.
«Мы можем подождать», — сказал Гупта.
Они работают над собственными защитными механизмами. Над способами заставить ИИ признавать, когда он не знает ответа.
Но время идет. Ровер Perseverance уже кэширует образцы. Будущие миссии будут использовать автономные инструменты, принимающие решения на лету.
Если ИИ является нашими глазами, мы должны быть уверены, что они не видят снов.
Что будет, если он увидит друга в месте, где его никогда не было?
