По мере роста популярности сервисов на основе ИИ, таких как OpenAI GPT-3, они становятся все более привлекательным вектором для атак. Даже прикрываясь API, хакеры могут попытаться реконструировать модели, лежащие в основе этих сервисов, или использовать «враждебные» данные для их вмешательства. По данным Gartner, 30% всех кибератак ИИ в 2022 году будут использовать эти методы наряду с отравлением данных, которое включает в себя внедрение неверных данных в набор данных, используемый для обучения моделей для атаки на системы ИИ.
Как и в любой отрасли, борьба с угрозами безопасности — бесконечная задача. Но Крис Сестито утверждает, что его платформа HiddenLayer может упростить ее для поставщиков ИИ как услуги, автоматически определяя вредоносную активность в отношении моделей и реагируя на атаки.
Сегодня компания HiddenLayer вышла из скрытности, получив начальное финансирование в размере 6 миллионов долларов от Ten Eleven Ventures, Secure Octane и других инвесторов. Сестито, бывший директор по исследованию угроз в Cylance и вице-президент по разработке в Qualys, несколько месяцев назад стал соучредителем компании вместе с Таннером Бернсом и Джимом Баллардом. Бернс и Баллард также работали в Qualys и Cylance и проводили время вместе в BlackBerry, где Баллард был руководителем группы обработки данных, а Бернс был исследователем угроз.
«Практически все корпоративные организации внесли значительный вклад в машинное обучение, чтобы получить преимущество — будь то ценность в форме дифференциации продукта, получения дохода, экономии затрат или эффективности», — сказал Сестито в интервью TechCrunch по электронной почте. “Атаки со стороны машинного обучения способны нанести такой же ущерб, который мы видели в традиционных кибератаках, включая раскрытие данных клиентов и разрушение производственных систем. На самом деле, мы в HiddenLayer считаем, что не за горами то, что модели машинного обучения будут возвращены их организациям».
HiddenLayer утверждает, что ее технология может защищать модели от атак без необходимости доступа к необработанным данным или алгоритмам поставщика. Анализируя взаимодействия модели — другими словами, данные, подаваемые в модель (например, изображения кошек), и прогнозы, которые модель выводит (например, заголовок «кошки»), — для выявления шаблонов, которые могут быть вредоносными, HiddenLayer может По словам Сестито, работайте «неинвазивно» и без предварительного знания данных обучения.
«Атаки со стороны машинного обучения не такие громкие, как программы-вымогатели — вам нужно искать их, чтобы вовремя поймать», — сказал Сестито. «HiddenLayer сосредоточился на подходе, ориентированном на исследования, который позволит нам публиковать наши результаты и обучать мир быть готовым».
Майк Кук, исследователь ИИ, который является частью коллектива Knives and Paintbrushes, сказал, что неясно, делает ли HiddenLayer что-то «действительно новаторское или новое». (Кук не имеет отношения к HiddenLayer.) Тем не менее, он отмечает, что в том, что делает HiddenLayer, есть польза: попытка упаковать знания об атаках на ИИ и сделать их более доступными.
«Бум искусственного интеллекта все еще процветает, но большая часть этих знаний о том, как работает современное машинное обучение и как его лучше всего использовать, по-прежнему закрыта в основном для людей, обладающих специальными знаниями. Запомнившиеся мне примеры включают в себя исследователей, которым удалось извлечь отдельные фрагменты обучающих данных из систем OpenAI GPT-2 и GPT-3», — сказал Кук TechCrunch по электронной почте. «Когда экспертные знания недоступны и труднодоступны, иногда все, что действительно нужно бизнесу, — это предоставить удобные способы получить их».
HiddenLayer в настоящее время находится на стадии получения дохода и не имеет клиентов, хотя Сестито говорит, что стартап привлек нескольких «известных» партнеров по дизайну. В конечном счете, Кук считает, что его успех будет зависеть не столько от технологии HiddenLayer, сколько от того, насколько велика угроза атак, как заявляет компания.
«Я не знаю, насколько распространены атаки на системы машинного обучения. [at present]. Обман спам-фильтра, чтобы он пропустил электронную почту, сильно отличается по масштабу и серьезности от извлечения закрытых данных из большой языковой модели», — сказал Кук.
По его мнению, трудно определить реальные примеры атак на системы ИИ. Исследования по этой теме резко возросли: в 2019 году на сайте научных публикаций Arxiv.org было опубликовано более 1500 статей по безопасности ИИ, по сравнению с 56 в 2016 году, согласно исследованию Adversara. Но мало публичных сообщений о попытках хакеров, например, атаковать коммерческие системы распознавания лиц — если предположить, что такие попытки вообще происходят.
Сестито утверждает, что угроза — независимо от ее размера сегодня — будет расти вместе с рынком ИИ, косвенно в пользу HiddenLayer. Он признает, что несколько стартапов уже предлагают продукты, призванные сделать системы ИИ более надежными, в том числе Robust Intelligence, CalypsoAI и Troj.ai. Но Сестито утверждает, что HiddenLayer стоит особняком в своем подходе к обнаружению и реагированию на основе ИИ.
«PwC считает, что к 2030 году рынок искусственного интеллекта составит 15,7 триллиона долларов. Нам абсолютно необходимо начать защищать эту технологию прямо сейчас», — сказал Сестито. «Нашей самой большой целью на сегодняшний день является информирование рынка об этой новой угрозе. Приверженность ИИ и машинному обучению является относительно новой для многих организаций, и лишь немногие из них уделяют внимание защите этих активов. С любой новой технологией приходят новые векторы атак; это та же битва на новом рубеже».
Компания HiddenLayer из Остина, штат Техас, в настоящее время имеет 11 сотрудников и планирует закончить 2022 год с 14 сотрудниками.