В спешке с созданием, тестированием и развертыванием систем ИИ предприятиям часто не хватает ресурсов и времени для полной проверки своих систем и обеспечения их отсутствия ошибок. В отчете за 2018 год Gartner предсказал, что 85% проектов ИИ будут давать ошибочные результаты из-за предвзятости данных, алгоритмов или команд, ответственных за их управление. Даже крупные технологические компании не застрахованы от ловушек — для одного клиента IBM в конечном итоге не смогла предоставить систему диагностики рака на базе искусственного интеллекта, которая обошлась в 62 миллиона долларов за 4 года.
Вдохновленные программами «баунти-баунти», Чон-Сух Чой и Сухён Бэ основали Bobidi, платформу, призванную помочь компаниям проверить свои системы искусственного интеллекта, представив системы глобальному сообществу специалистов по данным. Вместе с Бобиди Бэ и Чой стремились создать продукт, который позволяет клиентам подключать системы ИИ к сообществу по поиску ошибок «безопасным» способом через API.
Идея состоит в том, чтобы позволить разработчикам тестировать системы ИИ и предубеждения — то есть крайние случаи, когда системы работают плохо, — чтобы сократить время, необходимое для проверки, объяснил Чой в интервью по электронной почте. Бэ ранее был старшим инженером в Google и руководил картографией дополненной реальности в Niantic, а Чой был старшим менеджером в eBay и возглавлял команду «человеческого инжиниринга» в Facebook. Они познакомились на мероприятии в сфере высоких технологий около 10 лет назад.
«К тому времени, когда в модели выявляются предвзятость или недостатки, ущерб уже становится необратимым», — сказал Чой. «Например, алгоритмы обработки естественного языка [like OpenAI’s GPT-3] часто оказывается, что они делают проблемные комментарии или неправильно реагируют на эти комментарии, связанные с ненавистническими высказываниями, дискриминацией и оскорблениями. Используя Bobidi, сообщество может «предварительно протестировать» алгоритм и найти эти лазейки, что на самом деле очень эффективно, поскольку вы можете протестировать алгоритм с большим количеством людей при определенных условиях, которые отражают социальные и политические контексты, которые постоянно меняются».
Для тестирования моделей «сообщество» разработчиков Bobidi создает проверочный набор данных для данной системы. По мере того как разработчики пытаются найти лазейки в системе, клиенты получают анализ, который включает шаблоны ложных отрицательных и положительных результатов и связанные с ними метаданные (например, количество пограничных случаев).
Предоставление конфиденциальных систем и моделей внешнему миру может заставить некоторые компании задуматься, но Чой утверждает, что у Bobidi «автоматически истекает срок действия» моделей через определенное количество дней, чтобы их нельзя было реконструировать. Клиенты платят за услугу в зависимости от количества «законных» попыток, предпринятых сообществом, которое составляет доллар (0,99 доллара США) за 10 попыток.
Чой отмечает, что сумма денег, которую разработчики могут заработать с помощью Bobidi — от 10 до 20 долларов в час — значительно превышает минимальную заработную плату во многих регионах мира. Предполагая, что оценки Чоя основаны на фактах, Бобиди противостоит тенденции в отрасли науки о данных, которая, как правило, плохо платит валидаторам данных и маркировщикам. Одно исследование показало, что аннотаторы широко используемого набора данных компьютерного зрения ImageNet получали медианную заработную плату в размере 2 долларов в час, и только 4% зарабатывали более 7,25 долларов в час.
Помимо структуры оплаты, валидация с помощью толпы — не новая идея. В 2017 году Лаборатория вычислительной лингвистики и обработки информации Университета Мэриленда запустила платформу под названием «Разбей, создай», которая позволяет исследователям отправлять модели пользователям, которым поручено придумывать примеры, чтобы победить их. В другом месте Meta поддерживает платформу под названием Dynabench, в которой есть пользовательские «дурацкие» модели, предназначенные для анализа настроений, ответов на вопросы, выявления разжигания ненависти и многого другого.
Но Бэ и Чой считают, что «геймифицированный» подход поможет Бобиди выделиться из толпы. Хотя это только начало, поставщик утверждает, что у него есть клиенты в стартапах дополненной реальности и компьютерного зрения, включая Seerslab, Deepixel и Gunsens.
Этого было достаточно, чтобы убедить нескольких инвесторов вложить деньги в это предприятие. Сегодня Бобиди закрыл посевной раунд на 5,5 млн долларов с участием Y Combinator, We Ventures, Hyundai Motor Group, Scrum Ventures, New Product Experimentation (NPE) в Meta, Lotte Ventures, Atlas Pac Capital и нескольких неизвестных бизнес-ангелов.
Следует отметить, что Bobidi является одной из первых инвестиций для NPE, которая в прошлом году переключилась с создания приложений, ориентированных на потребителя, на инвестиции на посевной стадии в стартапы, ориентированные на ИИ. Когда с нами связались для комментариев, глава отдела инвестиций NPE Сунита Парасураман сказала по электронной почте: «Мы очень рады поддержать талантливых основателей Bobidi, которые помогают компаниям лучше проверять модели ИИ с помощью инновационного решения, которым пользуются люди со всего мира».
«Bobidi — это гибрид сообщества и ИИ, уникальное сочетание опыта, которым мы делимся», — добавил Чой. «Мы считаем, что эра больших данных подходит к концу, и мы вот-вот вступим в новую эру качественных данных. Это означает, что мы переходим от эры, когда основное внимание уделялось созданию наилучшей модели с наборами данных, к новой эре, когда перед людьми ставится задача найти наилучший набор данных с противоположным подходом к полной модели».
Чой сказал, что выручка от начального раунда будет направлена на найм — в Бобиди в настоящее время работает 12 сотрудников — и создание «опыта понимания клиентов» и различных «основных технологий машинного обучения». Компания надеется утроить размер своей команды к концу года, несмотря на экономические трудности.