Open source против ChatGPT: какие ИИ-модели выбирает бизнес

До 99% российских компаний на этапе внедрения ИИ используют исключительно open source решения. Коммерческие модели вроде ChatGPT и Claude остаются инструментом для пилотов и экспериментов, но в продакшен попадают редко. Почему так происходит? Специалисты «Диасофт» приняли участие в отраслевой дискуссии, организованной Telegram-каналом «Департамент Разработки», о выборе инструментов искусственного интеллекта для разработки ПО. Тема – на стыке технологий, экономики и регуляторных ограничений.

Регуляторные требования сужают выбор

Для компаний, работающих с чувствительными данными, выбор ИИ-инструментов ограничен изначально. 

По его словам, ситуацию можно охарактеризовать как «выбор без выбора»: гарантировать, что коммерческая модель во внешнем контуре обеспечит все регуляторные требования, невозможно – приходится верить на слово.

DDOS-атака как способ опустошить счет

Коллеги из других IT-компаний обратили внимание на еще один неочевидный риск – финансовый. Облачные коммерческие модели ставят перед нами угрозу DDOS-атак, которые по факту могут опустошить баланс компании. Это существенная проблема при их использовании.

Механизм прост: злоумышленники начинают массово отправлять запросы к чат-боту компании, и если тот использует платную облачную модель с оплатой за токены – расходы растут лавинообразно. При этом стандартная защита от кибератак, отключение внешнего контура, автоматически лишает компанию доступа к ИИ-сервисам, если они размещены в облаке.

Open source отстает всего на полгода

Участники дискуссии развенчали миф о критическом отставании открытых моделей от коммерческих. По оценкам экспертов, разрыв составляет около шести месяцев, и он постоянно сокращается. С учетом скоростей внедрения в enterprise это рабочий подход: пилоты и прототипы делаются под текущие топовые модели, а пока enterprise закупит, протестирует и внедрит, open source уже догонит, отмечают спикеры. При этом качественная инженерная проработка способна нивелировать разницу уже сейчас.

Коммерческие модели хороши как законченный продукт. Но когда мы начинаем писать качественные промпты, передавать оптимизированный контекст, их преимущества начинают стираться. В продуктах на основе open source мы можем не уступать, а где-то и превосходить, считают представители IT-отрасли.

Они фиксируют: подавляющее большинство заказчиков выбирает open source по экономическим соображениям. Крупные компании, готовые платить за коммерческие решения в продакшене, остаются исключением из правила.

Наш взгляд: проблема GPU преувеличена

Отдельный вопрос дискуссии: хватит ли вычислительных мощностей для массового внедрения ИИ в условиях санкционных ограничений на поставки GPU?

«Есть различие между моделями для обучения и для инференса. Десятки и сотни тысяч GPU – это про обучение модели. Там, где мы используем уже дообученную модель для задач инференса, требования к ресурсам гораздо меньше. Проблема может возникнуть, но она будет не настолько острой», – считает Сергей Ольков, «Диасофт». 

По нашим наблюдениям, даже крупнейшие корпоративные клиенты – это несколько тысяч пользователей, а не миллионы. Масштабы корпоративного применения пока не требуют инфраструктуры уровня OpenAI, и это дает российским компаниям пространство для маневра.

В итоге: Open source VS ChatGPT. Что выберете вы?