Совокупность требований по применению AI-агентов в программных продуктах

ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ

БЕЗОПАСНОСТЬ ДАННЫХ И КОНТРОЛЬ ДОСТУПА

ЧТО ЭТО ЗНАЧИТ:

LLM (большая языковая модель) – это специализированная система искусственного интеллекта, которая работает с данными компании (технические задания, код, коммерческая информация). Если они утекут во внешние сервисы, последствия могут быть критичными.

AI-агенты (искусственные интеллектуальные агенты) – это программные сервисы, которые используют алгоритмы искусственного интеллекта (ИИ) или специализированные системы искусственного интеллекта (LLM) для выполнения определенных задач без непосредственного участия человека. Запрещено использование AI-агентов для обработки личных и конфиденциальных данных организации. Данные AI-агенту должны передаваться в обезличенном виде.

ЧТО ВКЛЮЧАЕТ:

• Шифрование каналов передачи данных (SSL)
• Защиту от подмены данных и контекста
• Локальное (on-premise) или приватное развертывание моделей
• Ролевое управление доступом (RBAC/ABAC)
• Мониторинг и аудит запросов к модели
• Использование только одобренных моделей и сред, прошедших проверку центром информационной безопасности

ИНТЕРПРЕТИРУЕМОСТЬ И ПРОЗРАЧНОСТЬ РЕШЕНИЙ

ЧТО ЭТО ЗНАЧИТ:

AI-агент не должен быть «черным ящиком». Нужно объяснять, почему он сделал вывод.

ЧТО ВКЛЮЧАЕТ:

• Метрики уверенности (confidence scores)
• Логирование пути рассуждений (reasoning chain)
• Возможность объяснить выбор модели человеку
• Визуализацию шагов принятия решений

ЦЕННОСТИ ДЛЯ ЗАКАЗЧИКА:

• Понимание, как AI-агент пришел к результату
• Повышение доверия к системе
• Возможность обоснования решений для регуляторов и аудиторов

МАСШТАБИРУЕМОСТЬ РЕШЕНИЙ

ЧТО ЭТО ЗНАЧИТ:

Система должна расти вместе с бизнесом: больше пользователей, больше проектов, больше данных.

ЧТО ВКЛЮЧАЕТ:

• Автомасштабирование вычислительных мощностей
• Поддержку кластеров
• Горизонтальное масштабирование агентов и моделей
• Оптимизацию скорости ответа при большом числе запросов

ЦЕННОСТИ ДЛЯ ЗАКАЗЧИКА:

• Стабильная работа при росте нагрузки
• Управляемый рост затрат
• Возможность добавления новых моделей без перестройки системы

ИНТЕГРАЦИЯ С СУЩЕСТВУЮЩЕЙ ИНФРАСТРУКТУРОЙ

ЧТО ЭТО ЗНАЧИТ:

AI-агент не должен существовать «в вакууме» – он должен работать в ERP, CRM, CI/CD, DevOps-процессах.

ЧТО ВКЛЮЧАЕТ:

• API-first архитектуру (REST, Kafka, gRPC)
• Поддержку стандартов (OpenAI, JSON Schema)
• Коннекторы к ERP, CRM, CI/CD, BPM

КОНТРОЛЬ КАЧЕСТВА И ВАЛИДАЦИЯ РЕЗУЛЬТАТОВ AI-АГЕНТОВ

ЧТО ЭТО ЗНАЧИТ:

AI-агент не должен работать полностью автономно – эксперт должен иметь возможность вмешаться. AI-агент может ошибаться («галлюцинации»). Нужно проверять его выводы.

ЧТО ВКЛЮЧАЕТ:

• Автоматическую валидацию кода и схем
• Метрики качества
• Сравнение с эталонными данными (решения доработанного ИИ должны совпадать с эталонными решениями)
• Процесс с ручным подтверждением результатов
• Возможность правки и дообучения модели по обратной связи
• Настраиваемый уровень автоматизации (от подсказки до полного автогенератора)

ГИБКОСТЬ ВЫБОРА МОДЕЛЕЙ И ПОСТАВЩИКОВ

ЧТО ЭТО ЗНАЧИТ:

AI-агенты должны быть спроектированы в виде независимых модулей с отдельным слоем хранения данных и бизнес-логики. Должна быть свобода смены LLM или поставщика без полной перестройки системы.

ЧТО ВКЛЮЧАЕТ:

• Поддержку нескольких LLM через единый API OpenAI (OpenAI, Anthropic, Mistral, LLaMA и т.д.)
• Возможность использования open-source и SaaS-решений
• Контейнеризацию и стандартизированные интерфейсы
• Централизованный «AI gateway» слой: маршрутизация по моделям, политики ввода/вывода, аудит, контроль версий и лимиты использования
• Ведение реестра моделей/агентов: список поставщиков, версий, датасетов, областей применения, уровней риска и владельцев

ЦЕННОСТИ ДЛЯ ЗАКАЗЧИКА:

• Свобода выбора и независимость от модели и поставщика (нет vendor lock-in)
• Высокая масштабируемость – возможность обслуживания тысяч клиентов
• Быстрая адаптация бизнес-процессов к изменениям потребностей и ожиданий клиентов
• Высокая скорость запуска в работу новых AI-агентов

УПРАВЛЕНИЕ ВЕРСИЯМИ И ВОСПРОИЗВОДИМОСТЬ РЕЗУЛЬТАТОВ

ЧТО ЭТО ЗНАЧИТ:

Результаты AI-агентов должны быть воспроизводимыми даже через месяцы и годы.

ЧТО ВКЛЮЧАЕТ:

• Фиксацию версий моделей и их хэшей
• Сохранение параметров генерации
• Версионирование промптов и данных (например, в Git)
• Логирование всех сессий и артефактов

ОГРАНИЧЕНИЯ НА ИСПОЛЬЗОВАНИЕ В ОПРЕДЕЛЕННЫХ ПРОЦЕССАХ

ЧТО ЭТО ЗНАЧИТ:

Критичные процессы запрещены или ограничены для использования ИИ.

ЧТО ВКЛЮЧАЕТ:

• Определение процессов, которые должны под запретом или ограничением использования ИИ («Автоматическое списание средств на основе ИИ-анализа»)
• Настраиваемый уровень автоматизации (от подсказки до полного запрета использования ИИ)

ЦЕННОСТИ ДЛЯ ЗАКАЗЧИКА:

• Контроль над критическими процессами и решениями
• Соответствие законодательству и регулятивным требованиям в области использования ИИ (ЦБ РФ в «Положении о риск-менеджменте»)

НАДЕЖНОСТЬ И УСТОЙЧИВОСТЬ К СБОЯМ

ЧТО ЭТО ЗНАЧИТ:

AI-система должна работать даже при сбоях, перегрузках или падении отдельных компонентов.

ЧТО ВКЛЮЧАЕТ:

• Механизмы отказоустойчивости и резервного копирования
• Запасные модели (fallback)
• SLA по доступности (например, 99.9%)
• Мониторинг и аварийное оповещение