Определите, что будет размещено локально
Локальный запуск означает, что вычисления выполняются на оборудовании компании или в выделенной для неё инфраструктуре. Для этого нужна модель с доступными весами и лицензией, допускающей выбранное использование. Сервер обработки, база знаний и пользовательское приложение являются отдельными компонентами: размещение одного из них внутри компании не делает всю систему локальной.
vLLM документирует запуск моделей и обслуживание запросов через собственный сервер. Совместимый формат API упрощает интеграцию, но не предоставляет веса закрытой модели и не делает разные модели одинаковыми по возможностям.
Что предоставляет облачный API
Через облачный API приложение отправляет запрос поставщику и получает результат. К таким вариантам относятся OpenAI Responses API, Claude API от Anthropic и сервисы Yandex AI Studio. Распознавание и синтез речи могут подключаться отдельными компонентами, например через SpeechKit.
До выбора проверяют доступность сервиса для страны и юридического лица, договорные условия, ограничения нагрузки и порядок обработки данных.
Нарисуйте маршрут данных
Опишите, какие сведения поступают в систему, где хранятся документы, куда отправляется запрос и что попадает в журналы. Уточните, кто может читать историю и как удаляются данные. Для модели с поиском важно учитывать также хранилище документов и индекс, а для голоса — записи и текстовые расшифровки.
Локальное размещение позволяет управлять инфраструктурой, но требует настройки доступа, резервных копий и обновлений. Если в процессе используются изображения для подтверждения личности, границы обработки и допустимость такого сценария нужно согласовать отдельно до подключения реальных данных.
Сравнивайте на одинаковых заданиях
Подготовьте собственный набор вопросов, документов и ожидаемых результатов. Проверьте точность фактов, полноту ответа, следование формату и случаи отказа. Одновременно измерьте время выполнения при обычной и пиковой нагрузке. Для интерактивного помощника ожидание ответа может быть важнее максимального размера документа.
При локальном запуске производительность зависит от оборудования, объёма памяти, размера модели и числа одновременных запросов. Сначала проверяют выбранную конфигурацию, затем рассчитывают мощности. Демонстрация одного запроса на свободном сервере не показывает поведение системы в рабочий час.
Считайте расходы на завершённую задачу
Для облачного варианта учитывают запросы, объём текста или аудио, хранение и дополнительные инструменты. Для локального — оборудование, размещение, электроэнергию, обслуживание и резерв. В обоих случаях остаются разработка интеграций, подготовка данных и проверка результатов сотрудниками.
Сравнение строят на одинаковом объёме полезной работы. Если модель часто требует повторного запроса или ручного исправления, низкая цена отдельной операции может не дать экономии. Полезно рассмотреть обычную нагрузку, сезонный пик и рост числа пользователей.
Рассмотрите разделение задач
В одной системе можно использовать несколько способов обработки: поиск документов внутри компании, локальное извлечение отдельных полей и внешний сервис для разрешённых материалов. Маршрут определяется правилами приложения. Сотрудник должен понимать, какие данные допускаются в каждом сценарии.
Резервный поставщик или локальный запасной вариант требуют отдельной проверки качества и форматов. При недоступности основного сервиса нельзя автоматически отправлять чувствительные данные в новый контур. Иногда правильным резервом становится очередь задач и временное возвращение к ручной обработке.
Зафиксируйте решение и условия пересмотра
Итог сравнения — выбранная архитектура, измеренные ограничения, бюджет эксплуатации и ответственные за сопровождение. Запишите, при каком росте нагрузки или изменении требований решение потребуется пересмотреть. После замены модели повторяют проверку качества, даже если программный интерфейс сохранился.
Для первичного обсуждения нужны описание задачи, пример данных, предполагаемая нагрузка и ограничения на передачу информации. На этой основе можно сравнить варианты без преждевременной покупки оборудования или привязки к конкретному поставщику.
Что стоит учесть
- Локальный сервер приложения и локальная модель — разные части архитектуры.
- Проверяйте лицензию, доступность сервиса и весь маршрут данных.
- Сравнивайте качество и полную стоимость на собственных заданиях.