«Турбо Облако» запускает платформу инференса ИИ с поминутной тарификацией и авто-масштабированием

Облачный провайдер «Турбо Облако», который является частью коммерческого ИТ-кластера «Ростелекома», анонсировал запуск Inference Platform — платформы для развертывания и эксплуатации моделей искусственного интеллекта. В настоящее время продукт доступен для тестирования, что позволяет компаниям оценить его функционал на своих моделях.

Современные проекты в сфере ИИ требуют не только мощных вычислительных ресурсов, но и значительных усилий для развертывания и поддержки инфраструктуры, что может увеличивать нагрузку на команды и замедлять внедрение решений. Inference Platform от «Турбо Облака» предлагает готовый сервис, который решает эти проблемы, упрощая работу с ИИ-моделями.

Платформа поддерживает различные типы моделей, включая решения с открытым исходным кодом, которые популярны на российском рынке. Пользователи могут загружать свои модели или использовать контейнерные образы, разворачивая их в облачной среде без необходимости дополнительных настроек инфраструктуры.

Сервис предлагает автоматическое масштабирование ресурсов (автоскейлинг) в зависимости от текущей нагрузки: при увеличении числа запросов к модели ресурсы автоматически наращиваются, а при снижении нагрузки — уменьшаются до полной остановки вычислений. Это позволяет оптимизировать использование графических процессоров (GPU) и снижать затраты в условиях нерегулярной нагрузки. Кроме того, поминутная тарификация ресурсов обеспечивает более точный контроль расходов по сравнению с традиционной почасовой оплатой.

В новой платформе Inference Platform от «Турбо Облака» акцент сделан на эффективной работе с ресурсоемкими задачами. Платформа поддерживает распределенный инференс, что позволяет запускать модели с объемом до одного триллиона параметров на нескольких вычислительных узлах. Для обеспечения высокой скорости взаимодействия между узлами используется сеть InfiniBand с минимальной задержкой, что позволяет объединять множество серверов и графических ускорителей для дообучения крупных моделей. Также предусмотрена возможность гибкого использования GPU-ресурсов, включая их разделение для выполнения задач меньшего объема.

В основе Inference Platform лежат графические ускорители NVIDIA H200 SXM, которые обеспечивают необходимую производительность и объем видеопамяти для работы с нагрузками в области искусственного интеллекта. Платформа объединяет управление моделями различного масштаба — от компактных до очень ресурсоемких — в единой среде, предоставляя пользователям готовый сервис с доступом по URL. Это позволяет интегрировать решения в существующие бизнес-приложения без необходимости изменения архитектуры.

Дмитрий Подшибякин, директор по продуктам компании «Турбо Облако», отметил: «С ростом спроса на ИИ-модели в бизнесе многие компании сталкиваются с проблемами развертывания и обслуживания инфраструктуры, а также с высокими затратами на вычислительное оборудование. Наш новый сервис Inference Platform устраняет эти барьеры и позволяет сосредоточиться на прикладных задачах. Мы предлагаем возможность работать с моделями как с сервисом — быстро запускать, масштабировать и интегрировать их в бизнес-процессы без необходимости создания собственной инфраструктуры».

Андрей Прищемихин, директор опорного филиала ПАО «Ростелеком» в ЮФО и СКФО, добавил: «Для бизнеса на юге России эффективность является ключевым фактором успешного развития в условиях цифровой экономики. Внедрение искусственного интеллекта требует не только технологий, но и мощных вычислительных систем, времени и квалифицированных специалистов. Новый продукт Inference Platform от «Турбо Облака» избавляет компании от необходимости строить и обслуживать собственную инфраструктуру, позволяя сосредоточиться на бизнес-задачах. Автоматическое масштабирование и возможность работы с крупномасштабными моделями делают внедрение ИИ быстрее, дешевле и менее рискованным. Это особенно актуально для региональной экономики, где многие компании сталкиваются с ограниченными ресурсами и инфраструктурой. Использование облачного сервиса повышает технологическую эффективность и оперативность принятия бизнес-решений, улучшая использование данных и качество услуг и продуктов».

Более подробную информацию о сервисах и решениях «Ростелекома» для бизнеса можно найти на официальном сайте компании.

Реклама. ПАО "Ростелеком ЮГ"