☁️  Тренд на активные тесты и интеграцию opensource-моделей становится виден всё чётче.

☁️  Тренд на активные тесты и интеграцию opensource-моделей становится виден всё чётче. Сегодня Yandex Cloud добавил в свой сервис Foundation Models опцию, которая позволяет запустить ML-модели на выделенных мощностях. Так можно развернуть не только разные версии YandexGPT, но и Qwen, Mixtral, DeepSeek, LLaMA и другие, которые «уже есть или появятся в будущем».

В выделенном режиме Dedicated Inference Endpoint клиент резервирует вычислительные мощности, подобрав конфигурацию после консультации со специалистами Яндекса. Так достигается стабильная работа сервиса даже при высоких нагрузках. Ещё на «выделенке» можно зафиксировать для работы определённые версии нейросетей для конкретных бизнес-задач.

❓ В Foundation Models можно использовать сразу несколько запущенных моделей, комбинировать их или подбирать наиболее оптимальные для конкретной задачи. А «легитимность» работе с опенсорсом придаёт тот факт, что сервисы компании соответствуют индустриальным ИБ-стандартам и закону «О персональных данных».

Если говорить о пользе совсем «на пальцах»: новые модели появляются постоянно, и держать все из них на «горячем старте» в облаке нерационально. В случае с новой опцией клиенту не нужно самостоятельно готовить инфраструктуру, каждый раз настраивать работу модели и её мониторинг — всё сделают специалисты Яндекса.

🐷 Уточнили про деньги: за консультацию и подбор мощностей отдельно плату не берут. А сама стоимость конфигурации будет определяться индивидуально для каждого пользователя, конкретных тарифов пока нет.

ℹ️ Напомним, что ранее в начале февраля МТС представила платформу MWS GPT, которую позиционируют как «b2b-агрегатор языковых моделей». Там так же обещают «полный цикл работ с командой MWS» с упором на тесты и интеграцию opensource-моделей. Стоит это удовольствие 1,10 рубля за 1 тысячу токенов, что оказалось выше рынка по словам отдельных экспертов.

У самого Яндекса с сентября прошлого года есть AI Studio, которая объединяет нейросети YandexGPT и YandexART, технологии синтеза и распознавания речи, интерактивную среду для обучения нейросетей и другие ML-решения компании. Для интеграции там также доступны и сторонние LLM, но не на выделенных мощностях.

🔤🔤В Яндексе также напомнили, что сами участвуют в развитии opensource. Летом компания открыла исходный код YaFSDP — библиотеки, которая позволяет ускорить обучение больших языковых моделей до 25% и помогает сократить расходы на использование GPU.

Но вообще, конечно, ждём релиза какой-никакой, а открытой версии YandexGPT. Ну а пока наслаждаемся интеграциями с другими моделями: интересно, будут ли нас ждать новые коллаборации, вроде недавнего запуска модели DeepSeek Janus-Pro-7B в Шедевруме?