Запуск великих мовних моделей: де знайти адекватні потужності?

Назарій
Відправлено 11 годин тому в розділ ОСББ, переглянуто 1 раз(-ів)

Усім привіт!

Ми в команді отримали завдання розгорнути власну LLM для внутрішніх потреб компанії, щоб не передавати конфіденційні дані через публічні API. Зіткнулися з проблемою нестачі пам'яті на наших серверах. Читаючи про досвід інших компаній, я знайшов матеріал про те якою має бути інфраструктура для LLM https://nday.te.ua/infrastruktura-dlia-llm-data-tsentry-dlia-ai/ і зрозумів, що без оренди кластерів зі спеціальними прискорювачами нам не обійтися. Звичайні віртуальні машини просто не потягнуть таке навантаження.

Де ви розгортаєте свої ШІ-рішення? Чи користуєтесь ви послугами вітчизняних ЦОДів для таких задач?

Коментарі відсутні.
  • Додайте перший коментар!

Додати коментар
Форум
Будь ласка, увійдіть або зареєструйтесь, щоб залишити коментар!

Розділи
ОСББ

тут обговорюємо питання щодо створення та роботи ОСББ