Запуск великих мовних моделей: де знайти адекватні потужності?
Усім привіт!
Ми в команді отримали завдання розгорнути власну LLM для внутрішніх потреб компанії, щоб не передавати конфіденційні дані через публічні API. Зіткнулися з проблемою нестачі пам'яті на наших серверах. Читаючи про досвід інших компаній, я знайшов матеріал про те якою має бути інфраструктура для LLM https://nday.te.ua/infrastruktura-dlia-llm-data-tsentry-dlia-ai/ і зрозумів, що без оренди кластерів зі спеціальними прискорювачами нам не обійтися. Звичайні віртуальні машини просто не потягнуть таке навантаження.
Де ви розгортаєте свої ШІ-рішення? Чи користуєтесь ви послугами вітчизняних ЦОДів для таких задач?
Коментарі відсутні.
Додайте перший коментар!
Додати коментар
Будь ласка, увійдіть або зареєструйтесь, щоб залишити коментар!
Форум
ОСББ
тут обговорюємо питання щодо створення та роботи ОСББ