Навчання важких моделей: чи реально обійтися без топових відеокарт?

Усім привіт!

Останнім часом ми в команді активно експериментуємо з машинним навчанням, і наші робочі станції просто "задихаються". Процес навчання займає дні. Я почав шукати можливості для прискорення. Читаючи різні огляди, я побачив статтю про GPU для ШІ або чому NVIDIA H100 змінює правила гри https://fraza.com/uk/news/370727-gpu-dlja-shi-abo-chomu-nvidia-h100-zminjuje-pravila-gri та зрозумів, що без спеціалізованих прискорювачів серйозні задачі не вирішити. Але купувати таке обладнання у власний офіс — це просто космічні гроші.

Де ви берете потужності для ML-проєктів? Чи є сенс орендувати інстанси з такими відеокартами для невеликої команди?