Архитектура отказоустойчивости: как правильно строить резервное копирование?

Всем привет!

Поймал себя на мысли, что наш текущий подход к сохранению данных напоминает складывание всех яиц в одну корзину. Мы просто копируем файлы на соседний сервер в той же стойке. Если полетит питание или сеть, мы потеряем всё. Я начал разбираться, как это делают в крупных компаниях. Наткнулся на детальную статью про бекап в облаке https://d-art.org.ua/bekap-v-oblake-arkhitektura-otkazoustoichivost-kontrol-riskov/ где рассматриваются вопросы изоляции и контроля рисков. Это заставило меня задуматься о полном изменении нашей архитектуры в пользу удаленных хранилищ.

Какие инструменты вы используете для надежного сохранения данных? Сталкивались ли вы с реальными потерями из-за неправильно настроенных бекапов?