UPDATE: napisałem ansiblowy playbook do stawiania takiego backupu

Ustanowienie połączenia VPN pomiędzy serwerem a RPI

Restic działa na zasadzie “push” – tzn serwer wysyła backupy, a raspberry musi cały czas na nie nasłuchiwać. Komunikacja pomiędzy rpi a serverem będzie odbywać się przez ssh za pośrednictwem OpenVPN.

Najprościej będzie skorzystać z konfiguracji static-key dla OpenVPN. Na stronie OpenVPN znajduje się poręczny tutorial, który dla mojej przyszłej wygody maksymalnie tutaj streszczę.

Na serwerze:

cd /etc/openvpn/server
openvpn --genkey --secret rpi-to-server.key
cat rpi-to-server.key

Skopiuj zawartość pliku .key do schowka.

Na rpi:

cd /etc/openvpn/client
nano rpi-to-server.key

Wklej klucz skopiowany z serwera.

Utwórz plik tekstowy /etc/openvpn/server/rpi-to-server.conf na serwerze:

dev tun
ifconfig 10.8.5.1 10.8.5.2
secret rpi-to-server.key
keepalive 10 60
ping-timer-rem
persist-tun
persist-key
log-append /var/log/openvpn-rpi.log

Oraz plik tekstowy /etc/openvpn/client/rpi-to-server.conf na rpi (trzeba wstawić tam domenową nazwę serwera):

remote moja.domena.com
dev tun
ifconfig 10.8.5.2 10.8.5.1
secret rpi-to-server.key
keepalive 10 60
ping-timer-rem
persist-tun
persist-key
log-append /var/log/openvpn-yuno.log

Otwórz port 1194 na serwerze:

ufw allow 1194

Następnie na serwerze odpal:

systemctl start openvpn-server@rpi-to-server
systemctl enable openvpn-server@rpi-to-server

Na rpi:

systemctl start openvpn-client@rpi-to-server
systemctl enable openvpn-client@rpi-to-server

Powinno działać pingowanie 10.8.5.1 z rpi i pingowanie 10.8.5.2 z serwera.

Autoryzacja rpi i serwera

Na rpi utworzymy użytkownika, który będzie miał dostęp tylko do katalogu z backupami:

adduser server-backup # utwórz hasło i zapisz je w menedżerze haseł
mkdir /mnt/hdd/Backups/server-backup
cd /mnt/hdd/Backups/server-backup
chown root: .
chmod 755 .
mkdir data
chmod 755 data
chown server-backup: data

Uwaga – każdy z przodków wybranego katalogu (w przykładzie powyżej jest to /mnt/hdd/Backups/server-backup) musi należeć do użytkownika root i mieć prawa dostępu 755

Na serwerze dodaj taką linijkę do /etc/hosts:

10.8.5.2    rpi

Na serwerze wygeneruj klucz ssh bez hasła za pomocą:

$ ssh-keygen -t ed25519 -b 4096 -C "rpi-backup" -f /root/.ssh/rpi-backup -N ""

W pliku ~/.ssh/config na serwerze dodaj:

Host rpi
    User server-backup
    IdentityFile /root/.ssh/rpi-backup

Na serwerze wykonaj:

ssh-copy-id -i /root/.ssh/rpi-backup rpi

I wpisz tam zapisane wcześniej hasło do usera server-backup na rpi.

Na rpi dodaj do pliku /etc/ssh/sshd_config:

Match User server-backup
	ForceCommand internal-sftp
	PasswordAuthentication yes
	ChrootDirectory /mnt/hdd/Backups/server-backup
	PermitTunnel no
	AllowAgentForwarding no
	AllowTcpForwarding no
	X11Forwarding no

I zrestartuj sshd na rpi:

systemctl restart sshd

Aby sprawdzić poprawność autoryzacji, wpisz na serwerze:

ssh rpi

Powinno zwrócić This service allows sftp connections only.

Za to sftp rpi powinno pozwolić Ci listować pliki w zadanym katalogu.

(Jeżeli napotykasz “broken pipe”, zakomentuj linijkę UsePAM yes w konfiguracji sshd na rpi).

Powinieneś zalogować się do sftp-owego shella rpi.

Logika backupów

Utwórz na serwerze plik, który będzie hasłem szyfrującym backup:

dd if=/dev/urandom of=/backup-pwd bs=1k count=1

Wyświetl go w base64 i zachowaj w manadżerze haseł:

base64 < /backup-pwd

Zakładam, że na serwerze jest zainstalowany restic w przyzwoicie świeżej wersji.

Zainicjuj repozytorium na rpi:

restic init --password-file=/backup-pwd -r sftp:server-backup@rpi:data

Następnie przygotujemy skrypt, który będzie przygotowywał pliki do zbackupowania. Idea jest taka, że dumpujemy wszystko co chcemy zbackupować do katalogu /backup albo bierzemy prosto z istniejącego katalogu. Ten skrypt będzie za każdym razem usuwał zawartość katalogu /backup.

W katalogu domowym (lub gdziekolwiek chcesz) na serwerze utwórz plik backup.sh:

#!/bin/bash

REPO=sftp:server-backup@rpi:data
PWD_FILE=/backup-pwd
RESTIC=/usr/bin/restic

echo "Removing current backups..."
rm -fr /backup/*

mkdir -p /backup

####### Prepare data

# tutaj wpychamy dane do zbackupowania do /backup.
# nie musimy ich tu wpychać, jeżeli po prostu są na dysku - wystarczy podać je jako argument do pierwszej komendy w sekcji "Send Backups".
# do /backup najlepiej wgrać artefakty, które nie są aktualnie w backupowalnej postaci na dysku, np. dumpy mysql

# przykłady skryptów backupujących dodałem na końcu, w sekcji "bonusy"

###### Send backups

echo "Sending the backup to the destination..."

# podaj tutaj listę katalogów do zbackupowania. Warto backupować katalog `/etc`.
$RESTIC -r "$REPO"  --password-file=$PWD_FILE backup /backup /etc /var/phabricator-files /etc/nginx/sites  # ... + inne pliki / katalogi

echo "Pruning the backup on the destination..."
# poniższa konfiguracja będzie trzymała backupy z każdego z pięciu ostatnich dni, po jednym backupie dla każdego z ostatnich 10 tygodni, po jednym dla ostatnich 12 miesięcy i po jednym dla ostatnich 100 lat.

$RESTIC -r "$REPO"  --password-file=$PWD_FILE forget --prune  --keep-daily 5 --keep-weekly 10 --keep-monthly 12 --keep-yearly 100

Protip: używaj ścieżek absolutnych do binarek, aby CRON nie miał z nimi problemów

Cron

Pozostaje tylko zautomatyzować wysyłanie backupu:

Na serwerze:

crontab -e

I dodajemy linijkę:

15 3 * * * /root/backup.sh

TODO: opisać, jak otrzymywać powiadomienia email o każdym backupie

Bonusy

Automatyczne czyszczenie starych zcache'owanych mediów na Mastodonie w wersji yunohost:

RAILS_ENV=production /opt/rbenv/shims/ruby /var/www/mastodon/live/bin/tootctl media remove-orphans
RAILS_ENV=production /opt/rbenv/shims/ruby /var/www/mastodon/live/bin/tootctl media remove --days=2

###### Mongo backup example

echo "Dumping mongo..."
mongodump -o /backup/mongo

###### Yunohost backup example

yunohost backup create --no-compress -o /backup


###### Phabricator backup example

echo "Moving files from db to local disk...";
mysql -e "Use  phabricator_file; SELECT id FROM file WHERE storageEngine != 'local-disk' AND byteSize > 2048;" | grep -o -E '[0-9]+' | xargs -P 4 -L 1 -I {} bash -c "/var/www/phabricator/phabricator/bin/files migrate --engine local-disk F{} || exit 0"


echo "Stopping php (and Phabricator...)"
systemctl stop php7.4-fpm

echo "Dumping mysql databases..."
mkdir -p /backup/mysql
mysql -N -e 'show databases' | while read dbname; do mysqldump --complete-insert --routines --triggers --single-transaction "$dbname" > "/backup/mysql/$dbname".sql; done

echo "Starting php (and Phabricator...)"
systemctl start php7.4-fpm

Gdy jest podpięty volumen w katalogu /home i tam najlepiej zgrywać backupy yuno:

TARGET=/home/backup-dir

echo "Removing current backups..."
rm -fr $TARGET*

mkdir -p $TARGET
mkdir -p $TARGET/data
touch $TARGET/.nobackup

####### Yunohost backup
echo "Backing up yunohost..."
BACKUP_CORE_ONLY=1 yunohost backup create --method copy -o $TARGET/data

Backupowanie invidiousa na yunohost jest problematyczne, z uwagi na ten issue. Aby zbackupować wszystkie aplikacje poza invidiousem, można użyć:

APPS=$(yunohost app list | grep -v invidious | grep 'id:' | awk '{print $2}' | tr '\n' ' ' )                                                                                                  
                                                                                                                                                                                              
BACKUP_CORE_ONLY=1 yunohost backup create --method copy -o $TARGET/data --apps $APPS                                                                                                          
                                                                                      

#backup