Files
Backups_serveurs/backups_ollama.sh
2025-08-14 05:58:17 +00:00

573 lines
19 KiB
Bash

#!/bin/bash
# Script de sauvegarde Ollama + WebUI vers partage Samba via rsync
# Auteur: Script généré par Claude
# Date: $(date +%Y-%m-%d)
set -euo pipefail
# =============================================================================
# CONFIGURATION
# =============================================================================
# Configuration Ollama
OLLAMA_HOME="/usr/share/ollama"
OLLAMA_DATA_DIR="/var/lib/ollama"
OLLAMA_MODELS_DIR="/usr/share/ollama/.ollama/models"
OLLAMA_CONFIG_DIR="/etc/ollama"
OLLAMA_USER="ollama"
OLLAMA_SERVICE="ollama"
# Configuration WebUI (Open WebUI / Ollama WebUI)
WEBUI_DATA_DIR="/opt/open-webui"
WEBUI_CONFIG_DIR="/etc/open-webui"
WEBUI_DATABASE_DIR="/opt/open-webui/data"
WEBUI_UPLOADS_DIR="/opt/open-webui/data/uploads"
WEBUI_SERVICE="open-webui"
WEBUI_USER="webui"
# Chemins alternatifs courants pour WebUI (Docker)
DOCKER_WEBUI_VOLUME="open-webui"
DOCKER_COMPOSE_DIR="/opt/open-webui"
# Configuration du partage Samba
SAMBA_SERVER="192.168.77.230"
SAMBA_SHARE="/srv/samba/partage"
SAMBA_USER="backup_user" # À adapter selon votre configuration
# Configuration SSH
SSH_KEY_PATH="$HOME/.ssh/ollama_backup_ed25519"
SSH_OPTIONS="-o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null -o LogLevel=ERROR"
# Configuration de sauvegarde
BACKUP_BASE_DIR="/tmp/ollama_webui_backup_$(date +%Y%m%d_%H%M%S)"
REMOTE_BACKUP_DIR="ollama_webui_backups"
LOG_FILE="/var/log/ollama_webui_backup.log"
RETENTION_DAYS=30
# Options de sauvegarde
BACKUP_MODELS=true # Sauvegarder les modèles (peut être volumineux)
BACKUP_CONVERSATIONS=true # Sauvegarder les conversations WebUI
BACKUP_SETTINGS=true # Sauvegarder les paramètres et configurations
COMPRESS_MODELS=true # Compresser les modèles pour économiser l'espace
# =============================================================================
# FONCTIONS UTILITAIRES
# =============================================================================
log() {
echo "[$(date '+%Y-%m-%d %H:%M:%S')] $1" | tee -a "$LOG_FILE"
}
error_exit() {
log "ERREUR: $1"
exit 1
}
check_root() {
if [[ $EUID -ne 0 ]]; then
error_exit "Ce script doit être exécuté en tant que root"
fi
}
check_command() {
if ! command -v "$1" &> /dev/null; then
return 1
fi
return 0
}
# =============================================================================
# INSTALLATION DES DÉPENDANCES
# =============================================================================
install_dependencies() {
log "Vérification et installation des dépendances..."
# Détecter la distribution
if [[ -f /etc/debian_version ]]; then
DISTRO="debian"
PKG_MANAGER="apt-get"
PACKAGES="rsync samba-client cifs-utils openssh-client docker.io docker-compose jq sqlite3 gzip"
elif [[ -f /etc/redhat-release ]]; then
DISTRO="redhat"
PKG_MANAGER="yum"
PACKAGES="rsync cifs-utils openssh-clients docker docker-compose jq sqlite gzip"
else
error_exit "Distribution non supportée"
fi
log "Distribution détectée: $DISTRO"
# Mise à jour du cache des paquets
if [[ "$DISTRO" == "debian" ]]; then
apt-get update -qq
fi
# Installation des paquets manquants
for package in $PACKAGES; do
if [[ "$DISTRO" == "debian" ]]; then
if ! dpkg -l | grep -q "^ii $package "; then
log "Installation de $package..."
apt-get install -y -qq "$package" || log "Impossible d'installer $package (peut-être optionnel)"
else
log "$package est déjà installé"
fi
elif [[ "$DISTRO" == "redhat" ]]; then
if ! rpm -q "$package" >/dev/null 2>&1; then
log "Installation de $package..."
yum install -y "$package" || log "Impossible d'installer $package (peut-être optionnel)"
else
log "$package est déjà installé"
fi
fi
done
}
# =============================================================================
# GESTION DES CERTIFICATS SSH
# =============================================================================
setup_ssh_key() {
log "Configuration de la clé SSH ED25519..."
if [[ ! -f "$SSH_KEY_PATH" ]]; then
log "Création de la clé SSH ED25519..."
ssh-keygen -t ed25519 -f "$SSH_KEY_PATH" -N "" -C "ollama-webui-backup-$(hostname)"
chmod 600 "$SSH_KEY_PATH"
chmod 644 "${SSH_KEY_PATH}.pub"
log "Clé SSH créée: $SSH_KEY_PATH"
log "Clé publique: ${SSH_KEY_PATH}.pub"
echo
log "IMPORTANT: Vous devez copier cette clé publique sur le serveur distant:"
log "=========================================="
cat "${SSH_KEY_PATH}.pub"
log "=========================================="
echo
log "Commande pour copier la clé sur le serveur distant:"
log "ssh-copy-id -i $SSH_KEY_PATH ${SAMBA_USER}@${SAMBA_SERVER}"
echo
read -p "Appuyez sur Entrée une fois la clé configurée sur le serveur distant..."
else
log "Clé SSH existante trouvée: $SSH_KEY_PATH"
fi
}
test_ssh_connection() {
log "Test de la connexion SSH..."
if ssh -i "$SSH_KEY_PATH" $SSH_OPTIONS "${SAMBA_USER}@${SAMBA_SERVER}" "echo 'Connexion SSH réussie'" 2>/dev/null; then
log "Connexion SSH: OK"
else
error_exit "Impossible de se connecter via SSH. Vérifiez la configuration de la clé."
fi
}
# =============================================================================
# DÉTECTION DE L'ENVIRONNEMENT
# =============================================================================
detect_environment() {
log "Détection de l'environnement Ollama et WebUI..."
# Détection d'Ollama
OLLAMA_INSTALL_TYPE="none"
if systemctl is-enabled "$OLLAMA_SERVICE" >/dev/null 2>&1; then
OLLAMA_INSTALL_TYPE="systemd"
log "Ollama détecté: installation systemd"
elif check_command ollama; then
OLLAMA_INSTALL_TYPE="binary"
log "Ollama détecté: installation binaire"
elif docker ps --format "table {{.Names}}" | grep -q ollama; then
OLLAMA_INSTALL_TYPE="docker"
log "Ollama détecté: conteneur Docker"
else
log "ATTENTION: Ollama non détecté"
fi
# Détection du WebUI
WEBUI_INSTALL_TYPE="none"
if systemctl is-enabled "$WEBUI_SERVICE" >/dev/null 2>&1; then
WEBUI_INSTALL_TYPE="systemd"
log "WebUI détecté: installation systemd"
elif docker ps --format "table {{.Names}}" | grep -q -E "(webui|open-webui)"; then
WEBUI_INSTALL_TYPE="docker"
log "WebUI détecté: conteneur Docker"
elif [[ -d "$DOCKER_COMPOSE_DIR" ]]; then
WEBUI_INSTALL_TYPE="docker-compose"
log "WebUI détecté: Docker Compose"
else
log "ATTENTION: WebUI non détecté"
fi
# Adaptation des chemins selon l'environnement
if [[ "$OLLAMA_INSTALL_TYPE" == "docker" ]]; then
OLLAMA_DATA_DIR="/var/lib/docker/volumes/ollama/_data"
OLLAMA_MODELS_DIR="$OLLAMA_DATA_DIR/models"
fi
if [[ "$WEBUI_INSTALL_TYPE" == "docker" ]]; then
WEBUI_DATA_DIR="/var/lib/docker/volumes/${DOCKER_WEBUI_VOLUME}/_data"
WEBUI_DATABASE_DIR="$WEBUI_DATA_DIR"
fi
}
# =============================================================================
# GESTION DES SERVICES
# =============================================================================
stop_services() {
log "Arrêt des services..."
OLLAMA_WAS_RUNNING=false
WEBUI_WAS_RUNNING=false
# Arrêt d'Ollama
case "$OLLAMA_INSTALL_TYPE" in
"systemd")
if systemctl is-active --quiet "$OLLAMA_SERVICE"; then
systemctl stop "$OLLAMA_SERVICE"
OLLAMA_WAS_RUNNING=true
log "Service Ollama arrêté"
fi
;;
"docker")
if docker ps -q -f name=ollama | grep -q .; then
docker stop ollama >/dev/null 2>&1
OLLAMA_WAS_RUNNING=true
log "Conteneur Ollama arrêté"
fi
;;
esac
# Arrêt du WebUI
case "$WEBUI_INSTALL_TYPE" in
"systemd")
if systemctl is-active --quiet "$WEBUI_SERVICE"; then
systemctl stop "$WEBUI_SERVICE"
WEBUI_WAS_RUNNING=true
log "Service WebUI arrêté"
fi
;;
"docker")
if docker ps -q -f name=webui | grep -q .; then
docker stop webui >/dev/null 2>&1 || docker stop open-webui >/dev/null 2>&1
WEBUI_WAS_RUNNING=true
log "Conteneur WebUI arrêté"
fi
;;
"docker-compose")
if [[ -f "$DOCKER_COMPOSE_DIR/docker-compose.yml" ]]; then
cd "$DOCKER_COMPOSE_DIR"
docker-compose stop >/dev/null 2>&1
WEBUI_WAS_RUNNING=true
log "Services Docker Compose arrêtés"
fi
;;
esac
}
start_services() {
log "Redémarrage des services..."
# Redémarrage d'Ollama
if [[ "$OLLAMA_WAS_RUNNING" == "true" ]]; then
case "$OLLAMA_INSTALL_TYPE" in
"systemd")
systemctl start "$OLLAMA_SERVICE"
log "Service Ollama redémarré"
;;
"docker")
docker start ollama >/dev/null 2>&1
log "Conteneur Ollama redémarré"
;;
esac
fi
# Redémarrage du WebUI
if [[ "$WEBUI_WAS_RUNNING" == "true" ]]; then
case "$WEBUI_INSTALL_TYPE" in
"systemd")
systemctl start "$WEBUI_SERVICE"
log "Service WebUI redémarré"
;;
"docker")
docker start webui >/dev/null 2>&1 || docker start open-webui >/dev/null 2>&1
log "Conteneur WebUI redémarré"
;;
"docker-compose")
if [[ -f "$DOCKER_COMPOSE_DIR/docker-compose.yml" ]]; then
cd "$DOCKER_COMPOSE_DIR"
docker-compose start >/dev/null 2>&1
log "Services Docker Compose redémarrés"
fi
;;
esac
fi
}
# =============================================================================
# FONCTIONS DE SAUVEGARDE
# =============================================================================
create_backup_structure() {
log "Création de la structure de sauvegarde: $BACKUP_BASE_DIR"
mkdir -p "$BACKUP_BASE_DIR"/{ollama,webui,metadata}
}
backup_ollama() {
log "Sauvegarde d'Ollama..."
# Sauvegarde des données Ollama
if [[ -d "$OLLAMA_DATA_DIR" && "$BACKUP_SETTINGS" == "true" ]]; then
log "Sauvegarde des données Ollama..."
rsync -av --progress "$OLLAMA_DATA_DIR/" "$BACKUP_BASE_DIR/ollama/data/" \
--exclude="models" --exclude="*.log"
fi
# Sauvegarde des modèles
if [[ "$BACKUP_MODELS" == "true" && -d "$OLLAMA_MODELS_DIR" ]]; then
log "Sauvegarde des modèles Ollama..."
if [[ "$COMPRESS_MODELS" == "true" ]]; then
log "Compression des modèles en cours..."
tar -czf "$BACKUP_BASE_DIR/ollama/models.tar.gz" -C "$(dirname "$OLLAMA_MODELS_DIR")" "$(basename "$OLLAMA_MODELS_DIR")"
else
rsync -av --progress "$OLLAMA_MODELS_DIR/" "$BACKUP_BASE_DIR/ollama/models/"
fi
fi
# Sauvegarde de la configuration
if [[ -d "$OLLAMA_CONFIG_DIR" && "$BACKUP_SETTINGS" == "true" ]]; then
log "Sauvegarde de la configuration Ollama..."
rsync -av --progress "$OLLAMA_CONFIG_DIR/" "$BACKUP_BASE_DIR/ollama/config/"
fi
# Liste des modèles installés
if check_command ollama; then
log "Création de la liste des modèles installés..."
ollama list > "$BACKUP_BASE_DIR/ollama/installed_models.txt" 2>/dev/null || true
fi
}
backup_webui() {
log "Sauvegarde du WebUI..."
# Sauvegarde des données WebUI
if [[ -d "$WEBUI_DATA_DIR" && "$BACKUP_CONVERSATIONS" == "true" ]]; then
log "Sauvegarde des données WebUI..."
rsync -av --progress "$WEBUI_DATA_DIR/" "$BACKUP_BASE_DIR/webui/data/" \
--exclude="*.log" --exclude="cache"
fi
# Sauvegarde de la base de données
if [[ -f "$WEBUI_DATABASE_DIR/webui.db" ]]; then
log "Sauvegarde de la base de données WebUI..."
cp "$WEBUI_DATABASE_DIR/webui.db" "$BACKUP_BASE_DIR/webui/webui.db"
# Export des conversations en JSON si sqlite3 est disponible
if check_command sqlite3; then
log "Export des conversations en JSON..."
sqlite3 "$WEBUI_DATABASE_DIR/webui.db" \
".mode json" \
".output $BACKUP_BASE_DIR/webui/conversations_export.json" \
"SELECT * FROM chat;" 2>/dev/null || true
fi
fi
# Sauvegarde des uploads/fichiers
if [[ -d "$WEBUI_UPLOADS_DIR" ]]; then
log "Sauvegarde des fichiers uploadés..."
rsync -av --progress "$WEBUI_UPLOADS_DIR/" "$BACKUP_BASE_DIR/webui/uploads/"
fi
# Sauvegarde de la configuration WebUI
if [[ -d "$WEBUI_CONFIG_DIR" && "$BACKUP_SETTINGS" == "true" ]]; then
log "Sauvegarde de la configuration WebUI..."
rsync -av --progress "$WEBUI_CONFIG_DIR/" "$BACKUP_BASE_DIR/webui/config/"
fi
# Sauvegarde des fichiers Docker Compose si applicable
if [[ "$WEBUI_INSTALL_TYPE" == "docker-compose" && -d "$DOCKER_COMPOSE_DIR" ]]; then
log "Sauvegarde de la configuration Docker Compose..."
rsync -av --progress "$DOCKER_COMPOSE_DIR/" "$BACKUP_BASE_DIR/webui/docker-compose/" \
--include="*.yml" --include="*.yaml" --include="*.env" --exclude="*"
fi
}
create_metadata() {
log "Création des métadonnées de sauvegarde..."
# Informations système
cat > "$BACKUP_BASE_DIR/metadata/system_info.txt" << EOF
Sauvegarde Ollama + WebUI
=========================
Date: $(date)
Serveur: $(hostname)
Version script: 1.0
Utilisateur: $(whoami)
Environnement détecté:
- Ollama: $OLLAMA_INSTALL_TYPE
- WebUI: $WEBUI_INSTALL_TYPE
Répertoires sauvegardés:
- Ollama Data: $OLLAMA_DATA_DIR
- Ollama Models: $OLLAMA_MODELS_DIR
- WebUI Data: $WEBUI_DATA_DIR
- WebUI Database: $WEBUI_DATABASE_DIR
Options de sauvegarde:
- Modèles: $BACKUP_MODELS
- Conversations: $BACKUP_CONVERSATIONS
- Paramètres: $BACKUP_SETTINGS
- Compression modèles: $COMPRESS_MODELS
EOF
# Informations sur les services Docker si applicable
if check_command docker; then
log "Sauvegarde des informations Docker..."
docker ps -a --format "table {{.Names}}\t{{.Image}}\t{{.Status}}" > "$BACKUP_BASE_DIR/metadata/docker_containers.txt" 2>/dev/null || true
docker images --format "table {{.Repository}}\t{{.Tag}}\t{{.Size}}" > "$BACKUP_BASE_DIR/metadata/docker_images.txt" 2>/dev/null || true
fi
# Taille de la sauvegarde
BACKUP_SIZE=$(du -sh "$BACKUP_BASE_DIR" | cut -f1)
echo "Taille totale de la sauvegarde: $BACKUP_SIZE" >> "$BACKUP_BASE_DIR/metadata/system_info.txt"
log "Sauvegarde locale créée dans: $BACKUP_BASE_DIR (Taille: $BACKUP_SIZE)"
}
sync_to_remote() {
log "Synchronisation vers le serveur distant..."
# Création du répertoire distant si nécessaire
ssh -i "$SSH_KEY_PATH" $SSH_OPTIONS "${SAMBA_USER}@${SAMBA_SERVER}" \
"mkdir -p ${SAMBA_SHARE}/${REMOTE_BACKUP_DIR}/$(date +%Y/%m)"
# Synchronisation des fichiers
REMOTE_PATH="${SAMBA_USER}@${SAMBA_SERVER}:${SAMBA_SHARE}/${REMOTE_BACKUP_DIR}/$(date +%Y/%m)/ollama_webui_backup_$(date +%Y%m%d_%H%M%S)/"
log "Envoi vers: $REMOTE_PATH"
rsync -avz --progress --delete \
-e "ssh -i $SSH_KEY_PATH $SSH_OPTIONS" \
"$BACKUP_BASE_DIR/" \
"$REMOTE_PATH"
log "Synchronisation terminée"
}
cleanup_local() {
log "Nettoyage des fichiers temporaires..."
if [[ -d "$BACKUP_BASE_DIR" ]]; then
rm -rf "$BACKUP_BASE_DIR"
log "Répertoire temporaire supprimé: $BACKUP_BASE_DIR"
fi
}
cleanup_remote() {
log "Nettoyage des anciennes sauvegardes (plus de $RETENTION_DAYS jours)..."
ssh -i "$SSH_KEY_PATH" $SSH_OPTIONS "${SAMBA_USER}@${SAMBA_SERVER}" \
"find ${SAMBA_SHARE}/${REMOTE_BACKUP_DIR} -type d -name 'ollama_webui_backup_*' -mtime +${RETENTION_DAYS} -exec rm -rf {} + 2>/dev/null || true"
log "Nettoyage des anciennes sauvegardes terminé"
}
# =============================================================================
# FONCTION PRINCIPALE
# =============================================================================
main() {
log "=== DÉBUT DE LA SAUVEGARDE OLLAMA + WEBUI ==="
# Vérifications préliminaires
check_root
# Installation des dépendances
install_dependencies
# Configuration SSH
setup_ssh_key
test_ssh_connection
# Détection de l'environnement
detect_environment
# Variables pour suivre l'état des services
OLLAMA_WAS_RUNNING=false
WEBUI_WAS_RUNNING=false
# Gestion des erreurs avec nettoyage
trap 'cleanup_local; start_services' EXIT ERR
# Arrêt des services pour une sauvegarde cohérente
stop_services
# Création de la structure de sauvegarde
create_backup_structure
# Sauvegarde d'Ollama
backup_ollama
# Sauvegarde du WebUI
backup_webui
# Création des métadonnées
create_metadata
# Redémarrage des services dès que possible
start_services
# Synchronisation vers le serveur distant
sync_to_remote
# Nettoyage
cleanup_remote
cleanup_local
log "=== SAUVEGARDE OLLAMA + WEBUI TERMINÉE AVEC SUCCÈS ==="
}
# =============================================================================
# POINT D'ENTRÉE
# =============================================================================
# Vérification des arguments pour les options avancées
while [[ $# -gt 0 ]]; do
case $1 in
--no-models)
BACKUP_MODELS=false
log "Option: Sauvegarde des modèles désactivée"
shift
;;
--no-conversations)
BACKUP_CONVERSATIONS=false
log "Option: Sauvegarde des conversations désactivée"
shift
;;
--no-compression)
COMPRESS_MODELS=false
log "Option: Compression des modèles désactivée"
shift
;;
--help)
echo "Usage: $0 [OPTIONS]"
echo "Options:"
echo " --no-models Ne pas sauvegarder les modèles Ollama"
echo " --no-conversations Ne pas sauvegarder les conversations WebUI"
echo " --no-compression Ne pas compresser les modèles"
echo " --help Afficher cette aide"
exit 0
;;
*)
error_exit "Option inconnue: $1"
;;
esac
done
# Création du fichier de log si nécessaire
mkdir -p "$(dirname "$LOG_FILE")"
touch "$LOG_FILE"
# Lancement du script principal
main "$@"