Différences

Ci-dessous, les différences entre deux révisions de la page.

--- informatique:rsync [14/03/2021 10:30] – cyrille
+++ informatique:rsync [29/01/2022 14:00] (Version actuelle) – cyrille
@@ Ligne 4: / Ligne 4: @@
   * http://rsync.samba.org/
-  rsync -az remote_user@remote.com:/home/remote_folder/ /home/rsync/from_remote
+Voir aussi:
+  * https://rclone.org
-"''-e ssh''" n'est plus nécessaire
-  rsync -avz -e ssh remote_user@remote.com:/home/remote_folder/ /home/rsync/from_remote
-À noter la présence ou l'absence du slash '/' à la fin du répertoire source qui détermine si c'est le répertoire lui-même qui sera synchronisé (sans le /) ou bien son contenu (avec le /).
 Si l'on veut passer des options à la commande ssh on ajoute des guillemets '"':
+<code bash>
   rsync -avz -e "ssh -i ~/.ssh/une_cle_privee" remote_user@remote.com:/home/remote_folder/ /home/rsync/from_remote
+</code>
+À noter la présence ou l'absence du slash '/' à la fin du répertoire source qui détermine si c'est le répertoire lui-même qui sera synchronisé (sans le /) ou bien son contenu (avec le /).
 Quelques options pour la commande rsync:
@@ Ligne 94: / Ligne 94: @@
 gzip $LOG_FILE
+</code>
+==== Parallelizing rsync ====
+Quand il y a beaucoup de dossiers et fichiers on peut lancer plusieurs ''rsync'' simultanément.
+Le script de https://mjanja.ch/2014/07/parallelizing-rsync/ où l'on trouvera les explications détaillées.
+<code bash>
+#!/usr/bin/env bash
+# borrowed / adapted from: https://wiki.ncsa.illinois.edu/display/~wglick/Parallel+Rsync
+# RSYNC SETUP
+RSYNC_PROG=/usr/bin/rsync
+# note the important use of --relative to use relative paths so we don't have to specify the exact path on dest
+RSYNC_OPTS="-aAXv --numeric-ids --progress --human-readable --delete --exclude=.glusterfs --relative"
+export RSYNC_RSH="ssh -T -c arcfour -o Compression=no -x"
+# ENV SETUP
+SRCDIR=/path/to/good/brick
+DESTDIR=/path/to/bad/brick
+# Recommend to match # of CPUs
+THREADS=4
+BAD_NODE=server1
+cd $SRCDIR
+# COPY
+# note the combination of -print0 and -0!
+find . -mindepth 1 -maxdepth 1 -print0 | \
+    xargs -0 -n1 -P$THREADS -I% \
+        $RSYNC_PROG $RSYNC_OPTS "%" $BAD_NODE:$DESTDIR
 </code>