csc-sync-debian

   1 #! /bin/sh
   2
   3 if [[ $# < 3 ]]; then
   4   echo 'Usage: sync local_dir rsync_host rsync_dir [trace_host [trace_dir]]'
   5   exit 1
   6 fi
   7
   8 set -e
   9
  10 TOP_DIR=/mirror
  11 TO=$TOP_DIR/root/$1
  12 RSYNC_HOST=$2
  13 RSYNC_DIR=$3
  14 if [ $# = 4 ]; then
  15     TRACE_HOST=$4
  16 fi
  17 TRACE_DIR=project/trace
  18 if [ $# = 5 ]; then
  19     TRACE_DIR=$5
  20 fi
  21 LOGDIR=/var/log/mirror/$1_$2
  22 ADDRESS=129.97.134.71
  23
  24 mkdir -p $LOGDIR
  25
  26 # This script originates from http://www.debian.org/mirror/anonftpsync
  27
  28 # CVS: cvs.debian.org:/cvs/webwml - webwml/english/mirror/anonftpsync
  29 # Version: $Id: anonftpsync,v 1.33 2007/09/12 15:19:03 joy Exp $
  30
  31 # Note: You MUST have rsync 2.6.4 or newer, which is available in sarge
  32 # and all newer Debian releases, or at http://rsync.samba.org/
  33
  34 # Don't forget:
  35 # chmod u+x anonftpsync
  36
  37 # Set the variables below to fit your site. You can then use cron to have
  38 # this script run daily to automatically update your copy of the archive.
  39
  40 # TO is the destination for the base of the Debian mirror directory
  41 # (the dir that holds dists/ and ls-lR).
  42 # (mandatory)
  43
  44 #TO=
  45
  46 # RSYNC_HOST is the site you have chosen from the mirrors file.
  47 # (http://www.debian.org/mirror/list-full)
  48 # (mandatory)
  49
  50 #RSYNC_HOST=
  51
  52 # RSYNC_DIR is the directory given in the "Packages over rsync:" line of
  53 # the mirrors file for the site you have chosen to mirror.
  54 # (mandatory)
  55
  56 #RSYNC_DIR=
  57
  58 # LOGDIR is the directory where the logs will be written to
  59 # (mandatory)
  60
  61 #LOGDIR=
  62
  63 # ARCH_EXCLUDE can be used to exclude a complete architecture from
  64 # mirrorring. Please use as space seperated list.
  65 # Possible values are:
  66 # alpha, amd64, arm, hppa, hurd-i386, i386, ia64, m68k, mipsel, mips, powerpc, s390, sh and sparc
  67 #
  68 # There is one special value: source
  69 # This is not an architecture but will exclude all source code in /pool
  70 #
  71 # eg.
  72 # ARCH_EXCLUDE="alpha arm hppa hurd-i386 ia64 m68k mipsel mips s390 sparc"
  73 #
  74 # With a blank ARCH_EXCLUDE you will mirror all available architectures
  75 # (optional)
  76
  77 # EXCLUDE is a list of parameters listing patterns that rsync will exclude, in
  78 # addition to the architectures excluded by ARCH_EXCLUDE.
  79 #
  80 # Use ARCH_EXCLUDE to exclude specific architectures or all sources
  81 #
  82 # --exclude stable, testing, unstable options DON'T remove the packages of
  83 # the given distribution. If you want do so, use debmirror instead.
  84 #
  85 # The following example would exclude mostly everything:
  86 #EXCLUDE="\
  87 #  --exclude stable/ --exclude testing/ --exclude unstable/ \
  88 #  --exclude source/ \
  89 #  --exclude *.orig.tar.gz --exclude *.diff.gz --exclude *.dsc \
  90 #  --exclude /contrib/ --exclude /non-free/ \
  91 # "
  92
  93 # With a blank EXCLUDE you will mirror the entire archive, except the
  94 # architectures excluded by ARCH_EXCLUDE.
  95 # (optional)
  96
  97 EXCLUDE=
  98
  99 # LOCK_TIMEOUT is a timeout in minutes.  Defaults to 360 (6 hours).
 100 # This program creates a lock to ensure that only one copy
 101 # of it is mirroring any one archive at any one time.
 102 # Locks held for longer than the timeout are broken, unless
 103 # a running rsync process appears to be connected to $RSYNC_HOST.
 104
 105 LOCK_TIMEOUT=360
 106
 107 # There should be no need to edit anything below this point, unless there
 108 # are problems.
 109
 110 #-----------------------------------------------------------------------------#
 111
 112 # If you are accessing a rsync server/module which is password-protected,
 113 # uncomment the following lines (and edit the other file).
 114
 115 # . ftpsync.conf
 116 # export RSYNC_PASSWORD
 117 # RSYNC_HOST=$RSYNC_USER@$RSYNC_HOST
 118
 119 #-----------------------------------------------------------------------------#
 120
 121 # Check for some environment variables
 122 if [ -z $TO ] || [ -z $RSYNC_HOST ] || [ -z $RSYNC_DIR ] || [ -z $LOGDIR ]; then
 123         echo "One of the following variables seems to be empty:"
 124         echo "TO, RSYNC_HOST, RSYNC_DIR or LOGDIR"
 125         exit 2
 126 fi
 127
 128 if ! [ -d ${TO}/${TRACE_DIR} ]; then
 129         # we are running mirror script for the first time
 130         umask 002
 131         mkdir -p ${TO}/${TRACE_DIR}
 132 fi
 133
 134 # Note: on some non-Debian systems, hostname doesn't accept -f option.
 135 # If that's the case on your system, make sure hostname prints the full
 136 # hostname, and remove the -f option. If there's no hostname command,
 137 # explicitly replace `hostname -f` with the hostname.
 138
 139 HOSTNAME=`hostname -f`
 140
 141 # The hostname must match the "Site" field written in the list of mirrors.
 142 # If hostname doesn't returns the correct value, fill and uncomment below
 143 HOSTNAME=mirror.csclub.uwaterloo.ca
 144
 145 LOCK="${TO}/Archive-Update-in-Progress-${HOSTNAME}"
 146
 147 # The temp directory used by rsync --delay-updates is not
 148 # world-readable remotely. It must be excluded to avoid errors.
 149 TMP_EXCLUDE="--exclude .~tmp~/"
 150
 151 # Exclude architectures defined in $ARCH_EXCLUDE
 152 for ARCH in $ARCH_EXCLUDE; do
 153         EXCLUDE=$EXCLUDE"\
 154                 --exclude binary-$ARCH/ \
 155                 --exclude disks-$ARCH/ \
 156                 --exclude installer-$ARCH/ \
 157                 --exclude Contents-$ARCH.gz \
 158                 --exclude Contents-$ARCH.diff/ \
 159                 --exclude arch-$ARCH.files \
 160                 --exclude arch-$ARCH.list.gz \
 161                 --exclude *_$ARCH.deb \
 162                 --exclude *_$ARCH.udeb "
 163         if [ "$ARCH" == "source" ]; then
 164                 SOURCE_EXCLUDE="\
 165                 --exclude source/ \
 166                 --exclude *.tar.gz \
 167                 --exclude *.diff.gz \
 168                 --exclude *.dsc "
 169         fi
 170 done
 171
 172 # Logfile
 173 LOGFILE=$LOGDIR/debian-mirror.log
 174
 175 # Get in the right directory and set the umask to be group writable
 176 #
 177 cd $HOME
 178 umask 002
 179
 180 # Check to see if another sync is in progress
 181 if [ -f "$LOCK" ]; then
 182 # Note: this requires the findutils find; for other finds, adjust as necessary
 183   if [ "`find $LOCK -maxdepth 1 -amin -$LOCK_TIMEOUT`" = "" ]; then
 184 # Note: this requires the procps ps; for other ps', adjust as necessary
 185     if ps ax | grep '[r]'sync | grep -q $RSYNC_HOST; then
 186       echo "stale lock found, but a rsync is still running, aiee!"
 187       exit 1
 188     else
 189       echo "stale lock found (not accessed in the last $LOCK_TIMEOUT minutes), forcing update!"
 190       rm -f $LOCK
 191     fi
 192   else
 193     echo "current lock file exists, unable to start rsync!"
 194     exit 1
 195   fi
 196 fi
 197
 198 touch $LOCK
 199 # Note: on some non-Debian systems, trap doesn't accept "exit" as signal
 200 # specification. If that's the case on your system, try using "0".
 201 trap "rm -f $LOCK" exit
 202
 203 set +e
 204
 205 # check if we need to sync
 206 if [[ "$TRACE_HOST" != "" ]]; then
 207     TRACE_FILE=$TO/${TRACE_DIR}/${TRACE_HOST}
 208     TRACE_PRE_DATE=`ls -al $TRACE_FILE`
 209     rsync --recursive --times --verbose \
 210         --address=$ADDRESS \
 211         $RSYNC_HOST::$RSYNC_DIR/${TRACE_DIR}/ \
 212         $TO/${TRACE_DIR}/ >> $LOGFILE 2>&1
 213     TRACE_POST_DATE=`ls -al $TRACE_FILE`
 214     if [ "$TRACE_PRE_DATE" = "$TRACE_POST_DATE" ]; then
 215         echo 'Trace file for' $RSYNC_HOST::$RSYNC_DIR \
 216             'unchanged, not rsyncing.' >> $LOGFILE
 217         exit 0
 218     fi
 219 fi
 220
 221 # First sync /pool
 222 rsync --recursive --links --hard-links --times --verbose \
 223      $TMP_EXCLUDE $EXCLUDE $SOURCE_EXCLUDE \
 224      --address=$ADDRESS \
 225      $RSYNC_HOST::$RSYNC_DIR/pool/ $TO/pool/ >> $LOGFILE 2>&1
 226 result=$?
 227
 228 if [ 0 = $result ]; then
 229         # Now sync the remaining stuff
 230         rsync --recursive --links --hard-links --times --verbose --delay-updates --delete-after \
 231              --exclude "Archive-Update-in-Progress-${HOSTNAME}" \
 232              --exclude "${TRACE_DIR}/${HOSTNAME}" \
 233              --address=$ADDRESS \
 234              $TMP_EXCLUDE $EXCLUDE $SOURCE_EXCLUDE \
 235              $RSYNC_HOST::$RSYNC_DIR $TO >> $LOGFILE 2>&1
 236
 237         mkdir -p ${TO}/${TRACE_DIR}
 238         LANG=C date -u > "${TO}/${TRACE_DIR}/${HOSTNAME}"
 239 else
 240         echo "ERROR: Help, something weird happened" | tee -a $LOGFILE
 241         echo "mirroring /pool exited with exitcode" $result | tee -a $LOGFILE
 242 fi
 243
 244 savelog $LOGFILE >/dev/null
 245
 246 rm $LOCK