Add -4 (ipv4) flag.
[public/mirror.git] / csc-sync-debian
1 #! /bin/bash
2
3 if [[ $# < 3 ]]; then
4   echo 'Usage: sync local_dir rsync_host rsync_dir [trace_host [trace_dir]]'
5   exit 1
6 fi
7
8 set -e
9
10 TOP_DIR=/mirror
11 TO=$TOP_DIR/root/$1
12 RSYNC_HOST=$2
13 RSYNC_DIR=$3
14 if [ $# = 4 ]; then
15     TRACE_HOST=$4
16 fi
17 TRACE_DIR=project/trace
18 if [ $# = 5 ]; then
19     TRACE_DIR=$5
20 fi
21 LOGDIR=/var/log/mirror/$1_$2
22 ADDRESS=129.97.134.71
23
24 mkdir -p $LOGDIR
25
26 # This script originates from http://www.debian.org/mirror/anonftpsync
27
28 # CVS: cvs.debian.org:/cvs/webwml - webwml/english/mirror/anonftpsync
29 # Version: $Id: anonftpsync,v 1.33 2007/09/12 15:19:03 joy Exp $ 
30
31 # Note: You MUST have rsync 2.6.4 or newer, which is available in sarge
32 # and all newer Debian releases, or at http://rsync.samba.org/
33
34 # Don't forget:
35 # chmod u+x anonftpsync
36
37 # Set the variables below to fit your site. You can then use cron to have
38 # this script run daily to automatically update your copy of the archive.
39
40 # TO is the destination for the base of the Debian mirror directory
41 # (the dir that holds dists/ and ls-lR).
42 # (mandatory)
43
44 #TO=
45
46 # RSYNC_HOST is the site you have chosen from the mirrors file.
47 # (http://www.debian.org/mirror/list-full)
48 # (mandatory)
49
50 #RSYNC_HOST=
51
52 # RSYNC_DIR is the directory given in the "Packages over rsync:" line of
53 # the mirrors file for the site you have chosen to mirror.
54 # (mandatory)
55
56 #RSYNC_DIR=
57
58 # LOGDIR is the directory where the logs will be written to
59 # (mandatory)
60
61 #LOGDIR=
62
63 # ARCH_EXCLUDE can be used to exclude a complete architecture from
64 # mirrorring. Please use as space seperated list.
65 # Possible values are:
66 # alpha, amd64, arm, hppa, hurd-i386, i386, ia64, m68k, mipsel, mips, powerpc, s390, sh and sparc
67 #
68 # There is one special value: source
69 # This is not an architecture but will exclude all source code in /pool
70 #
71 # eg.
72 # ARCH_EXCLUDE="alpha arm hppa hurd-i386 ia64 m68k mipsel mips s390 sparc"
73
74 # With a blank ARCH_EXCLUDE you will mirror all available architectures
75 # (optional)
76
77 # EXCLUDE is a list of parameters listing patterns that rsync will exclude, in
78 # addition to the architectures excluded by ARCH_EXCLUDE.
79 #
80 # Use ARCH_EXCLUDE to exclude specific architectures or all sources
81 #
82 # --exclude stable, testing, unstable options DON'T remove the packages of
83 # the given distribution. If you want do so, use debmirror instead.
84 #
85 # The following example would exclude mostly everything:
86 #EXCLUDE="\
87 #  --exclude stable/ --exclude testing/ --exclude unstable/ \
88 #  --exclude source/ \
89 #  --exclude *.orig.tar.gz --exclude *.diff.gz --exclude *.dsc \
90 #  --exclude /contrib/ --exclude /non-free/ \
91 # "
92
93 # With a blank EXCLUDE you will mirror the entire archive, except the
94 # architectures excluded by ARCH_EXCLUDE.
95 # (optional)
96
97 EXCLUDE=
98
99 # LOCK_TIMEOUT is a timeout in minutes.  Defaults to 360 (6 hours).
100 # This program creates a lock to ensure that only one copy
101 # of it is mirroring any one archive at any one time.
102 # Locks held for longer than the timeout are broken, unless
103 # a running rsync process appears to be connected to $RSYNC_HOST.
104
105 LOCK_TIMEOUT=360
106
107 # There should be no need to edit anything below this point, unless there
108 # are problems.
109
110 #-----------------------------------------------------------------------------#
111
112 # If you are accessing a rsync server/module which is password-protected,
113 # uncomment the following lines (and edit the other file).
114
115 # . ftpsync.conf
116 # export RSYNC_PASSWORD
117 # RSYNC_HOST=$RSYNC_USER@$RSYNC_HOST
118
119 #-----------------------------------------------------------------------------#
120
121 # Check for some environment variables
122 if [ -z $TO ] || [ -z $RSYNC_HOST ] || [ -z $RSYNC_DIR ] || [ -z $LOGDIR ]; then
123         echo "One of the following variables seems to be empty:"
124         echo "TO, RSYNC_HOST, RSYNC_DIR or LOGDIR"
125         exit 2
126 fi
127
128 if ! [ -d ${TO}/${TRACE_DIR} ]; then
129         # we are running mirror script for the first time
130         umask 002
131         mkdir -p ${TO}/${TRACE_DIR}
132 fi
133
134 # Note: on some non-Debian systems, hostname doesn't accept -f option.
135 # If that's the case on your system, make sure hostname prints the full
136 # hostname, and remove the -f option. If there's no hostname command,
137 # explicitly replace `hostname -f` with the hostname.
138
139 HOSTNAME=`hostname -f`
140
141 # The hostname must match the "Site" field written in the list of mirrors.
142 # If hostname doesn't returns the correct value, fill and uncomment below 
143 HOSTNAME=mirror.csclub.uwaterloo.ca
144  
145 LOCK="${TO}/Archive-Update-in-Progress-${HOSTNAME}"
146
147 # The temp directory used by rsync --delay-updates is not
148 # world-readable remotely. It must be excluded to avoid errors. 
149 TMP_EXCLUDE="--exclude .~tmp~/"
150
151 # Exclude architectures defined in $ARCH_EXCLUDE
152 for ARCH in $ARCH_EXCLUDE; do
153         EXCLUDE=$EXCLUDE"\
154                 --exclude binary-$ARCH/ \
155                 --exclude disks-$ARCH/ \
156                 --exclude installer-$ARCH/ \
157                 --exclude Contents-$ARCH.gz \
158                 --exclude Contents-$ARCH.diff/ \
159                 --exclude arch-$ARCH.files \
160                 --exclude arch-$ARCH.list.gz \
161                 --exclude *_$ARCH.deb \
162                 --exclude *_$ARCH.udeb "
163         if [ "$ARCH" == "source" ]; then
164                 SOURCE_EXCLUDE="\
165                 --exclude source/ \
166                 --exclude *.tar.gz \
167                 --exclude *.diff.gz \
168                 --exclude *.dsc "
169         fi
170 done
171
172 # Logfile
173 LOGFILE=$LOGDIR/mirror.log
174
175 # Get in the right directory and set the umask to be group writable
176
177 cd $HOME
178 umask 002
179
180 # Check to see if another sync is in progress
181 if [ -f "$LOCK" ]; then
182 # Note: this requires the findutils find; for other finds, adjust as necessary
183   if [ "`find $LOCK -maxdepth 1 -amin -$LOCK_TIMEOUT`" = "" ]; then
184 # Note: this requires the procps ps; for other ps', adjust as necessary
185     if ps ax | grep '[r]'sync | grep -q $RSYNC_HOST; then
186       echo "stale lock found, but a rsync is still running, aiee!" >&2
187       exit 1
188     else
189       echo "stale lock found (not accessed in the last $LOCK_TIMEOUT minutes), forcing update!"
190       rm -f $LOCK
191     fi
192   else
193     echo "current lock file exists, unable to start rsync!"
194     exit 1
195   fi
196 fi
197
198 touch $LOCK
199 # Note: on some non-Debian systems, trap doesn't accept "exit" as signal
200 # specification. If that's the case on your system, try using "0".
201 trap "rm -f $LOCK" exit
202
203 set +e
204
205 # check if we need to sync
206 if [[ "$TRACE_HOST" != "" ]]; then
207     TRACE_OLD_TIME=`stat -c%Y $TO/$TRACE_DIR/$TRACE_HOST 2> /dev/null`
208     TRACE_NEW_FILE=/tmp/$RSYNC_HOST_$RSYNC_DIR_$RANDOM
209     nice rsync -tv -4 --address=$ADDRESS \
210         $RSYNC_HOST::$RSYNC_DIR/$TRACE_DIR/$TRACE_HOST \
211         $TRACE_NEW_FILE >> $LOGFILE 2>&1
212     TRACE_NEW_TIME=`stat -c%Y $TRACE_NEW_FILE`
213     rm -f $TRACE_NEW_FILE
214     if [ "$TRACE_OLD_TIME" = "$TRACE_NEW_TIME" ]; then
215         echo 'Trace file for' $RSYNC_HOST::$RSYNC_DIR \
216             'unchanged, not rsyncing.' >> $LOGFILE
217         exit 0
218     fi
219 fi
220
221 # First sync /pool
222 nice rsync -rlHtv \
223      $TMP_EXCLUDE $EXCLUDE $SOURCE_EXCLUDE \
224      --timeout=3600 -4 --address=$ADDRESS \
225      $RSYNC_HOST::$RSYNC_DIR/pool/ $TO/pool/ >> $LOGFILE 2>&1
226 result=$?
227
228 if [ 0 = $result ]; then
229         # Now sync the remaining stuff
230         nice rsync -rlHtv --delay-updates --delete-after \
231              --exclude "Archive-Update-in-Progress-${HOSTNAME}" \
232              --exclude "${TRACE_DIR}/${HOSTNAME}" \
233              --timeout=3600 -4 --address=$ADDRESS \
234              $TMP_EXCLUDE $EXCLUDE $SOURCE_EXCLUDE \
235              $RSYNC_HOST::$RSYNC_DIR $TO >> $LOGFILE 2>&1
236
237         mkdir -p ${TO}/${TRACE_DIR}
238         LANG=C date -u > "${TO}/${TRACE_DIR}/${HOSTNAME}"
239 else
240         echo "ERROR: Help, something weird happened" | tee -a $LOGFILE
241         echo "mirroring /pool exited with exitcode" $result | tee -a $LOGFILE
242 fi
243
244 savelog $LOGFILE >/dev/null
245
246 rm $LOCK