miscellaneous updates
authorJeremy Brandon Roman <jbroman@csclub.uwaterloo.ca>
Sun, 7 Mar 2010 17:21:40 +0000 (12:21 -0500)
committerJeremy Brandon Roman <jbroman@csclub.uwaterloo.ca>
Sun, 7 Mar 2010 17:21:40 +0000 (12:21 -0500)
crontab
csc-sync-debian-cd
csc-sync-standard
include/HEADER.shtml
make-torrents
rtorrent.rc

diff --git a/crontab b/crontab
index 6196831..39cb730 100644 (file)
--- a/crontab
+++ b/crontab
@@ -1,14 +1,17 @@
-# m h    dom mon dow command
-  0 *    *   *   *   ~/bin/csc-sync-debian debian gulus.usherbrooke.ca debian ftp-master.debian.org
-  0 *    *   *   *   ~/bin/csc-sync-debian debian-multimedia mirror.home-dn.net debian-multimedia roxane.home-dn.net
-  0 *    *   *   *   ~/bin/csc-sync-debian debian-backports www.backports.org backports.org www.backports.org
-  0 *    *   *   *   ~/bin/csc-sync-debian debian-volatile volatile.debian.org debian-volatile volatile-master.debian.net
-  0 *    *   *   *   ~/bin/csc-sync-debian debian-security security.debian.org debian-security security-master.debian.org
-  0 *    *   *   *   ~/bin/csc-sync-debian debian-unofficial ftp.debian-unofficial.org debian ftp-master.debian-unofficial.org
-  0 0    *   *   *   ~/bin/csc-sync-debian emdebian www.emdebian.org emdebian
-  0 *    *   *   *   ~/bin/csc-sync-debian ubuntu archive.ubuntu.com ubuntu drescher.canonical.com
-  0 */12 *   *   *   ~/bin/csc-sync-standard gobuntu-releases cdimage.ubuntu.com cdimage/gobuntu/releases/
-  0 */12 *   *   *   ~/bin/csc-sync-standard ubuntu-releases releases.ubuntu.com releases
-  0 */12 *   *   *   ~/bin/csc-sync-standard xubuntu-releases cdimage.ubuntu.com cdimage/xubuntu/releases/
-  0 */12 *   *   *   ~/bin/csc-sync-standard CPAN rsync.nic.funet.fi CPAN
-  0 */12 *   *   *   ~/bin/csc-sync-standard openoffice ftp.ussg.iu.edu openoffice
+# m  h     dom mon dow command
+
+# make torrents
+  */10 *  *   *   *     /home/mirror/bin/make-torrents > /dev/null 2> /dev/null
+
+# These rsync cron jobs are now run by a small script a2brenna wrote
+# that works a bit more intelligently than cron. For one thing, it
+# won't kick off a sync when one's already running. Please see
+# ~mirror/merlin.
+#  -- mspang
+
+# regenerate mirror index at 5:40 am on 14th & 28th of every month
+# feel free to run this manually if you've added or removed an
+# archive or some such thing
+#
+# Documented here: http://wiki.csclub.uwaterloo.ca/Mirror#Index
+40  5  */14  *  *    cd /home/mirror/mirror-index && /home/mirror/mirror-index/make-index.py
index 5147832..11abcbc 100755 (executable)
@@ -94,7 +94,11 @@ set +e
 
 # Now sync the remaining stuff
 nice rsync -rlHtv --delete \
-     --include='*businesscard*.iso' --include='*netinst*.iso' \
+     --include='*-businesscard.iso' \
+     --include='*-netinst.iso' \
+     --include='*-CD-1.iso' \
+     --include='*-amd64-DVD-1.iso' \
+     --include='*-i386-DVD-1.iso' \
      --exclude='*.iso' --timeout=3600 -4 --address=$ADDRESS $TMP_EXCLUDE \
      --exclude "Archive-Update-in-Progress-${HOSTNAME}" \
      $RSYNC_HOST::$RSYNC_DIR $TO >> $LOGFILE 2>&1
index 1aa2be5..e1ad951 100755 (executable)
-#! /bin/bash
+#!/bin/bash -e
 
 if [ $# -lt 3 ]; then
   echo 'Usage: sync local_dir rsync_host rsync_dir'
   exit 1
 fi
 
-set -e
+umask 002
 
-TOP_DIR=/mirror
-TO=$TOP_DIR/root/$1
+TO=/mirror/root/$1
 RSYNC_HOST=$2
 RSYNC_DIR=$3
-LOGDIR=/var/log/mirror/$1_$2
-ADDRESS=129.97.134.71
-EXTRA=$4
-
-mkdir -p $LOGDIR
-
-# LOCK_TIMEOUT is a timeout in minutes.  Defaults to 360 (6 hours).
-# This program creates a lock to ensure that only one copy
-# of it is mirroring any one archive at any one time.
-# Locks held for longer than the timeout are broken, unless
-# a running rsync process appears to be connected to $RSYNC_HOST.
-
-LOCK_TIMEOUT=360
-
-# There should be no need to edit anything below this point, unless there
-# are problems.
-
-#-----------------------------------------------------------------------------#
-
-# If you are accessing a rsync server/module which is password-protected,
-# uncomment the following lines (and edit the other file).
-
-# . ftpsync.conf
-export RSYNC_PASSWORD
-if [[ "$RSYNC_USER" != "" ]]; then
-    RSYNC_HOST=$RSYNC_USER@$RSYNC_HOST
-fi
-
-#-----------------------------------------------------------------------------#
-
-# Check for some environment variables
-if [ -z $TO ] || [ -z $RSYNC_HOST ] || [ -z $RSYNC_DIR ] || [ -z $LOGDIR ]; then
-       echo "One of the following variables seems to be empty:"
-       echo "TO, RSYNC_HOST, RSYNC_DIR or LOGDIR"
-       exit 2
+if test -n "$RSYNC_USER"; then
+  RSYNC_HOST=$RSYNC_USER@$RSYNC_HOST
 fi
 
-# Note: on some non-Debian systems, hostname doesn't accept -f option.
-# If that's the case on your system, make sure hostname prints the full
-# hostname, and remove the -f option. If there's no hostname command,
-# explicitly replace `hostname -f` with the hostname.
-
-HOSTNAME=`hostname -f`
-
-# The hostname must match the "Site" field written in the list of mirrors.
-# If hostname doesn't returns the correct value, fill and uncomment below 
-HOSTNAME=mirror.csclub.uwaterloo.ca
-LOCK="${TO}/Archive-Update-in-Progress-${HOSTNAME}"
-
-# The temp directory used by rsync --delay-updates is not
-# world-readable remotely. It must be excluded to avoid errors. 
-TMP_EXCLUDE="--exclude .~tmp~/"
-
-# Logfile
-LOGFILE=$LOGDIR/mirror.log
-
-# Get in the right directory and set the umask to be group writable
-# 
-cd $HOME
-umask 002
-
-# Check to see if another sync is in progress
-if [ -f "$LOCK" ]; then
-# Note: this requires the findutils find; for other finds, adjust as necessary
-  if [ "`find $LOCK -maxdepth 1 -amin -$LOCK_TIMEOUT`" = "" ]; then
-# Note: this requires the procps ps; for other ps', adjust as necessary
-    if ps ax | grep '[r]'sync | grep -q $RSYNC_HOST; then
-      echo "stale lock found, but a rsync is still running, aiee!" >&2
-      exit 1
-    else
-      echo "stale lock found (not accessed in the last $LOCK_TIMEOUT minutes), forcing update!"
-      rm -f $LOCK
-    fi
-  else
-    echo "current lock file exists, unable to start rsync!"
-    exit 1
-  fi
-fi
-
-touch $LOCK
-# Note: on some non-Debian systems, trap doesn't accept "exit" as signal
-# specification. If that's the case on your system, try using "0".
-trap "rm -f $LOCK" exit
-
-set +e
-
-# Now sync the remaining stuff
-nice rsync -aHv --delete \
-     --exclude "Archive-Update-in-Progress-${HOSTNAME}" \
-     --timeout=3600 -4 --address=$ADDRESS $TMP_EXCLUDE $EXTRA \
-     $RSYNC_HOST::$RSYNC_DIR $TO >> $LOGFILE 2>&1
-if [[ "$?" != "0" ]]; then
-    echo "ERROR: Help, something weird happened" | tee -a $LOGFILE
-    echo "mirroring /pool exited with exitcode" $result | tee -a $LOGFILE
-fi
-chmod ug+rwx $TO
-
-savelog $LOGFILE >/dev/null
-
-rm $LOCK
+exec nice rsync -aH --no-owner --no-group --delete \
+     --timeout=3600 -4 --address=129.97.134.71 \
+     --exclude .~tmp~/ \
+     --quiet --stats --log-file=/home/mirror/merlin/logs/transfer.log \
+     $RSYNC_HOST::$RSYNC_DIR $TO
index 65ce693..ab848a7 100644 (file)
@@ -1,5 +1,5 @@
 <div class="csclogo">
-  <a href="http://csclub.uwaterloo.ca">
+  <a href="http://mirror.csclub.uwaterloo.ca">
     <img src="/include/header.png" alt="Computer Science Club Mirror - The University of Waterloo - Funded by MEF" />
   </a>
 </div>
index 34a23bd..bc7a9ac 100755 (executable)
@@ -1,7 +1,7 @@
 #!/usr/bin/python
 import os.path
 
-base = '/users/www/files'
+base = '/mirror/root/csclub'
 htbase = 'http://csclub.uwaterloo.ca/media/files'
 announce = 'http://bittorrent.csclub.uwaterloo.ca/announce'
 scpto = 'bittorrent.csclub:/var/lib/bnbt/torrents/'
index 9b90cf7..84dffa1 100644 (file)
@@ -27,7 +27,7 @@ session = /var/lib/rtorrent/session
 
 # Watch a directory for new torrents, and stop those that have been
 # deleted.
-schedule = watch_www_directory,1,5,load_start=/www/files/*.torrent
+schedule = watch_www_directory,1,5,load_start=/mirror/root/csclub/*.torrent
 schedule = untied_directory,5,5,remove_untied=
 
 # Close torrents when diskspace is low.