Projet

Général

Profil

MiroirDebian » Historique » Version 1

Fabien Dupont, 11/05/2013 14:33

1 1 Fabien Dupont
h1. Mise en place d'un miroir debian de type « pull » avec ftpsync
2 1 Fabien Dupont
3 1 Fabien Dupont
{{>toc}}
4 1 Fabien Dupont
5 1 Fabien Dupont
h2. Présentation
6 1 Fabien Dupont
7 1 Fabien Dupont
Un miroir de type « push » est un miroir pour lequel c'est l'upstream (debian) qui pousse les mises à jour lorsqu'elles sont disponibles. Celà permet d'avoir un miroir mis à jour très très souvent mais c'est plutôt compliqué à mettre en place et, pour un miroir non-public ou à public limité, ça ne présente pas un grand intérêt.
8 1 Fabien Dupont
9 1 Fabien Dupont
Un miroir de type « pull » est un miroir qui va vérifier puis piocher les mises à jours dans un autre miroir s'il y en a de disponibles. Cette vérification est exécutée régulièrement, généralement plusieurs fois par jour, à la convenance de son administrateur.
10 1 Fabien Dupont
11 1 Fabien Dupont
Ftpsync ("repo git":https://ftp-master.debian.org/git/archvsync.git/) est "recommandé par debian":http://www.debian.org/mirror/ftpmirror pour la mise en place de miroir partiels ou complets en push ou pull. C'est basiquement une série de scripts permettant d'exécuter rsync avec les bons paramètres pour répondre aux besoins décrits dans des fichiers de configuration.
12 1 Fabien Dupont
13 1 Fabien Dupont
Ici, on va voir comment installer un miroir « pull » avec ftpsync.
14 1 Fabien Dupont
15 1 Fabien Dupont
h2. Installation
16 1 Fabien Dupont
17 1 Fabien Dupont
Afin de sécuriser un poil l'installation, ftpsync doit être exécuté en tant qu'utilisateur sans privilèges. Ici, l'utilisateur s'appelera _mirror_ et son home directory sera dans /pub/mirror. Il faut prévoir quelques centaines de Go d'espace libre pour un miroir complet.
18 1 Fabien Dupont
19 1 Fabien Dupont
<pre>
20 1 Fabien Dupont
# adduser --home=/pub/mirror --no-create-home --disabled-password mirror
21 1 Fabien Dupont
</pre>
22 1 Fabien Dupont
23 1 Fabien Dupont
L'installation de ftpsync se fait bêtement en clonant le répostitory git dans le home de l'utilisateur mirror.
24 1 Fabien Dupont
25 1 Fabien Dupont
<pre>
26 1 Fabien Dupont
# git clone https://ftp-master.debian.org/git/archvsync.git/ /pub/mirror
27 1 Fabien Dupont
# chown -R mirror: mirror /pub/mirror
28 1 Fabien Dupont
# ls -l /pub/mirror
29 1 Fabien Dupont
total 36
30 1 Fabien Dupont
drwxr-xr-x 2 mirror mirror  4096 May  2 07:42 bin
31 1 Fabien Dupont
drwxr-xr-x 3 mirror mirror  4096 May  5 19:12 etc
32 1 Fabien Dupont
drwxr-xr-x 2 mirror mirror 12288 May 11 13:30 log
33 1 Fabien Dupont
drwxr-xr-x 4 mirror mirror  4096 Mar 14 11:49 mirrorcheck
34 1 Fabien Dupont
-rw-r--r-- 1 mirror mirror 10882 Mar 14 11:49 README
35 1 Fabien Dupont
</pre>
36 1 Fabien Dupont
37 1 Fabien Dupont
h2. Configuration
38 1 Fabien Dupont
39 1 Fabien Dupont
La configuration se passe dans ~mirror/etc. Ce répertoire contient plusieurs fichiers, certains pour les miroirs en mode « pull » (ftpsync*.conf), d'autres pour les miroirs en mode « push » (le reste). On ne va donc éditer que ftpsync*.conf.
40 1 Fabien Dupont
41 1 Fabien Dupont
Un fichier d'exemple (ftpsync.conf.sample) est fourni pour détailler tous les paramètres possibles. Voilà déjà un fichier de configuration minimaliste mais « qui juste marche » pour cloner un miroir debian :
42 1 Fabien Dupont
43 1 Fabien Dupont
<pre>
44 1 Fabien Dupont
# cat ~mirror/etc/ftpsync-debian.conf
45 1 Fabien Dupont
MIRRORNAME="apt.tetaneutral.net"
46 1 Fabien Dupont
TO="/pub/mirror/debian"
47 1 Fabien Dupont
RSYNC_HOST="ftp.nl.debian.org"
48 1 Fabien Dupont
RSYNC_PATH="debian"
49 1 Fabien Dupont
RSYNC_EXTRA="-6"
50 1 Fabien Dupont
RSYNC_OPTIONS2="--max-delete=40000 --delay-updates --delete --delete-after --delete-excluded"
51 1 Fabien Dupont
MAILTO="sysadmin@wtf.net"
52 1 Fabien Dupont
ERRORSONLY="true"
53 1 Fabien Dupont
ARCH_EXCLUDE="alpha arm armhf hppa hurd-i386 ia64 kfreebsd-amd64 kfreebsd-i386 m68k mipsel mips powerpc s390 s390x sh sparc"
54 1 Fabien Dupont
LOGROTATE=14
55 1 Fabien Dupont
LOCK="${TO}/Archive-Update-in-Progress-debian-${MIRRORNAME}"
56 1 Fabien Dupont
</pre>
57 1 Fabien Dupont
58 1 Fabien Dupont
Les paramètres sont les suivants :
59 1 Fabien Dupont
60 1 Fabien Dupont
* MIRRORNAME: le nom du miroir (interne à ftpsync, sans importance donc).
61 1 Fabien Dupont
* TO: le chemin vers le répertoire où sera cloné le miroir.
62 1 Fabien Dupont
* RSYNC_HOST: l'adresse du serveur rsync depuis lequel on va cloner le miroir.
63 1 Fabien Dupont
* RSYNC_PATH: le chemin que l'on va cloner sur le serveur rsync.
64 1 Fabien Dupont
* RSYNC_EXTRA: des options qui seront passées à rsync lors des deux passes du clonage (ici, on va utiliser IPv6).
65 1 Fabien Dupont
* RSYNC_OPTIONS1: des options qui seront passées à rsync lors de la première passe du clonage (ici, y'en a pas).
66 1 Fabien Dupont
* RSYNC_OPTIONS2: des options qui seront passées à rsync lors de la deuxième passe du clonage (ici, on supprime ce qui ne sert plus).
67 1 Fabien Dupont
* MAILTO: l'adresse mail à laquelle envoyer le log du clonage.
68 1 Fabien Dupont
* ERRORSONLY: si « true », le log du clonage ne sera envoyé qu'en cas d'erreur.
69 1 Fabien Dupont
* ARCH_EXCLUDE: les architectures que l'on veut exclure (ici, il ne restera que i686, amd64 et armel).
70 1 Fabien Dupont
* LOGROTATE: le nombre de fichiers de log que l'on veut garder dans ~mirror/log/.
71 1 Fabien Dupont
* LOCK: le chemin vers un fichier de lock pour éviter que deux clonages soient exécutés en simultané.
72 1 Fabien Dupont
73 1 Fabien Dupont
Pour les autres paramètres, se référer à ~mirror/etc/ftpsync.conf.sample.
74 1 Fabien Dupont
75 1 Fabien Dupont
Un autre exemple minimal pour le clonage du miroir « debian-security » (mises à jour de sécurité) :
76 1 Fabien Dupont
77 1 Fabien Dupont
<pre>
78 1 Fabien Dupont
# cat ~mirror/etc/ftpsync-security.conf
79 1 Fabien Dupont
MIRRORNAME="apt.tetaneutral.net"
80 1 Fabien Dupont
TO="/pub/mirror/debian-security"
81 1 Fabien Dupont
RSYNC_HOST="ftp.nl.debian.org"
82 1 Fabien Dupont
RSYNC_PATH="debian-security"
83 1 Fabien Dupont
RSYNC_EXTRA="-6"
84 1 Fabien Dupont
RSYNC_OPTIONS2="--max-delete=40000 --delay-updates --delete --delete-after --delete-excluded"
85 1 Fabien Dupont
MAILTO="sysadmin@kafe-in.net"
86 1 Fabien Dupont
ERRORSONLY="true"
87 1 Fabien Dupont
ARCH_EXCLUDE="alpha arm armhf hppa hurd-i386 ia64 kfreebsd-amd64 kfreebsd-i386 m68k mipsel mips powerpc s390 s390x sh sparc"
88 1 Fabien Dupont
LOGROTATE=14
89 1 Fabien Dupont
LOCK="${TO}/Archive-Update-in-Progress-security-${MIRRORNAME}"
90 1 Fabien Dupont
</pre>
91 1 Fabien Dupont
92 1 Fabien Dupont
h2. Exécution périodique
93 1 Fabien Dupont
94 1 Fabien Dupont
L'exécution du clonage d'un miroir se fait avec la commande ~mirror/bin/ftpsync. Sans paramètres, le fichier de configuration ~mirror/etc/ftpsync.conf est utilisé. Il est toutefois possible de spécifier le fichier de configuration utilisé en ajoutant un paramètre « sync:archive:nomfichier ». Dans ce cas, le fichier de configuration ~mirror/etc/ftpsync-nomfichier.conf sera utilisé.
95 1 Fabien Dupont
96 1 Fabien Dupont
Ici, nous avons deux fichiers de configuration (ftpsync-debian.conf et ftpsync-security.conf) pour deux miroirs à cloner. Le miroir debian sera cloné toutes les 4 heures (en différentiel, bien sûr) et le miroir security toutes les heures.
97 1 Fabien Dupont
98 1 Fabien Dupont
<pre>
99 1 Fabien Dupont
# crontab -u mirror -l
100 1 Fabien Dupont
30 * * * * /pub/mirror/bin/ftpsync sync:archive:security
101 1 Fabien Dupont
0 */4 * * * /pub/mirror/bin/ftpsync sync:archive:debian
102 1 Fabien Dupont
</pre>
103 1 Fabien Dupont
104 1 Fabien Dupont
La bonne exécution de ftpsync peut être contrôlée par le code d'erreur du script (0 = tout va bien) ou en regardant les fichiers de logs dans ~mirror/log.
105 1 Fabien Dupont
106 1 Fabien Dupont
h2. Rendre le miroir accessible en HTTP
107 1 Fabien Dupont
108 1 Fabien Dupont
Pour rendre le miroir accessible en HTTP, il suffit de configurer un serveur web en incluant /pub/mirror/debian et /pub/mirror/debian-security dans sa racine.
109 1 Fabien Dupont
110 1 Fabien Dupont
Par exemple, pour lighttpd :
111 1 Fabien Dupont
112 1 Fabien Dupont
<pre>
113 1 Fabien Dupont
# cat /etc/lighttpd/lighttpd.conf
114 1 Fabien Dupont
*snip*
115 1 Fabien Dupont
$HTTP["host"] =~ "apt.tetaneutral.net" {
116 1 Fabien Dupont
    alias.url += (
117 1 Fabien Dupont
        "/debian/" => "/pub/mirror/debian/",
118 1 Fabien Dupont
        "/debian-security/" => "/pub/mirror/debian-security/",
119 1 Fabien Dupont
    )
120 1 Fabien Dupont
}
121 1 Fabien Dupont
*snip*
122 1 Fabien Dupont
</pre>
123 1 Fabien Dupont
124 1 Fabien Dupont
Les deux miroirs seront donc utilisables en configurant apt de la façon suivante :
125 1 Fabien Dupont
126 1 Fabien Dupont
<pre>
127 1 Fabien Dupont
# cat /etc/apt/sources.list.d/debian.list
128 1 Fabien Dupont
deb http://apt.tetaneutral.net/debian/ wheezy main contrib
129 1 Fabien Dupont
# cat /etc/apt/sources.list.d/debian-security.list
130 1 Fabien Dupont
deb http://apt.tetaneutral.net/debian-security/ wheezy/updates main contrib
131 1 Fabien Dupont
</pre>
132 1 Fabien Dupont
133 1 Fabien Dupont
h2. Quelques conseils
134 1 Fabien Dupont
135 1 Fabien Dupont
Pour finir, quelques petits conseils concernant la mise en place d'un miroir debian :
136 1 Fabien Dupont
137 1 Fabien Dupont
* Il faut prévoir pas mal de stockage pour un miroir complet. Sur http://apt.tetaneutral.net/ qui contient les versions stable, testing et unstable pour les architectures i686, amd64 et armel, les deux miroirs (debian et security) occupent environ 350Go d'espace disque.
138 1 Fabien Dupont
* Le téléchargement de ces 350Go coûte cher à votre FAI ! Si c'est Free, Orange ou SFR, on s'en fout. Mais si c'est tetaneutral.net, il faut privilégier le clonage d'un miroir accessible en IPv6. Le transit IPv6 est gratuit.
139 1 Fabien Dupont
* Cloner un miroir trop souvent ne sert pas à grand chose...autant faire du push. C'est toutefois assez utile pour le miroir des mises à jour de sécurité.
140 1 Fabien Dupont
* Cloner un miroir trop peu souvent ne sert pas à grand chose non plus. Ça ne rendra l'exécution de ftpsync que plus longue. Autant lisser la bande passante utilisée.