Projet

Général

Profil

Openstack Installation TTNN » Historique » Version 75

Mehdi Abaakouk, 08/08/2014 17:18

1 43 Laurent GUERBY
{{>toc}}
2 43 Laurent GUERBY
3 1 Mehdi Abaakouk
h1. Openstack Installation TTNN
4 1 Mehdi Abaakouk
5 44 Laurent GUERBY
h2. Liens
6 44 Laurent GUERBY
7 44 Laurent GUERBY
* http://ceph.com/docs/master/rados/operations/cache-tiering/
8 44 Laurent GUERBY
* http://ceph.com/docs/master/rados/operations/crush-map/
9 44 Laurent GUERBY
10 3 Mehdi Abaakouk
h2. Pending upstream fixes:
11 3 Mehdi Abaakouk
12 1 Mehdi Abaakouk
* build-debian-openstack-images, changes should be in next package version:
13 1 Mehdi Abaakouk
** Fix extlinux installation on jessie: http://anonscm.debian.org/cgit/openstack/openstack-debian-images.git/commit/?id=1a4ddceb99fb66f42f79e87a183d8e96952e5ac3
14 1 Mehdi Abaakouk
** Fix cloud-init setup with configdrive: http://anonscm.debian.org/cgit/openstack/openstack-debian-images.git/commit/?id=15cce87e2fa15b8952d69fb58711bfa88b21ef87
15 15 Mehdi Abaakouk
** Use Configdrive first for cloud-init: http://anonscm.debian.org/cgit/openstack/openstack-debian-images.git/commit/?id=1b1e1093d5ee525426382ad29b8219ab58f6656d
16 1 Mehdi Abaakouk
17 1 Mehdi Abaakouk
* nova: 
18 15 Mehdi Abaakouk
** Fix live-migration avec ceph and configdrive:: https://review.openstack.org/#/c/112014/, si la solution est mergé upstream, j'appliquerai le patch au package debian
19 1 Mehdi Abaakouk
20 4 Mehdi Abaakouk
h2. Installation
21 4 Mehdi Abaakouk
22 4 Mehdi Abaakouk
Le setup installé est composé de :
23 4 Mehdi Abaakouk
24 4 Mehdi Abaakouk
* 3 hyperviseurs (compute node) qui contiendront 1 ceph-mon, N ceph-osd, nova-compute (qui lance les VM), neutron-openvswitch-agent (qui configure le réseau des vms)
25 4 Mehdi Abaakouk
* 1 VM (controler node), qui contient tous les services de management d'openstack (nova, cinder, glance, neutron)
26 4 Mehdi Abaakouk
27 4 Mehdi Abaakouk
Les étapes d'installation sont les suivantes:
28 4 Mehdi Abaakouk
* Préparation manuelle de la VM de management sur un des hyperviseurs
29 4 Mehdi Abaakouk
* Installation de ceph et openstack sur toutes les machines avec puppet
30 4 Mehdi Abaakouk
* Déplacement de la VM de management d'openstack dans openstack.
31 4 Mehdi Abaakouk
32 33 Mehdi Abaakouk
h3. Information sur le puppet master:
33 33 Mehdi Abaakouk
34 33 Mehdi Abaakouk
La conf et modules puppet utilisé par tetaneutral.net ce trouve la:
35 33 Mehdi Abaakouk
36 33 Mehdi Abaakouk
> http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster
37 33 Mehdi Abaakouk
> http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster/revisions/master/entry/manifests/nodes/openstack.pp
38 33 Mehdi Abaakouk
39 33 Mehdi Abaakouk
Seulement c'est 3 classes sont spécifique à tetaneutral, le reste est réutilisable:
40 33 Mehdi Abaakouk
41 36 Mehdi Abaakouk
> class { 'ttnn::server': }
42 36 Mehdi Abaakouk
> class { 'backup::client': }
43 36 Mehdi Abaakouk
> class { 'sexymotd': }
44 33 Mehdi Abaakouk
45 33 Mehdi Abaakouk
Les modules qui sont nécessaire pour openstack pour le reste du fichier sont:
46 33 Mehdi Abaakouk
47 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-apache.git 
48 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-apt 
49 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-ceph.git 
50 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-cinder.git 
51 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-concat.git 
52 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-glance.git 
53 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-horizon.git 
54 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-inifile.git 
55 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-keystone.git 
56 33 Mehdi Abaakouk
> https://github.com/camptocamp/puppet-kmod.git 
57 33 Mehdi Abaakouk
> https://github.com/saz/puppet-memcached.git 
58 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-mysql.git 
59 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-neutron.git 
60 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-nova.git 
61 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-rabbitmq.git 
62 33 Mehdi Abaakouk
> https://github.com/nanliu/puppet-staging.git 
63 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-stdlib.git 
64 33 Mehdi Abaakouk
> https://github.com/duritong/puppet-sysctl.git 
65 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-vcsrepo.git 
66 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-vswitch.git 
67 36 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-xinetd.git
68 33 Mehdi Abaakouk
69 33 Mehdi Abaakouk
h3. Préparation réseaux des hosts:
70 29 Mehdi Abaakouk
71 31 Mehdi Abaakouk
Voici le fichier rc.local d'un hyperviseur (g1)
72 29 Mehdi Abaakouk
73 29 Mehdi Abaakouk
<pre>
74 71 Mehdi Abaakouk
#!/bin/sh
75 71 Mehdi Abaakouk
76 29 Mehdi Abaakouk
for i in /proc/sys/net/ipv6/conf/*; do for j in autoconf accept_ra; do echo 0 > $i/$j; done;done
77 1 Mehdi Abaakouk
# https://www.kernel.org/doc/Documentation/networking/ip-sysctl.txt
78 71 Mehdi Abaakouk
for i in /proc/sys/net/ipv4/conf/*/arp_announce; do echo 2 > $i;done
79 29 Mehdi Abaakouk
80 29 Mehdi Abaakouk
echo 1 > /proc/sys/net/ipv4/ip_forward
81 29 Mehdi Abaakouk
echo 1 > /proc/sys/net/ipv6/conf/all/forwarding
82 29 Mehdi Abaakouk
83 1 Mehdi Abaakouk
ip link set eth0 up
84 71 Mehdi Abaakouk
85 29 Mehdi Abaakouk
ip link add link eth0 name eth0.3131 type vlan id 3131
86 1 Mehdi Abaakouk
ip link set eth0.3131 up
87 71 Mehdi Abaakouk
88 29 Mehdi Abaakouk
ip addr add 89.234.156.251/32 dev eth0.3131
89 29 Mehdi Abaakouk
ip route add 91.224.149.0/24 dev eth0.3131
90 29 Mehdi Abaakouk
ip route add default via 91.224.149.254
91 29 Mehdi Abaakouk
92 29 Mehdi Abaakouk
ip addr add 2a01:6600:8083:fb00::1/56 dev eth0.3131
93 29 Mehdi Abaakouk
ip route add default via fe80::31 dev eth0.3131
94 1 Mehdi Abaakouk
95 71 Mehdi Abaakouk
ip route add 89.234.156.250/32 dev eth0.3131
96 71 Mehdi Abaakouk
ip route add 89.234.156.252/32 dev eth0.3131
97 71 Mehdi Abaakouk
ip route add 89.234.156.253/32 dev eth0.3131
98 71 Mehdi Abaakouk
99 71 Mehdi Abaakouk
100 45 Mehdi Abaakouk
ip link add link eth0 name eth0.3175 type vlan id 3175
101 29 Mehdi Abaakouk
ip link set eth0.3175 up
102 29 Mehdi Abaakouk
103 39 Mehdi Abaakouk
ip link add link eth0 name eth0.3195 type vlan id 3195
104 1 Mehdi Abaakouk
ip link set eth0.3195 up
105 71 Mehdi Abaakouk
brctl addbr br-admin
106 71 Mehdi Abaakouk
brctl addif eth0.3175
107 71 Mehdi Abaakouk
ip link set br-admin up
108 1 Mehdi Abaakouk
ip addr add 192.168.3.101/24 dev br-admin
109 1 Mehdi Abaakouk
110 71 Mehdi Abaakouk
brctl addbr br-net
111 71 Mehdi Abaakouk
ip link set br-net up
112 29 Mehdi Abaakouk
ip addr add fe80::31/64 dev br-net
113 71 Mehdi Abaakouk
ip addr add 91.224.148.0/32 dev br-net
114 29 Mehdi Abaakouk
115 29 Mehdi Abaakouk
exit 0
116 71 Mehdi Abaakouk
117 29 Mehdi Abaakouk
</pre>
118 55 Mehdi Abaakouk
119 54 Mehdi Abaakouk
_note: Les bridges openvswitch sont mémorisés et recréés automatiquement par le service openvswitch-switch_
120 30 Mehdi Abaakouk
121 30 Mehdi Abaakouk
Sur h7.tetaneutral.net le routage est le suivant
122 30 Mehdi Abaakouk
123 30 Mehdi Abaakouk
<pre>
124 30 Mehdi Abaakouk
ip route add 89.234.156.251/32 dev eth0.3131
125 30 Mehdi Abaakouk
ip route add 89.234.156.252/32 dev eth0.3131
126 30 Mehdi Abaakouk
ip route add 89.234.156.253/32 dev eth0.3131
127 30 Mehdi Abaakouk
ip route add 2a01:6600:8083:fb00::/56 dev eth0.3131
128 30 Mehdi Abaakouk
ip route add 2a01:6600:8083:fc00::/56 dev eth0.3131
129 30 Mehdi Abaakouk
ip route add 2a01:6600:8083:fd00::/56 dev eth0.3131
130 30 Mehdi Abaakouk
</pre>
131 30 Mehdi Abaakouk
132 30 Mehdi Abaakouk
Ainsi que ceci le temps de l'installation
133 30 Mehdi Abaakouk
134 30 Mehdi Abaakouk
<pre>
135 74 Mehdi Abaakouk
ip route add 89.234.156.248/32 via 89.234.156.251 # NOTE(sileht): temporairement pour le setup openstack
136 42 Laurent GUERBY
ip route add 89.234.156.249/32 via 89.234.156.251 # NOTE(sileht): temporairement pour le setup openstack
137 74 Mehdi Abaakouk
ip route add 2a01:6600:8083:f800::/56 via 2a01:6600:8083:fb00::1 dev eth0.3131 # NOTE(sileht): temporairement pour le setup openstack
138 30 Mehdi Abaakouk
ip route add 2a01:6600:8083:f900::/56 via 2a01:6600:8083:fb00::1 dev eth0.3131 # NOTE(sileht): temporairement pour le setup openstack
139 30 Mehdi Abaakouk
</pre>
140 4 Mehdi Abaakouk
141 4 Mehdi Abaakouk
h3. Preparation de la VM de management, le controlleur
142 6 Mehdi Abaakouk
143 4 Mehdi Abaakouk
h4. Installation des prérequis
144 4 Mehdi Abaakouk
145 57 Mehdi Abaakouk
<pre>
146 4 Mehdi Abaakouk
$ apt-get install libvirt-bin openstack-debian-images virtinst
147 4 Mehdi Abaakouk
#NOTE(sileht): temporairement appliquer les patches de au-dessus à openstack-debian-images 
148 4 Mehdi Abaakouk
</pre>
149 6 Mehdi Abaakouk
150 1 Mehdi Abaakouk
h4. Preparation de l'image de la VM
151 1 Mehdi Abaakouk
152 73 Mehdi Abaakouk
On notera les ip temporaire 192.168.3.100
153 73 Mehdi Abaakouk
154 6 Mehdi Abaakouk
<pre>
155 17 Mehdi Abaakouk
$ vim hook.sh
156 16 Mehdi Abaakouk
set -xv
157 1 Mehdi Abaakouk
158 20 Mehdi Abaakouk
echo "openstack" > $BODI_CHROOT_PATH/etc/hostname
159 16 Mehdi Abaakouk
160 16 Mehdi Abaakouk
cat > $BODI_CHROOT_PATH/etc/resolv.conf <<EOF
161 16 Mehdi Abaakouk
domain tetaneutral.net
162 16 Mehdi Abaakouk
search tetaneutral.net
163 1 Mehdi Abaakouk
nameserver 8.8.8.8
164 20 Mehdi Abaakouk
EOF
165 6 Mehdi Abaakouk
166 6 Mehdi Abaakouk
cat > $BODI_CHROOT_PATH/etc/network/interfaces <<EOF
167 6 Mehdi Abaakouk
auto lo
168 1 Mehdi Abaakouk
iface lo inet loopback
169 6 Mehdi Abaakouk
auto eth0
170 20 Mehdi Abaakouk
iface eth0 inet manual
171 20 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth0.accept_ra=0
172 1 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth0.autoconf=0
173 1 Mehdi Abaakouk
  up ip link set eth0 up
174 73 Mehdi Abaakouk
  up ip addr add 89.234.156.248/32 dev eth0
175 20 Mehdi Abaakouk
  up ip route add 91.224.148.0/32 dev eth0
176 20 Mehdi Abaakouk
  up ip route add default via 91.224.148.0
177 20 Mehdi Abaakouk
178 20 Mehdi Abaakouk
iface eth0 inet6 static
179 1 Mehdi Abaakouk
    pre-up /sbin/sysctl -w net.ipv6.conf.eth0.accept_ra=0
180 20 Mehdi Abaakouk
    pre-up /sbin/sysctl -w net.ipv6.conf.eth0.autoconf=0
181 73 Mehdi Abaakouk
    address 2a01:6600:8083:f800::1
182 40 Mehdi Abaakouk
    netmask 56
183 46 Mehdi Abaakouk
    gateway fe80::31
184 46 Mehdi Abaakouk
185 46 Mehdi Abaakouk
auto eth1
186 1 Mehdi Abaakouk
iface eth1 inet static
187 46 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth1.accept_ra=0
188 46 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth1.autoconf=0
189 73 Mehdi Abaakouk
  address 192.168.3.99
190 6 Mehdi Abaakouk
  netmask 255.255.255.0
191 20 Mehdi Abaakouk
EOF
192 1 Mehdi Abaakouk
193 6 Mehdi Abaakouk
mkdir -p $BODI_CHROOT_PATH/root/.ssh
194 4 Mehdi Abaakouk
chmod 600 $BODI_CHROOT_PATH/root/.ssh
195 1 Mehdi Abaakouk
cat >> $BODI_CHROOT_PATH/root/.ssh/authorized_keys <<EOF
196 4 Mehdi Abaakouk
ssh-dss AAAAB3NzaC1kc3MAAACBAJtnGLvuz4uVD6fnERDxDi/C0UyzwCiKmgNtEessopREYasAX4Gu6Fg10jAyIL5Nuc7YDnqj//pOfxNjD7hp99a2ZmkRQgh/ltClxYML9fqhBHgsUCpVse9nOYDHDnDgvXIPRSDUHat2UFpdchHVrFURNLIlZnBztsr+GCDURTV/AAAAFQD9SrBcH49ltaKOm6V5ssCPmgs1SwAAAIAbAvkQ3/tMzzdACO5B9s5Yb3ZuM7XImm0iqufivVf2Xy39g8HOBulUsN7eKEGPhVriqNolgIO7q7tVgYAff4/NE4yDP0Kp0SPg4tjt2yFJuL31Y3wzwHjnKrjgNlDSLl3uZnRXSipwUMwGKbdHB6NZSqlq192VKbHilQ00pbiMlAAAAIB5dfB1lVHkJ0o5CcaVQRPbca9DvbbRwnoTSmKHc5DUcqsPqDhS07CkM9ZcJuY1Nh4wGl4Q9kArj7Tnsvvygf/HReSUcIk4+nbDytJ8/pca/Qx4fzQQyppa94TylN62LSFT6MIJKLoMwYa0dQURT7Mv5+9Qj2vk5pZ38w2iQ9zVCg== root@h1
197 10 Mehdi Abaakouk
EOF
198 16 Mehdi Abaakouk
199 16 Mehdi Abaakouk
sed -i -e 's/^.*Port.*$/Port 2222/' -e 's/^[# ]*PasswordAuthentication.*$/PasswordAuthentication no/' $BODI_CHROOT_PATH/etc/ssh/sshd_config
200 20 Mehdi Abaakouk
chroot $BODI_CHROOT_PATH dpkg-reconfigure openssh-server
201 1 Mehdi Abaakouk
chroot $BODI_CHROOT_PATH apt-get purge -y cloud-init*
202 7 Mehdi Abaakouk
</pre>
203 4 Mehdi Abaakouk
204 21 Mehdi Abaakouk
<pre>
205 12 Mehdi Abaakouk
$ chmod +x hook.sh
206 4 Mehdi Abaakouk
$ build-openstack-debian-image --image-size 20  --release jessie -u http://apt.tetaneutral.net/debian/ -s http://apt.tetaneutral.net/debian/ --hook-script $(pwd)/hook.sh
207 4 Mehdi Abaakouk
$ mv debian-jessie-7.0.0-3-amd64.raw /openstack.raw 
208 4 Mehdi Abaakouk
$ rm debian-jessie-7.0.0-3-amd64.qcow2
209 5 Mehdi Abaakouk
</pre>
210 13 Mehdi Abaakouk
211 18 Mehdi Abaakouk
_note: la derniere commande lancée par le script doit être 'qemu-img convert -c -f raw .... , sinon l'image de bootera pas_
212 18 Mehdi Abaakouk
_note(jessie): si l'erreur est celle ci-dessous, relancer manuellement 'kpartx -d debian-jessie-7.0.0-3-amd64.raw' jusqu'a ce que l'erreur disparaissent et le .raw est utilisable:_
213 18 Mehdi Abaakouk
<pre>
214 18 Mehdi Abaakouk
+ 'kpartx -d debian-jessie-7.0.0-3-amd64.raw'
215 18 Mehdi Abaakouk
device-mapper: remove ioctl on loop0p1 failed: Device or resource busy
216 18 Mehdi Abaakouk
loop deleted : /dev/loop0
217 59 Mehdi Abaakouk
</pre>
218 59 Mehdi Abaakouk
_note: si parted freeze -> lancer /etc/init.d/udev restart_
219 11 Mehdi Abaakouk
220 4 Mehdi Abaakouk
221 4 Mehdi Abaakouk
On garde l'image raw qui sera importable dans ceph plus tard et on la mets à la racine pour qui l'utilisateur libvirt puisse y accéder.
222 6 Mehdi Abaakouk
223 4 Mehdi Abaakouk
h4. Préparation du réseau
224 4 Mehdi Abaakouk
225 8 Mehdi Abaakouk
<pre>
226 75 Mehdi Abaakouk
$ ip route add 89.234.156.248/32 dev br-net proto 42
227 75 Mehdi Abaakouk
$ ip -6 route add 2a01:6600:8083:f800::/56 dev br-net proto 42
228 4 Mehdi Abaakouk
$ modprobe vhost-net
229 5 Mehdi Abaakouk
</pre>
230 6 Mehdi Abaakouk
231 4 Mehdi Abaakouk
h4. Installation de la VM
232 4 Mehdi Abaakouk
233 60 Mehdi Abaakouk
<pre>
234 4 Mehdi Abaakouk
$ virt-install --name openstack --ram 2048 --network bridge=br-net,model=virtio --network bridge=br-admin,model=virtio --nographics --serial pty --wait -1 --noreboot --autostart --disk /openstack.raw,bus=virtio,cache=none,io=native --import
235 19 Mehdi Abaakouk
$ virsh  start openstack
236 19 Mehdi Abaakouk
$ ssh root@openstack.tetaneutral.net -p 2222
237 19 Mehdi Abaakouk
</pre>
238 19 Mehdi Abaakouk
239 19 Mehdi Abaakouk
Une fois connecté à la VM:
240 19 Mehdi Abaakouk
241 19 Mehdi Abaakouk
<pre>
242 19 Mehdi Abaakouk
$ apt-get install puppet
243 24 Mehdi Abaakouk
$ puppet agent --enable
244 24 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
245 24 Mehdi Abaakouk
Info: Caching certificate for ca
246 24 Mehdi Abaakouk
Info: csr_attributes file loading from /etc/puppet/csr_attributes.yaml
247 24 Mehdi Abaakouk
Info: Creating a new SSL certificate request for openstack.tetaneutral.net
248 24 Mehdi Abaakouk
Info: Certificate Request fingerprint (SHA256): AE:72:47:40:A0:E2:F4:59:BA:39:FA:3D:C2:A7:C9:1B:9F:87:A5:B7:65:3A:F9:D4:DE:AF:E2:A3:02:41:0F:2E
249 24 Mehdi Abaakouk
Info: Caching certificate for ca
250 19 Mehdi Abaakouk
Exiting; no certificate found and waitforcert is disabled
251 19 Mehdi Abaakouk
</pre>
252 19 Mehdi Abaakouk
253 19 Mehdi Abaakouk
Sur le puppetmaster:
254 19 Mehdi Abaakouk
255 1 Mehdi Abaakouk
<pre>
256 22 Mehdi Abaakouk
$ puppet ca sign openstack.tetaneutral.net 
257 61 Mehdi Abaakouk
</pre>
258 19 Mehdi Abaakouk
_note: si un vieux cert existe: puppet node clean openstack.tetaneutral.net_
259 1 Mehdi Abaakouk
260 19 Mehdi Abaakouk
De nouveau sur la VM:
261 19 Mehdi Abaakouk
262 24 Mehdi Abaakouk
<pre>
263 26 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
264 26 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
265 4 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
266 26 Mehdi Abaakouk
</pre>
267 32 Mehdi Abaakouk
268 27 Mehdi Abaakouk
Il ne doit plus y avoir d'erreur la 3°/4° fois.
269 26 Mehdi Abaakouk
270 26 Mehdi Abaakouk
_note: Un paquet est manquant en ce moment (06/08/2014) dans jessie 'nullmailer', pour l'installer manuellement:_
271 26 Mehdi Abaakouk
<pre>
272 26 Mehdi Abaakouk
wget http://ftp.fr.debian.org/debian/pool/main/n/nullmailer/nullmailer_1.11-2.1_amd64.deb
273 26 Mehdi Abaakouk
apt-get purge exim4-base          exim4-config        exim4-daemon-light
274 26 Mehdi Abaakouk
dpkg -i nullmailer_1.11-2.1_amd64.deb  # Répondre n'importe quoi, ca sera ecrasé par puppet
275 26 Mehdi Abaakouk
apt-get install bsd-mailx
276 26 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
277 4 Mehdi Abaakouk
</pre>
278 34 Mehdi Abaakouk
279 34 Mehdi Abaakouk
h3. Configuration des hyperviseurs
280 35 Mehdi Abaakouk
281 35 Mehdi Abaakouk
Une fois la configuration réseau faite tout faire avec puppet:
282 35 Mehdi Abaakouk
283 35 Mehdi Abaakouk
<pre>
284 35 Mehdi Abaakouk
$ apt-get install puppet
285 35 Mehdi Abaakouk
$ puppet agent --enable
286 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
287 35 Mehdi Abaakouk
Info: Caching certificate for ca
288 35 Mehdi Abaakouk
Info: csr_attributes file loading from /etc/puppet/csr_attributes.yaml
289 35 Mehdi Abaakouk
Info: Creating a new SSL certificate request for openstack.tetaneutral.net
290 35 Mehdi Abaakouk
Info: Certificate Request fingerprint (SHA256): AE:72:47:40:A0:E2:F4:59:BA:39:FA:3D:C2:A7:C9:1B:9F:87:A5:B7:65:3A:F9:D4:DE:AF:E2:A3:02:41:0F:2E
291 35 Mehdi Abaakouk
Info: Caching certificate for ca
292 35 Mehdi Abaakouk
Exiting; no certificate found and waitforcert is disabled
293 35 Mehdi Abaakouk
</pre>
294 35 Mehdi Abaakouk
295 35 Mehdi Abaakouk
Sur le puppetmaster:
296 35 Mehdi Abaakouk
297 35 Mehdi Abaakouk
<pre>
298 35 Mehdi Abaakouk
$ puppet ca sign openstack.tetaneutral.net 
299 64 Mehdi Abaakouk
</pre>
300 35 Mehdi Abaakouk
_note: si un vieux cert existe: puppet ca revoke openstack.tetaneutral.net ; puppet cert clean openstack.tetaneutral.net; puppet node clean openstack.tetaneutral.net_
301 35 Mehdi Abaakouk
302 35 Mehdi Abaakouk
De nouveau sur la VM:
303 35 Mehdi Abaakouk
304 35 Mehdi Abaakouk
<pre>
305 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
306 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
307 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
308 35 Mehdi Abaakouk
</pre>
309 35 Mehdi Abaakouk
310 35 Mehdi Abaakouk
Il ne doit plus y avoir d'erreur la 3°/4° fois.
311 35 Mehdi Abaakouk
312 35 Mehdi Abaakouk
_note: Un paquet est manquant en ce moment (06/08/2014) dans jessie 'nullmailer', pour l'installer manuellement:_
313 35 Mehdi Abaakouk
<pre>
314 35 Mehdi Abaakouk
wget http://ftp.fr.debian.org/debian/pool/main/n/nullmailer/nullmailer_1.11-2.1_amd64.deb
315 35 Mehdi Abaakouk
apt-get purge exim4-base          exim4-config        exim4-daemon-light
316 35 Mehdi Abaakouk
dpkg -i nullmailer_1.11-2.1_amd64.deb  # Répondre n'importe quoi, ca sera ecrasé par puppet
317 35 Mehdi Abaakouk
apt-get install bsd-mailx
318 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
319 35 Mehdi Abaakouk
</pre>
320 35 Mehdi Abaakouk
321 35 Mehdi Abaakouk
322 35 Mehdi Abaakouk
h4. Information sur la configuration d'un hyperviseur sur le puppet master
323 35 Mehdi Abaakouk
324 35 Mehdi Abaakouk
La configuration ressemble à :
325 35 Mehdi Abaakouk
326 35 Mehdi Abaakouk
<pre>
327 35 Mehdi Abaakouk
node "gX.tetaneutral.net" inherits openstack_node_common {
328 35 Mehdi Abaakouk
  # Configuration du routerid et de l'AS number de cette machine
329 35 Mehdi Abaakouk
  # Il faut aussi mettre la conf bgp de h7 ainsi que les fichiers 
330 35 Mehdi Abaakouk
  # /etc/puppet/manifests/files/openstack-bird.conf.erb et
331 35 Mehdi Abaakouk
  # /etc/puppet/manifests/files/openstack-bird6.conf.erb
332 35 Mehdi Abaakouk
  # pour ajouter cette AS interne
333 35 Mehdi Abaakouk
  ttnn_os_bird {'198.51.100.1': asnum => "65001"}
334 35 Mehdi Abaakouk
335 35 Mehdi Abaakouk
  # Dans le cas d'une moniteur ceph, mais uniquement 3 suffissent, on a déjà g1,g2,g3
336 35 Mehdi Abaakouk
  # ttnn_ceph_mon {$::hostname:}
337 35 Mehdi Abaakouk
 
338 35 Mehdi Abaakouk
  # La liste des disques dur à utiliser dans ceph
339 35 Mehdi Abaakouk
  ttnn_ceph_osd {"/dev/sdb": }
340 35 Mehdi Abaakouk
  ttnn_ceph_osd {"/dev/sdc": }
341 35 Mehdi Abaakouk
342 49 Mehdi Abaakouk
  # La partie Openstack, l'uuid doit être unique par machine (générer avec uuid-gen)
343 35 Mehdi Abaakouk
  ttnn_os_compute {"9d26ec10-a48b-4f0f-a122-f10ed16d270f": }
344 35 Mehdi Abaakouk
345 35 Mehdi Abaakouk
  # La correction d'un petit bug :)
346 1 Mehdi Abaakouk
  class {'ttnn_os_configdrive_ceph_fix': }
347 37 Mehdi Abaakouk
}
348 37 Mehdi Abaakouk
</pre>
349 37 Mehdi Abaakouk
350 72 Mehdi Abaakouk
h3. Déplacement du controlleur dans openstack (Work In Progress)
351 37 Mehdi Abaakouk
352 38 Mehdi Abaakouk
<pre>
353 70 Mehdi Abaakouk
$ virsh shutdown openstack
354 66 Mehdi Abaakouk
$ cp --sparse=always  /openstack.raw  /openstack-to-upload.raw 
355 38 Mehdi Abaakouk
$ virsh start openstack
356 38 Mehdi Abaakouk
$ cat > os.conf <<EOF
357 38 Mehdi Abaakouk
export OS_AUTH_URL=http://openstack.tetaneutral.net:5000/v2.0/
358 38 Mehdi Abaakouk
export OS_USERNAME=admin
359 38 Mehdi Abaakouk
export OS_TENANT_NAME=ttnn_admin
360 38 Mehdi Abaakouk
export OS_PASSWORD=<password>
361 38 Mehdi Abaakouk
EOF
362 41 Mehdi Abaakouk
$ source os.conf 
363 1 Mehdi Abaakouk
364 66 Mehdi Abaakouk
$ # Upload de l'image
365 41 Mehdi Abaakouk
$ glance image-create --progress --name openstack-controlleur --disk-format raw --container-format bare < /openstack-to-upload.raw 
366 41 Mehdi Abaakouk
[=============================>] 100%
367 41 Mehdi Abaakouk
+------------------+--------------------------------------+
368 41 Mehdi Abaakouk
| Property         | Value                                |
369 41 Mehdi Abaakouk
+------------------+--------------------------------------+
370 41 Mehdi Abaakouk
| checksum         | 493517836ee82ad4110254555d379d76     |
371 41 Mehdi Abaakouk
| container_format | bare                                 |
372 41 Mehdi Abaakouk
| created_at       | 2014-08-06T15:01:08                  |
373 41 Mehdi Abaakouk
| deleted          | False                                |
374 41 Mehdi Abaakouk
| deleted_at       | None                                 |
375 41 Mehdi Abaakouk
| disk_format      | raw                                  |
376 41 Mehdi Abaakouk
| id               | 89e8fffd-3311-4885-93a8-986e05c055f4 |
377 41 Mehdi Abaakouk
| is_public        | False                                |
378 41 Mehdi Abaakouk
| min_disk         | 0                                    |
379 41 Mehdi Abaakouk
| min_ram          | 0                                    |
380 41 Mehdi Abaakouk
| name             | openstack-controlleur                |
381 41 Mehdi Abaakouk
| owner            | 27764634d22248f4a7c8518899ff38c5     |
382 41 Mehdi Abaakouk
| protected        | False                                |
383 41 Mehdi Abaakouk
| size             | 21474836480                          |
384 41 Mehdi Abaakouk
| status           | active                               |
385 41 Mehdi Abaakouk
| updated_at       | 2014-08-06T15:11:22                  |
386 41 Mehdi Abaakouk
| virtual_size     | None                                 |
387 41 Mehdi Abaakouk
+------------------+--------------------------------------+
388 41 Mehdi Abaakouk
389 1 Mehdi Abaakouk
$ # Creation d'un volume dans ceph de cette image
390 66 Mehdi Abaakouk
$ cinder create --display-name openstack.tetaneutral.net-bootdisk --image-id 89e8fffd-3311-4885-93a8-986e05c055f4 25
391 1 Mehdi Abaakouk
</pre>
392 66 Mehdi Abaakouk
393 66 Mehdi Abaakouk
Into the old controlleur VM
394 66 Mehdi Abaakouk
395 66 Mehdi Abaakouk
<pre>
396 66 Mehdi Abaakouk
397 66 Mehdi Abaakouk
</pre>
398 66 Mehdi Abaakouk
399 66 Mehdi Abaakouk
400 41 Mehdi Abaakouk
<pre>
401 52 Mehdi Abaakouk
$ # Boot d'un VM avec de volume 
402 1 Mehdi Abaakouk
$ netid_net=$(neutron net-list | awk '/ttnn-net/{print $2}')
403 52 Mehdi Abaakouk
$ netid_admin=$(neutron net-list | awk '/ttnn-admin/{print $2}')
404 1 Mehdi Abaakouk
$ nova boot --nic net-id=$netid_net,v4-fixed-ip=89.234.156.249 --nic net-id=$netid_admin,v4-fixed-ip=192.168.3.100 --block-device source=volume,id=$volume_id,shutdown=preserve,bootindex=0 --flavor m1.medium --poll openstack.tetaneutral.net
405 66 Mehdi Abaakouk
</pre>
406 68 Mehdi Abaakouk
407 68 Mehdi Abaakouk
h2. Preparation du Pool SSD pour ceph
408 68 Mehdi Abaakouk
409 68 Mehdi Abaakouk
410 68 Mehdi Abaakouk
h3. Cas particulier du SSD ou ce trouve l'OS
411 68 Mehdi Abaakouk
412 68 Mehdi Abaakouk
En général avec ceph, on donne un disque, ceph créé 2 partitions une pour le journal de l'OSD, l'autre pour les datas
413 68 Mehdi Abaakouk
mais pour le SSD de tetaneutral qui a aussi l'OS, voici la méthode
414 68 Mehdi Abaakouk
415 68 Mehdi Abaakouk
Création manuelle de la partition de data ceph /dev/sda2 ici
416 68 Mehdi Abaakouk
417 68 Mehdi Abaakouk
<pre>
418 68 Mehdi Abaakouk
$ fdisk /dev/sda
419 68 Mehdi Abaakouk
420 68 Mehdi Abaakouk
n
421 68 Mehdi Abaakouk
p
422 68 Mehdi Abaakouk
<enter>
423 68 Mehdi Abaakouk
<enter>
424 68 Mehdi Abaakouk
<enter>
425 68 Mehdi Abaakouk
<enter>
426 68 Mehdi Abaakouk
w
427 68 Mehdi Abaakouk
428 68 Mehdi Abaakouk
$ partprobe
429 68 Mehdi Abaakouk
</pre>
430 68 Mehdi Abaakouk
431 68 Mehdi Abaakouk
On ajoute dans la configuration puppet de l'hyperviseur ceci, avec le journal sur la partition de l'OS:
432 68 Mehdi Abaakouk
433 68 Mehdi Abaakouk
<pre>
434 68 Mehdi Abaakouk
ttnn_ceph_osd {"/dev/sda2": journal => "/var/lib/ceph/ssd-sda2-journal"}
435 68 Mehdi Abaakouk
</pre>
436 34 Mehdi Abaakouk
437 69 Mehdi Abaakouk
438 69 Mehdi Abaakouk
h3. Configuration de la crushmap de ceph:
439 69 Mehdi Abaakouk
440 69 Mehdi Abaakouk
REF: http://ceph.com/docs/master/rados/operations/crush-map/#getcrushmap
441 69 Mehdi Abaakouk
442 69 Mehdi Abaakouk
<pre>
443 69 Mehdi Abaakouk
$ ceph osd getcrushmap -o compiled-crushmap
444 69 Mehdi Abaakouk
$ crushtool -d compiled-crushmap -o crushmap.txt
445 69 Mehdi Abaakouk
# EDIT crushmap.txt
446 69 Mehdi Abaakouk
$ crushtool -c crushmap.txt -o compiled-crushmap 
447 69 Mehdi Abaakouk
$ ceph osd setcrushmap -i compiled-crushmap
448 69 Mehdi Abaakouk
</pre>
449 69 Mehdi Abaakouk
450 69 Mehdi Abaakouk
h3. Definition de la crushmap de ttnn
451 69 Mehdi Abaakouk
452 69 Mehdi Abaakouk
453 69 Mehdi Abaakouk
454 69 Mehdi Abaakouk
455 69 Mehdi Abaakouk
456 69 Mehdi Abaakouk
457 4 Mehdi Abaakouk
458 4 Mehdi Abaakouk
h2. Management d'openstack
459 3 Mehdi Abaakouk
460 3 Mehdi Abaakouk
h3. Build and upload debian image:
461 3 Mehdi Abaakouk
462 3 Mehdi Abaakouk
<pre>
463 3 Mehdi Abaakouk
$ apt-get install openstack-debian-images
464 3 Mehdi Abaakouk
#NOTE(sileht): temporairement appliquer les patches de au-dessus
465 3 Mehdi Abaakouk
$ build-openstack-debian-image -m -r jessie  -u http://apt.tetaneutral.net/debian/ -s http://apt.tetaneutral.net/debian/
466 1 Mehdi Abaakouk
$ glance image-create --file debian-jessie-7.0.0-3-amd64.raw --is-public True --human-readable --progress --disk-format raw --container-format bare --name debian-jessie-amd64
467 1 Mehdi Abaakouk
</pre>