Projet

Général

Profil

Openstack Installation TTNN » Historique » Version 147

Mehdi Abaakouk, 07/09/2014 21:12

1 43 Laurent GUERBY
{{>toc}}
2 43 Laurent GUERBY
3 1 Mehdi Abaakouk
h1. Openstack Installation TTNN
4 1 Mehdi Abaakouk
5 44 Laurent GUERBY
h2. Liens
6 44 Laurent GUERBY
7 44 Laurent GUERBY
* http://ceph.com/docs/master/rados/operations/cache-tiering/
8 44 Laurent GUERBY
* http://ceph.com/docs/master/rados/operations/crush-map/
9 44 Laurent GUERBY
10 3 Mehdi Abaakouk
h2. Pending upstream fixes:
11 3 Mehdi Abaakouk
12 143 Mehdi Abaakouk
La liste à jour est ici: 
13 143 Mehdi Abaakouk
http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster/revisions/master/entry/manifests/nodes/openstack.pp#L27
14 1 Mehdi Abaakouk
15 4 Mehdi Abaakouk
h2. Installation
16 4 Mehdi Abaakouk
17 4 Mehdi Abaakouk
Le setup installé est composé de :
18 4 Mehdi Abaakouk
19 4 Mehdi Abaakouk
* 3 hyperviseurs (compute node) qui contiendront 1 ceph-mon, N ceph-osd, nova-compute (qui lance les VM), neutron-openvswitch-agent (qui configure le réseau des vms)
20 4 Mehdi Abaakouk
* 1 VM (controler node), qui contient tous les services de management d'openstack (nova, cinder, glance, neutron)
21 4 Mehdi Abaakouk
22 4 Mehdi Abaakouk
Les étapes d'installation sont les suivantes:
23 4 Mehdi Abaakouk
* Préparation manuelle de la VM de management sur un des hyperviseurs
24 4 Mehdi Abaakouk
* Installation de ceph et openstack sur toutes les machines avec puppet
25 4 Mehdi Abaakouk
* Déplacement de la VM de management d'openstack dans openstack.
26 4 Mehdi Abaakouk
27 33 Mehdi Abaakouk
h3. Information sur le puppet master:
28 33 Mehdi Abaakouk
29 33 Mehdi Abaakouk
La conf et modules puppet utilisé par tetaneutral.net ce trouve la:
30 33 Mehdi Abaakouk
31 33 Mehdi Abaakouk
> http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster
32 33 Mehdi Abaakouk
> http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster/revisions/master/entry/manifests/nodes/openstack.pp
33 33 Mehdi Abaakouk
34 136 Mehdi Abaakouk
Seulement c'est 3 classes sont spécifique à tetaneutral, le reste est réutilisable à condition de changer les ip, hostname, uuid et password:
35 33 Mehdi Abaakouk
36 36 Mehdi Abaakouk
> class { 'ttnn::server': }
37 36 Mehdi Abaakouk
> class { 'backup::client': }
38 36 Mehdi Abaakouk
> class { 'sexymotd': }
39 33 Mehdi Abaakouk
40 33 Mehdi Abaakouk
Les modules qui sont nécessaire pour openstack pour le reste du fichier sont:
41 33 Mehdi Abaakouk
42 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-apache.git 
43 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-apt 
44 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-ceph.git 
45 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-cinder.git 
46 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-concat.git 
47 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-glance.git 
48 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-horizon.git 
49 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-inifile.git 
50 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-keystone.git 
51 33 Mehdi Abaakouk
> https://github.com/camptocamp/puppet-kmod.git 
52 33 Mehdi Abaakouk
> https://github.com/saz/puppet-memcached.git 
53 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-mysql.git 
54 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-neutron.git 
55 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-nova.git 
56 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-rabbitmq.git 
57 33 Mehdi Abaakouk
> https://github.com/nanliu/puppet-staging.git 
58 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-stdlib.git 
59 33 Mehdi Abaakouk
> https://github.com/duritong/puppet-sysctl.git 
60 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-vcsrepo.git 
61 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-vswitch.git 
62 36 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-xinetd.git
63 33 Mehdi Abaakouk
64 33 Mehdi Abaakouk
h3. Préparation réseaux des hosts:
65 29 Mehdi Abaakouk
66 1 Mehdi Abaakouk
67 126 Mehdi Abaakouk
Preparation des bridges openvswitch:
68 126 Mehdi Abaakouk
69 1 Mehdi Abaakouk
<pre>
70 130 Mehdi Abaakouk
$ apt-get install openvswitch-switch 
71 126 Mehdi Abaakouk
$ modprobe vhost-net
72 126 Mehdi Abaakouk
$ modprobe tun
73 126 Mehdi Abaakouk
$ modprobe loop
74 144 Mehdi Abaakouk
$ ovs-vsctl add-br br3131
75 144 Mehdi Abaakouk
$ ovs-vsctl add-br br3175
76 144 Mehdi Abaakouk
$ ovs-vsctl add-br br3199
77 145 Mehdi Abaakouk
$ ip link set br3131 up 
78 144 Mehdi Abaakouk
$ ip link set br3175 up 
79 144 Mehdi Abaakouk
$ ip link set br3199 up 
80 144 Mehdi Abaakouk
$ ovs-vsctl br-set-external-id br3131 bridge-id br3131
81 144 Mehdi Abaakouk
$ ovs-vsctl br-set-external-id br3175 bridge-id br3175
82 144 Mehdi Abaakouk
$ ovs-vsctl br-set-external-id br3199 bridge-id br3199
83 126 Mehdi Abaakouk
</pre>
84 1 Mehdi Abaakouk
85 126 Mehdi Abaakouk
_note: Les bridges openvswitch sont mémorisés et recréés automatiquement par le service openvswitch-switch_
86 126 Mehdi Abaakouk
87 133 Mehdi Abaakouk
On install le fichier attachment:rc.local dans /etc/
88 133 Mehdi Abaakouk
Et le fichier attachment:tetaneutral-openstack-routing-daemon.sh dans /root/
89 1 Mehdi Abaakouk
90 133 Mehdi Abaakouk
On re-charge le fichier attachment:rc.local
91 133 Mehdi Abaakouk
92 126 Mehdi Abaakouk
<pre>
93 126 Mehdi Abaakouk
bash -x /etc/rc.local
94 126 Mehdi Abaakouk
</pre>
95 126 Mehdi Abaakouk
96 73 Mehdi Abaakouk
97 73 Mehdi Abaakouk
Sur h7.tetaneutral.net le routage est le suivant
98 6 Mehdi Abaakouk
99 17 Mehdi Abaakouk
<pre>
100 16 Mehdi Abaakouk
ip route add 89.234.156.251/32 dev eth0.3131
101 1 Mehdi Abaakouk
ip route add 89.234.156.252/32 dev eth0.3131
102 20 Mehdi Abaakouk
ip route add 89.234.156.253/32 dev eth0.3131
103 16 Mehdi Abaakouk
ip route add 2a01:6600:8083:fb00::/56 dev eth0.3131
104 16 Mehdi Abaakouk
ip route add 2a01:6600:8083:fc00::/56 dev eth0.3131
105 16 Mehdi Abaakouk
ip route add 2a01:6600:8083:fd00::/56 dev eth0.3131
106 16 Mehdi Abaakouk
</pre>
107 1 Mehdi Abaakouk
108 20 Mehdi Abaakouk
h3. Preparation de la VM de management, le controlleur
109 6 Mehdi Abaakouk
110 6 Mehdi Abaakouk
h4. Installation des prérequis
111 6 Mehdi Abaakouk
112 1 Mehdi Abaakouk
<pre>
113 129 Mehdi Abaakouk
$ apt-get install libvirt-bin openstack-debian-images virtinst
114 131 Mehdi Abaakouk
#NOTE(sileht): temporairement récupérer la dernière version:
115 131 Mehdi Abaakouk
$ curl -# http://anonscm.debian.org/cgit/openstack/openstack-debian-images.git/plain/build-openstack-debian-image > /usr/sbin/build-openstack-debian-image
116 20 Mehdi Abaakouk
</pre>
117 1 Mehdi Abaakouk
118 1 Mehdi Abaakouk
h4. Preparation de l'image de la VM
119 92 Mehdi Abaakouk
120 20 Mehdi Abaakouk
<pre>
121 20 Mehdi Abaakouk
$ vim hook.sh
122 1 Mehdi Abaakouk
set -xv
123 20 Mehdi Abaakouk
124 92 Mehdi Abaakouk
echo "openstack" > $BODI_CHROOT_PATH/etc/hostname
125 40 Mehdi Abaakouk
126 46 Mehdi Abaakouk
cat > $BODI_CHROOT_PATH/etc/resolv.conf <<EOF
127 46 Mehdi Abaakouk
domain tetaneutral.net
128 46 Mehdi Abaakouk
search tetaneutral.net
129 1 Mehdi Abaakouk
nameserver 8.8.8.8
130 46 Mehdi Abaakouk
EOF
131 46 Mehdi Abaakouk
132 92 Mehdi Abaakouk
cat > $BODI_CHROOT_PATH/etc/network/interfaces <<EOF
133 6 Mehdi Abaakouk
auto lo
134 20 Mehdi Abaakouk
iface lo inet loopback
135 1 Mehdi Abaakouk
auto eth0
136 6 Mehdi Abaakouk
iface eth0 inet manual
137 4 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth0.accept_ra=0
138 1 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth0.autoconf=0
139 4 Mehdi Abaakouk
  up ip link set eth0 up
140 10 Mehdi Abaakouk
  up ip addr add 89.234.156.249/32 dev eth0
141 16 Mehdi Abaakouk
  up ip route add 91.224.148.0/32 dev eth0
142 16 Mehdi Abaakouk
  up ip route add default via 91.224.148.0
143 20 Mehdi Abaakouk
144 1 Mehdi Abaakouk
iface eth0 inet6 static
145 7 Mehdi Abaakouk
    pre-up /sbin/sysctl -w net.ipv6.conf.eth0.accept_ra=0
146 4 Mehdi Abaakouk
    pre-up /sbin/sysctl -w net.ipv6.conf.eth0.autoconf=0
147 21 Mehdi Abaakouk
    address 2a01:6600:8083:f900::1
148 12 Mehdi Abaakouk
    netmask 56
149 4 Mehdi Abaakouk
    gateway fe80::31
150 4 Mehdi Abaakouk
151 4 Mehdi Abaakouk
auto eth1
152 5 Mehdi Abaakouk
iface eth1 inet static
153 13 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth1.accept_ra=0
154 18 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth1.autoconf=0
155 18 Mehdi Abaakouk
  address 192.168.3.100
156 18 Mehdi Abaakouk
  netmask 255.255.255.0
157 18 Mehdi Abaakouk
EOF
158 18 Mehdi Abaakouk
159 18 Mehdi Abaakouk
mkdir -p $BODI_CHROOT_PATH/root/.ssh
160 59 Mehdi Abaakouk
chmod 600 $BODI_CHROOT_PATH/root/.ssh
161 59 Mehdi Abaakouk
cat >> $BODI_CHROOT_PATH/root/.ssh/authorized_keys <<EOF
162 11 Mehdi Abaakouk
ssh-dss AAAAB3NzaC1kc3MAAACBAJtnGLvuz4uVD6fnERDxDi/C0UyzwCiKmgNtEessopREYasAX4Gu6Fg10jAyIL5Nuc7YDnqj//pOfxNjD7hp99a2ZmkRQgh/ltClxYML9fqhBHgsUCpVse9nOYDHDnDgvXIPRSDUHat2UFpdchHVrFURNLIlZnBztsr+GCDURTV/AAAAFQD9SrBcH49ltaKOm6V5ssCPmgs1SwAAAIAbAvkQ3/tMzzdACO5B9s5Yb3ZuM7XImm0iqufivVf2Xy39g8HOBulUsN7eKEGPhVriqNolgIO7q7tVgYAff4/NE4yDP0Kp0SPg4tjt2yFJuL31Y3wzwHjnKrjgNlDSLl3uZnRXSipwUMwGKbdHB6NZSqlq192VKbHilQ00pbiMlAAAAIB5dfB1lVHkJ0o5CcaVQRPbca9DvbbRwnoTSmKHc5DUcqsPqDhS07CkM9ZcJuY1Nh4wGl4Q9kArj7Tnsvvygf/HReSUcIk4+nbDytJ8/pca/Qx4fzQQyppa94TylN62LSFT6MIJKLoMwYa0dQURT7Mv5+9Qj2vk5pZ38w2iQ9zVCg== root@h1
163 4 Mehdi Abaakouk
EOF
164 4 Mehdi Abaakouk
165 6 Mehdi Abaakouk
sed -i -e 's/^.*Port.*$/Port 2222/' -e 's/^[# ]*PasswordAuthentication.*$/PasswordAuthentication no/' $BODI_CHROOT_PATH/etc/ssh/sshd_config
166 4 Mehdi Abaakouk
chroot $BODI_CHROOT_PATH dpkg-reconfigure openssh-server
167 4 Mehdi Abaakouk
chroot $BODI_CHROOT_PATH apt-get purge -y cloud-init*
168 8 Mehdi Abaakouk
</pre>
169 1 Mehdi Abaakouk
170 90 Mehdi Abaakouk
<pre>
171 90 Mehdi Abaakouk
$ chmod +x hook.sh
172 90 Mehdi Abaakouk
$ build-openstack-debian-image --image-size 20  --release jessie -u http://apt.tetaneutral.net/debian/ -s http://apt.tetaneutral.net/debian/ --hook-script $(pwd)/hook.sh
173 90 Mehdi Abaakouk
$ mv debian-jessie-7.0.0-3-amd64.raw /openstack.raw 
174 90 Mehdi Abaakouk
$ rm debian-jessie-7.0.0-3-amd64.qcow2
175 90 Mehdi Abaakouk
</pre>
176 90 Mehdi Abaakouk
177 90 Mehdi Abaakouk
_note: la derniere commande lancée par le script doit être 'qemu-img convert -c -f raw .... , sinon l'image de bootera pas_
178 90 Mehdi Abaakouk
_note(jessie): si l'erreur est celle ci-dessous, relancer manuellement 'kpartx -d debian-jessie-7.0.0-3-amd64.raw' jusqu'a ce que l'erreur disparaissent et le .raw est utilisable:_
179 90 Mehdi Abaakouk
<pre>
180 6 Mehdi Abaakouk
+ 'kpartx -d debian-jessie-7.0.0-3-amd64.raw'
181 1 Mehdi Abaakouk
device-mapper: remove ioctl on loop0p1 failed: Device or resource busy
182 1 Mehdi Abaakouk
loop deleted : /dev/loop0
183 4 Mehdi Abaakouk
</pre>
184 93 Mehdi Abaakouk
_note: si parted freeze -> lancer /etc/init.d/udev restart_
185 19 Mehdi Abaakouk
186 128 Mehdi Abaakouk
187 128 Mehdi Abaakouk
On garde l'image raw qui sera importable dans ceph plus tard et on la mets à la racine pour qui l'utilisateur libvirt puisse y accéder.
188 19 Mehdi Abaakouk
189 24 Mehdi Abaakouk
h4. Installation de la VM
190 19 Mehdi Abaakouk
191 1 Mehdi Abaakouk
<pre>
192 147 Mehdi Abaakouk
$ brctl addbr br-vm-mgmt
193 147 Mehdi Abaakouk
$ ip link set br-vm-mgmt up
194 147 Mehdi Abaakouk
$ ip -4 addr add 91.224.148.0/32 dev br-vm-mgmt
195 147 Mehdi Abaakouk
$ ip -6 addr add fe80::31/64 dev br-vm-mgmt
196 147 Mehdi Abaakouk
$ ip route add 89.234.156.249/32 dev br-vm-mgmt
197 147 Mehdi Abaakouk
$ ip -6 route add 2a01:6600:8083:f900::/56 dev br-vm-mgmt
198 147 Mehdi Abaakouk
$
199 144 Mehdi Abaakouk
$ virt-install --name openstack --ram 2048 --network bridge=br-vm-mgmt,model=virtio --network bridge=br3175,model=virtio --network bridge=br3199,model=virtio --nographics --serial pty --wait -1 --noreboot --autostart --disk /openstack.raw,bus=virtio,cache=none,io=native --import
200 22 Mehdi Abaakouk
$ EDITOR="sed -i -e \"s,<source bridge='br3175'/>,<source bridge='br3175'/><virtualport type='openvswitch' />,g\"" virsh edit openstack # Openvswitch is not yet supported by virt-install 
201 144 Mehdi Abaakouk
$ EDITOR="sed -i -e \"s,<source bridge='br3199'/>,<source bridge='br3199'/><virtualport type='openvswitch' />,g\"" virsh edit openstack # Openvswitch is not yet supported by virt-install 
202 144 Mehdi Abaakouk
$ virsh  start openstack
203 1 Mehdi Abaakouk
$ ssh root@89.234.156.249 -p 2222
204 19 Mehdi Abaakouk
</pre>
205 19 Mehdi Abaakouk
206 24 Mehdi Abaakouk
Une fois connecté à la VM:
207 26 Mehdi Abaakouk
208 26 Mehdi Abaakouk
<pre>
209 4 Mehdi Abaakouk
$ apt-get install puppet
210 26 Mehdi Abaakouk
$ puppet agent --enable
211 32 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
212 26 Mehdi Abaakouk
Info: Caching certificate for ca
213 34 Mehdi Abaakouk
Info: csr_attributes file loading from /etc/puppet/csr_attributes.yaml
214 34 Mehdi Abaakouk
Info: Creating a new SSL certificate request for openstack.tetaneutral.net
215 35 Mehdi Abaakouk
Info: Certificate Request fingerprint (SHA256): AE:72:47:40:A0:E2:F4:59:BA:39:FA:3D:C2:A7:C9:1B:9F:87:A5:B7:65:3A:F9:D4:DE:AF:E2:A3:02:41:0F:2E
216 94 Mehdi Abaakouk
Info: Caching certificate for ca
217 35 Mehdi Abaakouk
Exiting; no certificate found and waitforcert is disabled
218 35 Mehdi Abaakouk
</pre>
219 35 Mehdi Abaakouk
220 35 Mehdi Abaakouk
Sur le puppetmaster:
221 35 Mehdi Abaakouk
222 35 Mehdi Abaakouk
<pre>
223 35 Mehdi Abaakouk
$ puppet ca sign openstack.tetaneutral.net 
224 35 Mehdi Abaakouk
</pre>
225 35 Mehdi Abaakouk
_note: si un vieux cert existe: puppet ca revoke openstack.tetaneutral.net ; puppet cert clean openstack.tetaneutral.net; puppet node clean openstack.tetaneutral.net_
226 35 Mehdi Abaakouk
227 35 Mehdi Abaakouk
De nouveau sur la VM:
228 35 Mehdi Abaakouk
229 35 Mehdi Abaakouk
<pre>
230 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
231 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
232 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
233 35 Mehdi Abaakouk
</pre>
234 64 Mehdi Abaakouk
235 35 Mehdi Abaakouk
Il ne doit plus y avoir d'erreur la 3°/4° fois.
236 35 Mehdi Abaakouk
237 35 Mehdi Abaakouk
h3. Configuration des hyperviseurs
238 35 Mehdi Abaakouk
239 35 Mehdi Abaakouk
Une fois la configuration réseau faite, tout ce fait avec puppet:
240 35 Mehdi Abaakouk
241 35 Mehdi Abaakouk
<pre>
242 35 Mehdi Abaakouk
$ apt-get install puppet
243 35 Mehdi Abaakouk
$ puppet agent --enable
244 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
245 35 Mehdi Abaakouk
Info: Caching certificate for ca
246 35 Mehdi Abaakouk
Info: csr_attributes file loading from /etc/puppet/csr_attributes.yaml
247 35 Mehdi Abaakouk
Info: Creating a new SSL certificate request for openstack.tetaneutral.net
248 35 Mehdi Abaakouk
Info: Certificate Request fingerprint (SHA256): AE:72:47:40:A0:E2:F4:59:BA:39:FA:3D:C2:A7:C9:1B:9F:87:A5:B7:65:3A:F9:D4:DE:AF:E2:A3:02:41:0F:2E
249 35 Mehdi Abaakouk
Info: Caching certificate for ca
250 35 Mehdi Abaakouk
Exiting; no certificate found and waitforcert is disabled
251 35 Mehdi Abaakouk
</pre>
252 35 Mehdi Abaakouk
253 101 Mehdi Abaakouk
Sur le puppetmaster:
254 35 Mehdi Abaakouk
255 35 Mehdi Abaakouk
<pre>
256 35 Mehdi Abaakouk
$ puppet ca sign openstack.tetaneutral.net 
257 35 Mehdi Abaakouk
</pre>
258 35 Mehdi Abaakouk
_note: si un vieux cert existe: puppet ca revoke openstack.tetaneutral.net ; puppet cert clean openstack.tetaneutral.net; puppet node clean openstack.tetaneutral.net_
259 35 Mehdi Abaakouk
260 35 Mehdi Abaakouk
De nouveau sur la VM:
261 35 Mehdi Abaakouk
262 35 Mehdi Abaakouk
<pre>
263 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
264 100 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
265 100 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
266 100 Mehdi Abaakouk
</pre>
267 100 Mehdi Abaakouk
268 35 Mehdi Abaakouk
Il ne doit plus y avoir d'erreur la 3°/4° fois.
269 1 Mehdi Abaakouk
270 72 Mehdi Abaakouk
h4. Information sur la configuration d'un hyperviseur sur le puppet master
271 37 Mehdi Abaakouk
272 38 Mehdi Abaakouk
La configuration puppet ressemble à :
273 38 Mehdi Abaakouk
274 109 Mehdi Abaakouk
<pre>
275 1 Mehdi Abaakouk
node "gX.tetaneutral.net" inherits openstack_node_common {
276 120 Mehdi Abaakouk
  # Configuration du routerid et de l'AS number de cette machine
277 1 Mehdi Abaakouk
  # Il faut aussi mettre la conf bgp de h7 ainsi que les fichiers 
278 1 Mehdi Abaakouk
  # /etc/puppet/manifests/files/openstack-bird.conf.erb et
279 125 Mehdi Abaakouk
  # /etc/puppet/manifests/files/openstack-bird6.conf.erb
280 125 Mehdi Abaakouk
  # pour ajouter cette AS interne
281 97 Mehdi Abaakouk
  ttnn_os_bird {'198.51.100.1': asnum => "65001"}
282 109 Mehdi Abaakouk
283 120 Mehdi Abaakouk
  # Dans le cas d'une moniteur ceph, mais uniquement 3 suffissent, on a déjà g1,g2,g3
284 109 Mehdi Abaakouk
  ttnn_ceph_mon {$::hostname:}
285 88 Mehdi Abaakouk
  # Sinon utilisait:
286 88 Mehdi Abaakouk
  # class{"ttnn_ceph_osd_only": }
287 109 Mehdi Abaakouk
288 88 Mehdi Abaakouk
  # La partie Openstack, l'uuid doit être unique par machine (générer avec uuid-gen)
289 109 Mehdi Abaakouk
  ttnn_os_compute {"9d26ec10-a48b-4f0f-a122-f10ed16d270f": }
290 109 Mehdi Abaakouk
}
291 109 Mehdi Abaakouk
</pre>
292 109 Mehdi Abaakouk
293 109 Mehdi Abaakouk
h3. Déplacement du disk du controlleur dans le cluster ceph
294 109 Mehdi Abaakouk
295 97 Mehdi Abaakouk
Les recettes puppet on créé un pool disks pour les mettres les VMs et volumes de VM
296 97 Mehdi Abaakouk
297 109 Mehdi Abaakouk
298 97 Mehdi Abaakouk
Sur g1, on import le disque de la VM dans ceph et on modifie la conf libvirt:
299 97 Mehdi Abaakouk
300 109 Mehdi Abaakouk
<pre>
301 111 Mehdi Abaakouk
$ virsh shutdown openstack
302 1 Mehdi Abaakouk
$ rbd -p disks import /var/lib/ceph/osd/ceph-0/openstack.raw  openstack-disk
303 1 Mehdi Abaakouk
$ virsh edit openstack
304 1 Mehdi Abaakouk
</pre>
305 120 Mehdi Abaakouk
306 109 Mehdi Abaakouk
Remplacer: 
307 112 Mehdi Abaakouk
<pre>
308 109 Mehdi Abaakouk
    <disk type='file' device='disk'>
309 109 Mehdi Abaakouk
      <driver name='qemu' type='raw' cache='none' io='native'/>
310 109 Mehdi Abaakouk
      <source file='/var/lib/ceph/osd/ceph-0/openstack.raw'/>
311 110 Mehdi Abaakouk
      <target dev='vda' bus='virtio'/>
312 109 Mehdi Abaakouk
      <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
313 97 Mehdi Abaakouk
    </disk>
314 97 Mehdi Abaakouk
</pre>
315 109 Mehdi Abaakouk
316 97 Mehdi Abaakouk
Par:
317 97 Mehdi Abaakouk
318 109 Mehdi Abaakouk
<pre>
319 109 Mehdi Abaakouk
    <disk type='network' device='disk'>
320 109 Mehdi Abaakouk
        <driver name='qemu' type='raw'/>
321 109 Mehdi Abaakouk
        <source protocol='rbd' name='disks/openstack-disk'>
322 144 Mehdi Abaakouk
                <host name='192.168.99.101' port='6789'/>
323 144 Mehdi Abaakouk
                <host name='192.168.99.102' port='6789'/>
324 144 Mehdi Abaakouk
                <host name='192.168.99.103' port='6789'/>
325 97 Mehdi Abaakouk
        </source>
326 97 Mehdi Abaakouk
        <auth username='openstack-service'>
327 109 Mehdi Abaakouk
            <secret type='ceph' uuid='1fe74663-8dfa-486c-bb80-3bd94c90c967'/>
328 97 Mehdi Abaakouk
        </auth>
329 97 Mehdi Abaakouk
        <target dev='vda' bus='virtio'/>
330 97 Mehdi Abaakouk
        <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
331 97 Mehdi Abaakouk
    </disk>
332 97 Mehdi Abaakouk
</pre>
333 97 Mehdi Abaakouk
334 97 Mehdi Abaakouk
La clé ceph pour libvirt a déjà été installé par puppet pour avoir sont uuid:
335 97 Mehdi Abaakouk
336 97 Mehdi Abaakouk
<pre>
337 97 Mehdi Abaakouk
$ virsh secret-list
338 97 Mehdi Abaakouk
 UUID                                  Usage
339 97 Mehdi Abaakouk
--------------------------------------------------------------------------------
340 97 Mehdi Abaakouk
 1fe74663-8dfa-486c-bb80-3bd94c90c967  ceph client.openstack-service secret
341 97 Mehdi Abaakouk
</pre>
342 97 Mehdi Abaakouk
343 97 Mehdi Abaakouk
Puis on démarre
344 97 Mehdi Abaakouk
345 97 Mehdi Abaakouk
<pre>
346 97 Mehdi Abaakouk
$ virsh start openstack
347 97 Mehdi Abaakouk
</pre>
348 97 Mehdi Abaakouk
349 97 Mehdi Abaakouk
350 97 Mehdi Abaakouk
Ca marche !
351 97 Mehdi Abaakouk
352 97 Mehdi Abaakouk
<pre>
353 68 Mehdi Abaakouk
$ ssh openstack.t
354 68 Mehdi Abaakouk
X11 forwarding request failed on channel 0
355 68 Mehdi Abaakouk
356 68 Mehdi Abaakouk
  server: openstack.tetaneutral.net
357 102 Mehdi Abaakouk
  system: Debian jessie/sid, kernel 3.14-2-amd64, puppet 3.6.1
358 1 Mehdi Abaakouk
     cpu: 1/1 (QEMU Virtual CPU version 2.1.0)
359 102 Mehdi Abaakouk
  memory: 1.96 GB
360 1 Mehdi Abaakouk
361 102 Mehdi Abaakouk
    eth0: 52:54:00:90:d8:c7 / 89.234.156.249 / 2a01:6600:8083:f900::1
362 102 Mehdi Abaakouk
    eth1: 52:54:00:13:fa:13 / 192.168.3.100
363 68 Mehdi Abaakouk
364 68 Mehdi Abaakouk
 modules: openstack_node_common ttnn::server resolver checkmk::agent checkmk::client rsyslog::client rsyslog apt apt::update puppet nullmailer backup::client sexymotd 
365 68 Mehdi Abaakouk
                            _             _    
366 68 Mehdi Abaakouk
  ___  _ __   ___ _ __  ___| |_ __ _  ___| | __
367 68 Mehdi Abaakouk
 / _ \| '_ \ / _ \ '_ \/ __| __/ _` |/ __| |/ /
368 68 Mehdi Abaakouk
| (_) | |_) |  __/ | | \__ \ || (_| | (__|   < 
369 68 Mehdi Abaakouk
 \___/| .__/ \___|_| |_|___/\__\__,_|\___|_|\_\
370 68 Mehdi Abaakouk
      |_|                                      
371 68 Mehdi Abaakouk
Last login: Wed Aug 27 08:10:02 2014 from atoulouse-652-1-119-50.w2-6.abo.wanadoo.fr
372 68 Mehdi Abaakouk
root@openstack:~# 
373 68 Mehdi Abaakouk
374 68 Mehdi Abaakouk
</pre>
375 68 Mehdi Abaakouk
376 68 Mehdi Abaakouk
h2. Preparation des OSD pour ceph
377 68 Mehdi Abaakouk
378 68 Mehdi Abaakouk
h3. Cas général un disque entier:
379 68 Mehdi Abaakouk
380 68 Mehdi Abaakouk
$ ceph-disk prepare /dev/sdb
381 68 Mehdi Abaakouk
$ ceph-disk activate /dev/sdb
382 68 Mehdi Abaakouk
383 1 Mehdi Abaakouk
h3. Cas particulier du SSD ou ce trouve l'OS
384 68 Mehdi Abaakouk
385 103 Mehdi Abaakouk
En général avec ceph, on donne un disque, ceph créé 2 partitions une pour le journal de l'OSD, l'autre pour les datas
386 1 Mehdi Abaakouk
mais pour le SSD de tetaneutral qui a aussi l'OS, voici la méthode
387 34 Mehdi Abaakouk
388 103 Mehdi Abaakouk
Création manuelle de la partition de data ceph /dev/sda2 ici
389 102 Mehdi Abaakouk
390 1 Mehdi Abaakouk
<pre>
391 1 Mehdi Abaakouk
$ fdisk /dev/sda
392 102 Mehdi Abaakouk
393 102 Mehdi Abaakouk
n
394 102 Mehdi Abaakouk
p
395 102 Mehdi Abaakouk
<enter>
396 102 Mehdi Abaakouk
<enter>
397 102 Mehdi Abaakouk
<enter>
398 102 Mehdi Abaakouk
<enter>
399 104 Mehdi Abaakouk
w
400 104 Mehdi Abaakouk
401 104 Mehdi Abaakouk
$ partprobe
402 104 Mehdi Abaakouk
</pre>
403 104 Mehdi Abaakouk
404 104 Mehdi Abaakouk
On prepare le disk comme normalement
405 105 Mehdi Abaakouk
406 104 Mehdi Abaakouk
<pre>
407 104 Mehdi Abaakouk
ceph-disk prepare /dev/sda2
408 106 Mehdi Abaakouk
ceph-disk activate /dev/sda2
409 104 Mehdi Abaakouk
</pre>
410 104 Mehdi Abaakouk
411 116 Mehdi Abaakouk
Le disque n'étant pas utilisé uniquement par ceph, le service ceph ne le chargera pas automatiquement:
412 116 Mehdi Abaakouk
Il faut ajouter ceci dans le /etc/rc.local:
413 116 Mehdi Abaakouk
414 116 Mehdi Abaakouk
<pre>
415 116 Mehdi Abaakouk
ceph-disk activate /dev/sda2
416 116 Mehdi Abaakouk
</pre>
417 116 Mehdi Abaakouk
418 116 Mehdi Abaakouk
3. Suppression OSD:
419 116 Mehdi Abaakouk
420 116 Mehdi Abaakouk
<pre>
421 116 Mehdi Abaakouk
name="osd.2"
422 116 Mehdi Abaakouk
ceph osd out ${name}
423 116 Mehdi Abaakouk
/etc/init.d/ceph stop ${name}
424 116 Mehdi Abaakouk
ceph osd crush remove ${name}
425 116 Mehdi Abaakouk
ceph auth del ${name}
426 116 Mehdi Abaakouk
ceph osd rm ${name}
427 116 Mehdi Abaakouk
ceph osd tree
428 116 Mehdi Abaakouk
</pre>
429 116 Mehdi Abaakouk
430 116 Mehdi Abaakouk
h2. Configuration des Placements Groups des pools:
431 116 Mehdi Abaakouk
432 142 Mehdi Abaakouk
Par défaut les pools sont créés avec des placements groups à 8 (pg_num=8), 3 replicats, avec un tolérance à 2, si il manque des OSDs" 
433 116 Mehdi Abaakouk
434 116 Mehdi Abaakouk
Mais cette valeur (pg_num) défini le bon fonctionnement de ceph. Dans le cas standard (ie: 1 seul pool) la recette est facile: 
435 116 Mehdi Abaakouk
436 116 Mehdi Abaakouk
<pre>
437 116 Mehdi Abaakouk
               (OSDs * 100)
438 116 Mehdi Abaakouk
Total PGs = (  ------------  )
439 116 Mehdi Abaakouk
              OSD per object
440 116 Mehdi Abaakouk
</pre>
441 116 Mehdi Abaakouk
442 142 Mehdi Abaakouk
On arrondi à la puissance de 2 supérieurs. Mais dans notre cas 3 pools ce n'est pas si simple, les pools auront des cas d'utilisation différent:
443 116 Mehdi Abaakouk
444 116 Mehdi Abaakouk
Ma proposition de configuration:
445 107 Mehdi Abaakouk
* Pool ssds: il a 3 OSDs pour lui tout seul, on applique la recette magique: 3*100/3 ~= 128 pgs
446 1 Mehdi Abaakouk
* Pools images et disks: ils ont 3 OSDs à ce partager donc il faut répartir les 128 pgs. soit 32pgs et 96pgs (PS: il faut au moins 20pgs pour 3 réplicats)
447 69 Mehdi Abaakouk
448 1 Mehdi Abaakouk
Soit:
449 1 Mehdi Abaakouk
<pre>
450 79 Mehdi Abaakouk
ceph osd pool set ssds pg_num 128
451 1 Mehdi Abaakouk
ceph osd pool set images pg_num 32
452 1 Mehdi Abaakouk
ceph osd pool set disks pg_num 96
453 1 Mehdi Abaakouk
454 1 Mehdi Abaakouk
# attendre un peu qu'il y est plus de pg_create dans 'ceph -s'
455 121 Mehdi Abaakouk
ceph osd pool set ssds pgp_num 128  
456 121 Mehdi Abaakouk
ceph osd pool set images pgp_num 32
457 121 Mehdi Abaakouk
ceph osd pool set disks pgp_num 96
458 121 Mehdi Abaakouk
</pre>
459 1 Mehdi Abaakouk
460 107 Mehdi Abaakouk
461 1 Mehdi Abaakouk
462 107 Mehdi Abaakouk
_ref: http://ceph.com/docs/master/rados/operations/placement-groups/_
463 107 Mehdi Abaakouk
464 1 Mehdi Abaakouk
h2. Preparation du Pool SSD pour ceph 
465 107 Mehdi Abaakouk
466 107 Mehdi Abaakouk
Chaque machine se trouve dans 2 hosts, un host SSD et un host HARDDISK (même si en réalité les deux sont sur la même machine physique),
467 107 Mehdi Abaakouk
468 107 Mehdi Abaakouk
Ensuite on créé 2 object root un pour les hosts SSD et un autre pour les host HARDDISK
469 107 Mehdi Abaakouk
470 107 Mehdi Abaakouk
On créé ensuite 2 règles de stockage une qui envoie les objects vers le root SSD et l'autre vers le root HARDDISK
471 107 Mehdi Abaakouk
472 107 Mehdi Abaakouk
Cela permettra d'avoir de définir une règle différente suivant les pools ceph.
473 107 Mehdi Abaakouk
474 107 Mehdi Abaakouk
Niveau Openstack nous avons 3 pools:
475 107 Mehdi Abaakouk
* disks: Ce pool aura les disques de VM et les volumes attaché
476 107 Mehdi Abaakouk
* ssds: Ce pool contiendra les volumes sur ssd
477 107 Mehdi Abaakouk
* images: c'est la que seront stocké les images de VMs (glance).
478 122 Mehdi Abaakouk
479 122 Mehdi Abaakouk
h3. Configuration de la crushmap de ceph:
480 122 Mehdi Abaakouk
481 135 Mehdi Abaakouk
Il faut s'assurer que la crushmap n'est pas en mode automatique (c'est déjà configuré par puppet):
482 122 Mehdi Abaakouk
483 1 Mehdi Abaakouk
<pre>
484 135 Mehdi Abaakouk
[global]
485 135 Mehdi Abaakouk
osd crush update on start = false
486 135 Mehdi Abaakouk
</pre>
487 135 Mehdi Abaakouk
488 135 Mehdi Abaakouk
Création de l'arbre de rangement physique des SSD, l'arbre nommé 'default' sera donc celui des disques durs
489 135 Mehdi Abaakouk
490 135 Mehdi Abaakouk
<pre>
491 122 Mehdi Abaakouk
$ ceph osd crush add-bucket ssd root
492 122 Mehdi Abaakouk
$ ceph osd crush add-bucket g1-ssd host
493 122 Mehdi Abaakouk
$ ceph osd crush add-bucket g2-ssd host
494 122 Mehdi Abaakouk
$ ceph osd crush add-bucket g3-ssd host
495 1 Mehdi Abaakouk
$ ceph osd crush move g1-ssd root=ssd
496 1 Mehdi Abaakouk
$ ceph osd crush move g2-ssd root=ssd
497 1 Mehdi Abaakouk
$ ceph osd crush move g3-ssd root=ssd
498 107 Mehdi Abaakouk
$ ceph osd tree
499 107 Mehdi Abaakouk
# id	weight	type name	up/down	reweight
500 1 Mehdi Abaakouk
-5	0	root ssd
501 118 Mehdi Abaakouk
-6	0		host g1-ssd
502 118 Mehdi Abaakouk
-7	0		host g2-ssd
503 118 Mehdi Abaakouk
-8	0		host g3-ssd
504 118 Mehdi Abaakouk
-1	3	root default
505 117 Mehdi Abaakouk
-2	1		host g1
506 117 Mehdi Abaakouk
0	1			osd.0	up	1	
507 117 Mehdi Abaakouk
3	1			osd.3	up	1	
508 118 Mehdi Abaakouk
-3	1		host g2
509 118 Mehdi Abaakouk
1	1			osd.1	up	1	
510 107 Mehdi Abaakouk
4	1			osd.4	up	1	
511 107 Mehdi Abaakouk
-4	1		host g3
512 122 Mehdi Abaakouk
2	1			osd.2	up	1	
513 122 Mehdi Abaakouk
5	1			osd.5	up	1	
514 122 Mehdi Abaakouk
</pre>
515 122 Mehdi Abaakouk
516 122 Mehdi Abaakouk
517 122 Mehdi Abaakouk
On range les osd qui ont des disques SSD dans ce nouvel arbre.
518 122 Mehdi Abaakouk
519 122 Mehdi Abaakouk
<pre>
520 122 Mehdi Abaakouk
$ ceph osd crush add osd.3 1  root=ssd host=g1-ssd
521 122 Mehdi Abaakouk
$ ceph osd crush add osd.4 1  root=ssd host=g2-ssd
522 122 Mehdi Abaakouk
$ ceph osd crush add osd.5 1  root=ssd host=g3-ssd
523 122 Mehdi Abaakouk
# Ou si l'osd a déjà éte positionné une fois
524 122 Mehdi Abaakouk
$ ceph osd crush set osd.3 1  root=ssd host=g1-ssd
525 122 Mehdi Abaakouk
$ ceph osd crush set osd.4 1  root=ssd host=g2-ssd
526 96 Mehdi Abaakouk
$ ceph osd crush set osd.5 1  root=ssd host=g3-ssd
527 96 Mehdi Abaakouk
528 108 Mehdi Abaakouk
# Vérifier le résultat
529 107 Mehdi Abaakouk
$ ceph osd tree
530 96 Mehdi Abaakouk
# id	weight	type name	up/down	reweight
531 96 Mehdi Abaakouk
-5	3	root ssd
532 121 Mehdi Abaakouk
-6	1		host g1-ssd
533 96 Mehdi Abaakouk
3	1			osd.3	up	1	
534 107 Mehdi Abaakouk
-7	1		host g2-ssd
535 107 Mehdi Abaakouk
4	1			osd.4	up	1	
536 107 Mehdi Abaakouk
-8	1		host g3-ssd
537 107 Mehdi Abaakouk
5	1			osd.5	up	1	
538 107 Mehdi Abaakouk
-1	3	root default
539 107 Mehdi Abaakouk
-2	1		host g1
540 107 Mehdi Abaakouk
0	1			osd.0	up	1	
541 107 Mehdi Abaakouk
-3	1		host g2
542 107 Mehdi Abaakouk
1	1			osd.1	up	1	
543 107 Mehdi Abaakouk
-4	1		host g3
544 107 Mehdi Abaakouk
2	1			osd.2	up	1	
545 107 Mehdi Abaakouk
</pre>
546 107 Mehdi Abaakouk
547 107 Mehdi Abaakouk
h3. Definition de la crushmap de ttnn
548 107 Mehdi Abaakouk
549 107 Mehdi Abaakouk
550 107 Mehdi Abaakouk
Une fois la crushmap modifié on créée et applique la règle sur le pool ssds:
551 107 Mehdi Abaakouk
552 107 Mehdi Abaakouk
<pre>
553 107 Mehdi Abaakouk
$ ceph osd crush rule create-simple ssd_replicated_ruleset ssd host firstn
554 107 Mehdi Abaakouk
$ ceph osd crush rule dump
555 107 Mehdi Abaakouk
[
556 107 Mehdi Abaakouk
    { "rule_id": 0,
557 107 Mehdi Abaakouk
      "rule_name": "replicated_ruleset",
558 1 Mehdi Abaakouk
      "ruleset": 0,
559 107 Mehdi Abaakouk
      "type": 1,
560 107 Mehdi Abaakouk
      "min_size": 1,
561 107 Mehdi Abaakouk
      "max_size": 10,
562 107 Mehdi Abaakouk
      "steps": [
563 107 Mehdi Abaakouk
            { "op": "take",
564 107 Mehdi Abaakouk
              "item": -1,
565 1 Mehdi Abaakouk
              "item_name": "default"},
566 121 Mehdi Abaakouk
            { "op": "chooseleaf_firstn",
567 1 Mehdi Abaakouk
              "num": 0,
568 1 Mehdi Abaakouk
              "type": "host"},
569 107 Mehdi Abaakouk
            { "op": "emit"}]},
570 1 Mehdi Abaakouk
    { "rule_id": 1,
571 1 Mehdi Abaakouk
      "rule_name": "ssd_replicated_ruleset",
572 107 Mehdi Abaakouk
      "ruleset": 1,
573 1 Mehdi Abaakouk
      "type": 1,
574 1 Mehdi Abaakouk
      "min_size": 1,
575 1 Mehdi Abaakouk
      "max_size": 10,
576 113 Mehdi Abaakouk
      "steps": [
577 114 Mehdi Abaakouk
            { "op": "take",
578 1 Mehdi Abaakouk
              "item": -5,
579 114 Mehdi Abaakouk
              "item_name": "ssd"},
580 113 Mehdi Abaakouk
            { "op": "chooseleaf_firstn",
581 113 Mehdi Abaakouk
              "num": 0,
582 113 Mehdi Abaakouk
              "type": "host"},
583 113 Mehdi Abaakouk
            { "op": "emit"}]}]
584 113 Mehdi Abaakouk
585 113 Mehdi Abaakouk
$ ceph osd pool set ssds crush_ruleset 1
586 113 Mehdi Abaakouk
</pre>
587 1 Mehdi Abaakouk
588 114 Mehdi Abaakouk
Il faut ensuite attendre que ceph redistribue les data comme on lui a demandé, on peut suivre l'avancement avec :
589 114 Mehdi Abaakouk
590 114 Mehdi Abaakouk
<pre>
591 114 Mehdi Abaakouk
ceph -s
592 114 Mehdi Abaakouk
</pre>
593 115 Mehdi Abaakouk
594 115 Mehdi Abaakouk
h2. Management d'openstack
595 114 Mehdi Abaakouk
596 138 Mehdi Abaakouk
h3. Exemple de migration de ganeti à openstack:
597 138 Mehdi Abaakouk
598 138 Mehdi Abaakouk
Sur g1:
599 138 Mehdi Abaakouk
<pre>
600 138 Mehdi Abaakouk
mkdir -p /var/lib/ceph/osd/ceph-0/migration_ganeti
601 138 Mehdi Abaakouk
</pre>
602 138 Mehdi Abaakouk
603 138 Mehdi Abaakouk
Sur h4:
604 138 Mehdi Abaakouk
<pre>
605 138 Mehdi Abaakouk
$ gnt-instance stop VMNAME.tetaneutral.net
606 138 Mehdi Abaakouk
$ gnt-instance activate-disks VMNAME.tetaneutral.net
607 138 Mehdi Abaakouk
h5.tetaneutral.net:disk/0:/dev/drbd34
608 138 Mehdi Abaakouk
</pre>
609 138 Mehdi Abaakouk
610 138 Mehdi Abaakouk
611 138 Mehdi Abaakouk
Sur g1, mettre l'image dans glance
612 138 Mehdi Abaakouk
<pre>
613 138 Mehdi Abaakouk
name=VMNAME.tetaneutral.net
614 138 Mehdi Abaakouk
glance image-create --name temp-$name --disk-format raw --container-format bare < <(ssh -P2222 root@h5 "dd if=/dev/drbd18")
615 138 Mehdi Abaakouk
image_id=$(glance image-show temp-$name | awk '/ id /{print $4}')
616 138 Mehdi Abaakouk
</pre>
617 138 Mehdi Abaakouk
618 139 Mehdi Abaakouk
Crée un volume avec cette image (remplacer 20 par la taille du disque désiré):
619 138 Mehdi Abaakouk
<pre>
620 138 Mehdi Abaakouk
cinder create --display-name ${name}-bootdisk --image-id $image_id 20
621 138 Mehdi Abaakouk
</pre>
622 138 Mehdi Abaakouk
623 140 Mehdi Abaakouk
Attendre que le disque soit pret:
624 140 Mehdi Abaakouk
<pre>
625 140 Mehdi Abaakouk
cinder list | grep ${name}-bootdisk
626 140 Mehdi Abaakouk
</pre>
627 140 Mehdi Abaakouk
628 138 Mehdi Abaakouk
Booter la VM avec ce disque:
629 138 Mehdi Abaakouk
<pre>
630 138 Mehdi Abaakouk
volume_id=$(cinder show ${name}-bootdisk | awk '/ id /{print $4}')
631 138 Mehdi Abaakouk
netid=$(neutron net-list | awk '/ttnn-net-bridged/{print $2}')
632 138 Mehdi Abaakouk
nova boot --nic net-id=$net_id --block-device source=volume,id=$volume_id,dest=volume,size=$disksize,shutdown=preserve,bootindex=0 --flavor m1.small $poll
633 138 Mehdi Abaakouk
${name}
634 1 Mehdi Abaakouk
</pre>
635 1 Mehdi Abaakouk
636 140 Mehdi Abaakouk
_Note: Si le disque a été agrandi, il est conseillé de lancer "growpart /dev/vda 1" dans la VM_
637 139 Mehdi Abaakouk
638 138 Mehdi Abaakouk
Supprimer l'image d'origine
639 138 Mehdi Abaakouk
<pre>
640 138 Mehdi Abaakouk
glance image-delete temp-$name
641 138 Mehdi Abaakouk
</pre>
642 138 Mehdi Abaakouk
643 138 Mehdi Abaakouk
Quand c'est fini sur h4:
644 138 Mehdi Abaakouk
645 138 Mehdi Abaakouk
<pre>
646 138 Mehdi Abaakouk
gnt-instance deactivate-disks VMNAME.tetaneutral.net
647 138 Mehdi Abaakouk
</pre>
648 138 Mehdi Abaakouk
649 114 Mehdi Abaakouk
h2. Maintenant de la VM de management
650 114 Mehdi Abaakouk
651 114 Mehdi Abaakouk
h3. Live Migration d'un host à l'autre
652 114 Mehdi Abaakouk
653 114 Mehdi Abaakouk
Cela fait tout à notre place niveau kvm/libvirt/ceph
654 114 Mehdi Abaakouk
655 114 Mehdi Abaakouk
<pre>
656 114 Mehdi Abaakouk
virsh migrate --persistent --undefinesource --live --p2p openstack qemu+ssh://g2:2222/system
657 114 Mehdi Abaakouk
</pre>
658 114 Mehdi Abaakouk
659 114 Mehdi Abaakouk
Pour le réseau le service/script 'tetaneutral-openstack-routing-daemon.sh' s'occupe de basculer les routes automatiquement.
660 114 Mehdi Abaakouk
661 114 Mehdi Abaakouk
h3. Recover depuis une perte de la machine hote:
662 114 Mehdi Abaakouk
663 137 Mehdi Abaakouk
Créé un fichier openstack.xml à partir d'un backup de '/etc/libvirt/qemu/openstack.xml' ou utiliser l'exemple ici: attachment:openstack.xml
664 114 Mehdi Abaakouk
665 1 Mehdi Abaakouk
_Note: il faut surement viré les uuid des interfaces openvswitch qui sont différent suivant le hosts_
666 1 Mehdi Abaakouk
667 1 Mehdi Abaakouk
Puis on recréé la VM
668 1 Mehdi Abaakouk
669 1 Mehdi Abaakouk
<pre>
670 1 Mehdi Abaakouk
$ virsh create openstack.xml
671 1 Mehdi Abaakouk
$ virsh start openstack.xml
672 1 Mehdi Abaakouk
</pre>