Project

General

Profile

Openstack Installation TTNN » History » Version 150

Mehdi Abaakouk, 09/08/2014 10:39 PM

1 43 Laurent GUERBY
{{>toc}}
2 43 Laurent GUERBY
3 1 Mehdi Abaakouk
h1. Openstack Installation TTNN
4 1 Mehdi Abaakouk
5 44 Laurent GUERBY
h2. Liens
6 44 Laurent GUERBY
7 44 Laurent GUERBY
* http://ceph.com/docs/master/rados/operations/cache-tiering/
8 44 Laurent GUERBY
* http://ceph.com/docs/master/rados/operations/crush-map/
9 44 Laurent GUERBY
10 3 Mehdi Abaakouk
h2. Pending upstream fixes:
11 3 Mehdi Abaakouk
12 143 Mehdi Abaakouk
La liste à jour est ici: 
13 143 Mehdi Abaakouk
http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster/revisions/master/entry/manifests/nodes/openstack.pp#L27
14 1 Mehdi Abaakouk
15 4 Mehdi Abaakouk
h2. Installation
16 4 Mehdi Abaakouk
17 4 Mehdi Abaakouk
Le setup installé est composé de :
18 4 Mehdi Abaakouk
19 4 Mehdi Abaakouk
* 3 hyperviseurs (compute node) qui contiendront 1 ceph-mon, N ceph-osd, nova-compute (qui lance les VM), neutron-openvswitch-agent (qui configure le réseau des vms)
20 4 Mehdi Abaakouk
* 1 VM (controler node), qui contient tous les services de management d'openstack (nova, cinder, glance, neutron)
21 4 Mehdi Abaakouk
22 4 Mehdi Abaakouk
Les étapes d'installation sont les suivantes:
23 4 Mehdi Abaakouk
* Préparation manuelle de la VM de management sur un des hyperviseurs
24 4 Mehdi Abaakouk
* Installation de ceph et openstack sur toutes les machines avec puppet
25 4 Mehdi Abaakouk
* Déplacement de la VM de management d'openstack dans openstack.
26 4 Mehdi Abaakouk
27 33 Mehdi Abaakouk
h3. Information sur le puppet master:
28 33 Mehdi Abaakouk
29 33 Mehdi Abaakouk
La conf et modules puppet utilisé par tetaneutral.net ce trouve la:
30 33 Mehdi Abaakouk
31 33 Mehdi Abaakouk
> http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster
32 33 Mehdi Abaakouk
> http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster/revisions/master/entry/manifests/nodes/openstack.pp
33 33 Mehdi Abaakouk
34 136 Mehdi Abaakouk
Seulement c'est 3 classes sont spécifique à tetaneutral, le reste est réutilisable à condition de changer les ip, hostname, uuid et password:
35 33 Mehdi Abaakouk
36 36 Mehdi Abaakouk
> class { 'ttnn::server': }
37 36 Mehdi Abaakouk
> class { 'backup::client': }
38 36 Mehdi Abaakouk
> class { 'sexymotd': }
39 33 Mehdi Abaakouk
40 33 Mehdi Abaakouk
Les modules qui sont nécessaire pour openstack pour le reste du fichier sont:
41 33 Mehdi Abaakouk
42 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-apache.git 
43 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-apt 
44 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-ceph.git 
45 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-cinder.git 
46 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-concat.git 
47 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-glance.git 
48 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-horizon.git 
49 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-inifile.git 
50 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-keystone.git 
51 33 Mehdi Abaakouk
> https://github.com/camptocamp/puppet-kmod.git 
52 33 Mehdi Abaakouk
> https://github.com/saz/puppet-memcached.git 
53 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-mysql.git 
54 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-neutron.git 
55 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-nova.git 
56 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-rabbitmq.git 
57 33 Mehdi Abaakouk
> https://github.com/nanliu/puppet-staging.git 
58 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-stdlib.git 
59 33 Mehdi Abaakouk
> https://github.com/duritong/puppet-sysctl.git 
60 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-vcsrepo.git 
61 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-vswitch.git 
62 36 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-xinetd.git
63 33 Mehdi Abaakouk
64 33 Mehdi Abaakouk
h3. Préparation réseaux des hosts:
65 29 Mehdi Abaakouk
66 1 Mehdi Abaakouk
67 126 Mehdi Abaakouk
Preparation des bridges openvswitch:
68 126 Mehdi Abaakouk
69 1 Mehdi Abaakouk
<pre>
70 130 Mehdi Abaakouk
$ apt-get install openvswitch-switch 
71 126 Mehdi Abaakouk
$ modprobe vhost-net
72 126 Mehdi Abaakouk
$ modprobe tun
73 126 Mehdi Abaakouk
$ modprobe loop
74 148 Mehdi Abaakouk
75 148 Mehdi Abaakouk
# On créé un switch br-eth0
76 148 Mehdi Abaakouk
$ ovs-vsctl add-br br-eth0
77 148 Mehdi Abaakouk
# On rajoute une petite bricole pour openstack 
78 148 Mehdi Abaakouk
$ ovs-vsctl br-set-external-id br-eth0 bridge-id br-eth0
79 148 Mehdi Abaakouk
# On ajoute le port eth0 dans le switch
80 148 Mehdi Abaakouk
$ ovs-vsctl add-port br-eth0 eth0  # Si aucun trunk vlan n'est spécifié, c'est un trunk avec tous les vlans 
81 148 Mehdi Abaakouk
82 148 Mehdi Abaakouk
# On créé des interfaces réseau utilisable sur la machine avec des vlans:
83 148 Mehdi Abaakouk
$ ovs-vsctl add-br vlan3131 br-eth0 3131
84 148 Mehdi Abaakouk
$ ovs-vsctl add-br vlan3175 br-eth0 3175
85 148 Mehdi Abaakouk
$ ovs-vsctl add-br vlan3199 br-eth0 3199
86 148 Mehdi Abaakouk
87 149 Mehdi Abaakouk
# On s'assure que eth0 sera toujours up
88 149 Mehdi Abaakouk
$ ovs-ofctl mod-port br-eth0 eth0 up
89 148 Mehdi Abaakouk
90 150 Mehdi Abaakouk
91 150 Mehdi Abaakouk
$ ovs-vsctl add-br br-mgmt-vm
92 150 Mehdi Abaakouk
93 126 Mehdi Abaakouk
</pre>
94 1 Mehdi Abaakouk
95 126 Mehdi Abaakouk
_note: Les bridges openvswitch sont mémorisés et recréés automatiquement par le service openvswitch-switch_
96 126 Mehdi Abaakouk
97 133 Mehdi Abaakouk
On install le fichier attachment:rc.local dans /etc/
98 133 Mehdi Abaakouk
Et le fichier attachment:tetaneutral-openstack-routing-daemon.sh dans /root/
99 1 Mehdi Abaakouk
100 133 Mehdi Abaakouk
On re-charge le fichier attachment:rc.local
101 133 Mehdi Abaakouk
102 126 Mehdi Abaakouk
<pre>
103 126 Mehdi Abaakouk
bash -x /etc/rc.local
104 126 Mehdi Abaakouk
</pre>
105 126 Mehdi Abaakouk
106 73 Mehdi Abaakouk
107 73 Mehdi Abaakouk
Sur h7.tetaneutral.net le routage est le suivant
108 6 Mehdi Abaakouk
109 17 Mehdi Abaakouk
<pre>
110 16 Mehdi Abaakouk
ip route add 89.234.156.251/32 dev eth0.3131
111 1 Mehdi Abaakouk
ip route add 89.234.156.252/32 dev eth0.3131
112 20 Mehdi Abaakouk
ip route add 89.234.156.253/32 dev eth0.3131
113 16 Mehdi Abaakouk
ip route add 2a01:6600:8083:fb00::/56 dev eth0.3131
114 16 Mehdi Abaakouk
ip route add 2a01:6600:8083:fc00::/56 dev eth0.3131
115 16 Mehdi Abaakouk
ip route add 2a01:6600:8083:fd00::/56 dev eth0.3131
116 16 Mehdi Abaakouk
</pre>
117 1 Mehdi Abaakouk
118 20 Mehdi Abaakouk
h3. Preparation de la VM de management, le controlleur
119 6 Mehdi Abaakouk
120 6 Mehdi Abaakouk
h4. Installation des prérequis
121 6 Mehdi Abaakouk
122 1 Mehdi Abaakouk
<pre>
123 129 Mehdi Abaakouk
$ apt-get install libvirt-bin openstack-debian-images virtinst
124 131 Mehdi Abaakouk
#NOTE(sileht): temporairement récupérer la dernière version:
125 131 Mehdi Abaakouk
$ curl -# http://anonscm.debian.org/cgit/openstack/openstack-debian-images.git/plain/build-openstack-debian-image > /usr/sbin/build-openstack-debian-image
126 20 Mehdi Abaakouk
</pre>
127 1 Mehdi Abaakouk
128 1 Mehdi Abaakouk
h4. Preparation de l'image de la VM
129 92 Mehdi Abaakouk
130 20 Mehdi Abaakouk
<pre>
131 20 Mehdi Abaakouk
$ vim hook.sh
132 1 Mehdi Abaakouk
set -xv
133 20 Mehdi Abaakouk
134 92 Mehdi Abaakouk
echo "openstack" > $BODI_CHROOT_PATH/etc/hostname
135 40 Mehdi Abaakouk
136 46 Mehdi Abaakouk
cat > $BODI_CHROOT_PATH/etc/resolv.conf <<EOF
137 46 Mehdi Abaakouk
domain tetaneutral.net
138 46 Mehdi Abaakouk
search tetaneutral.net
139 1 Mehdi Abaakouk
nameserver 8.8.8.8
140 46 Mehdi Abaakouk
EOF
141 46 Mehdi Abaakouk
142 92 Mehdi Abaakouk
cat > $BODI_CHROOT_PATH/etc/network/interfaces <<EOF
143 6 Mehdi Abaakouk
auto lo
144 20 Mehdi Abaakouk
iface lo inet loopback
145 1 Mehdi Abaakouk
auto eth0
146 6 Mehdi Abaakouk
iface eth0 inet manual
147 4 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth0.accept_ra=0
148 1 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth0.autoconf=0
149 4 Mehdi Abaakouk
  up ip link set eth0 up
150 10 Mehdi Abaakouk
  up ip addr add 89.234.156.249/32 dev eth0
151 16 Mehdi Abaakouk
  up ip route add 91.224.148.0/32 dev eth0
152 16 Mehdi Abaakouk
  up ip route add default via 91.224.148.0
153 20 Mehdi Abaakouk
154 1 Mehdi Abaakouk
iface eth0 inet6 static
155 7 Mehdi Abaakouk
    pre-up /sbin/sysctl -w net.ipv6.conf.eth0.accept_ra=0
156 4 Mehdi Abaakouk
    pre-up /sbin/sysctl -w net.ipv6.conf.eth0.autoconf=0
157 21 Mehdi Abaakouk
    address 2a01:6600:8083:f900::1
158 12 Mehdi Abaakouk
    netmask 56
159 4 Mehdi Abaakouk
    gateway fe80::31
160 4 Mehdi Abaakouk
161 4 Mehdi Abaakouk
auto eth1
162 5 Mehdi Abaakouk
iface eth1 inet static
163 13 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth1.accept_ra=0
164 18 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth1.autoconf=0
165 18 Mehdi Abaakouk
  address 192.168.3.100
166 18 Mehdi Abaakouk
  netmask 255.255.255.0
167 18 Mehdi Abaakouk
EOF
168 18 Mehdi Abaakouk
169 18 Mehdi Abaakouk
mkdir -p $BODI_CHROOT_PATH/root/.ssh
170 59 Mehdi Abaakouk
chmod 600 $BODI_CHROOT_PATH/root/.ssh
171 59 Mehdi Abaakouk
cat >> $BODI_CHROOT_PATH/root/.ssh/authorized_keys <<EOF
172 11 Mehdi Abaakouk
ssh-dss AAAAB3NzaC1kc3MAAACBAJtnGLvuz4uVD6fnERDxDi/C0UyzwCiKmgNtEessopREYasAX4Gu6Fg10jAyIL5Nuc7YDnqj//pOfxNjD7hp99a2ZmkRQgh/ltClxYML9fqhBHgsUCpVse9nOYDHDnDgvXIPRSDUHat2UFpdchHVrFURNLIlZnBztsr+GCDURTV/AAAAFQD9SrBcH49ltaKOm6V5ssCPmgs1SwAAAIAbAvkQ3/tMzzdACO5B9s5Yb3ZuM7XImm0iqufivVf2Xy39g8HOBulUsN7eKEGPhVriqNolgIO7q7tVgYAff4/NE4yDP0Kp0SPg4tjt2yFJuL31Y3wzwHjnKrjgNlDSLl3uZnRXSipwUMwGKbdHB6NZSqlq192VKbHilQ00pbiMlAAAAIB5dfB1lVHkJ0o5CcaVQRPbca9DvbbRwnoTSmKHc5DUcqsPqDhS07CkM9ZcJuY1Nh4wGl4Q9kArj7Tnsvvygf/HReSUcIk4+nbDytJ8/pca/Qx4fzQQyppa94TylN62LSFT6MIJKLoMwYa0dQURT7Mv5+9Qj2vk5pZ38w2iQ9zVCg== root@h1
173 4 Mehdi Abaakouk
EOF
174 4 Mehdi Abaakouk
175 6 Mehdi Abaakouk
sed -i -e 's/^.*Port.*$/Port 2222/' -e 's/^[# ]*PasswordAuthentication.*$/PasswordAuthentication no/' $BODI_CHROOT_PATH/etc/ssh/sshd_config
176 4 Mehdi Abaakouk
chroot $BODI_CHROOT_PATH dpkg-reconfigure openssh-server
177 4 Mehdi Abaakouk
chroot $BODI_CHROOT_PATH apt-get purge -y cloud-init*
178 8 Mehdi Abaakouk
</pre>
179 1 Mehdi Abaakouk
180 90 Mehdi Abaakouk
<pre>
181 90 Mehdi Abaakouk
$ chmod +x hook.sh
182 90 Mehdi Abaakouk
$ build-openstack-debian-image --image-size 20  --release jessie -u http://apt.tetaneutral.net/debian/ -s http://apt.tetaneutral.net/debian/ --hook-script $(pwd)/hook.sh
183 90 Mehdi Abaakouk
$ mv debian-jessie-7.0.0-3-amd64.raw /openstack.raw 
184 90 Mehdi Abaakouk
$ rm debian-jessie-7.0.0-3-amd64.qcow2
185 90 Mehdi Abaakouk
</pre>
186 90 Mehdi Abaakouk
187 90 Mehdi Abaakouk
_note: la derniere commande lancée par le script doit être 'qemu-img convert -c -f raw .... , sinon l'image de bootera pas_
188 90 Mehdi Abaakouk
_note(jessie): si l'erreur est celle ci-dessous, relancer manuellement 'kpartx -d debian-jessie-7.0.0-3-amd64.raw' jusqu'a ce que l'erreur disparaissent et le .raw est utilisable:_
189 90 Mehdi Abaakouk
<pre>
190 6 Mehdi Abaakouk
+ 'kpartx -d debian-jessie-7.0.0-3-amd64.raw'
191 1 Mehdi Abaakouk
device-mapper: remove ioctl on loop0p1 failed: Device or resource busy
192 1 Mehdi Abaakouk
loop deleted : /dev/loop0
193 4 Mehdi Abaakouk
</pre>
194 93 Mehdi Abaakouk
_note: si parted freeze -> lancer /etc/init.d/udev restart_
195 19 Mehdi Abaakouk
196 128 Mehdi Abaakouk
197 128 Mehdi Abaakouk
On garde l'image raw qui sera importable dans ceph plus tard et on la mets à la racine pour qui l'utilisateur libvirt puisse y accéder.
198 19 Mehdi Abaakouk
199 24 Mehdi Abaakouk
h4. Installation de la VM
200 19 Mehdi Abaakouk
201 1 Mehdi Abaakouk
<pre>
202 147 Mehdi Abaakouk
$ brctl addbr br-vm-mgmt
203 147 Mehdi Abaakouk
$ ip link set br-vm-mgmt up
204 147 Mehdi Abaakouk
$ ip -4 addr add 91.224.148.0/32 dev br-vm-mgmt
205 147 Mehdi Abaakouk
$ ip -6 addr add fe80::31/64 dev br-vm-mgmt
206 147 Mehdi Abaakouk
$ ip route add 89.234.156.249/32 dev br-vm-mgmt
207 147 Mehdi Abaakouk
$ ip -6 route add 2a01:6600:8083:f900::/56 dev br-vm-mgmt
208 147 Mehdi Abaakouk
$
209 144 Mehdi Abaakouk
$ virt-install --name openstack --ram 2048 --network bridge=br-vm-mgmt,model=virtio --network bridge=br3175,model=virtio --network bridge=br3199,model=virtio --nographics --serial pty --wait -1 --noreboot --autostart --disk /openstack.raw,bus=virtio,cache=none,io=native --import
210 22 Mehdi Abaakouk
$ EDITOR="sed -i -e \"s,<source bridge='br3175'/>,<source bridge='br3175'/><virtualport type='openvswitch' />,g\"" virsh edit openstack # Openvswitch is not yet supported by virt-install 
211 144 Mehdi Abaakouk
$ EDITOR="sed -i -e \"s,<source bridge='br3199'/>,<source bridge='br3199'/><virtualport type='openvswitch' />,g\"" virsh edit openstack # Openvswitch is not yet supported by virt-install 
212 144 Mehdi Abaakouk
$ virsh  start openstack
213 1 Mehdi Abaakouk
$ ssh root@89.234.156.249 -p 2222
214 19 Mehdi Abaakouk
</pre>
215 19 Mehdi Abaakouk
216 24 Mehdi Abaakouk
Une fois connecté à la VM:
217 26 Mehdi Abaakouk
218 26 Mehdi Abaakouk
<pre>
219 4 Mehdi Abaakouk
$ apt-get install puppet
220 26 Mehdi Abaakouk
$ puppet agent --enable
221 32 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
222 26 Mehdi Abaakouk
Info: Caching certificate for ca
223 34 Mehdi Abaakouk
Info: csr_attributes file loading from /etc/puppet/csr_attributes.yaml
224 34 Mehdi Abaakouk
Info: Creating a new SSL certificate request for openstack.tetaneutral.net
225 35 Mehdi Abaakouk
Info: Certificate Request fingerprint (SHA256): AE:72:47:40:A0:E2:F4:59:BA:39:FA:3D:C2:A7:C9:1B:9F:87:A5:B7:65:3A:F9:D4:DE:AF:E2:A3:02:41:0F:2E
226 94 Mehdi Abaakouk
Info: Caching certificate for ca
227 35 Mehdi Abaakouk
Exiting; no certificate found and waitforcert is disabled
228 35 Mehdi Abaakouk
</pre>
229 35 Mehdi Abaakouk
230 35 Mehdi Abaakouk
Sur le puppetmaster:
231 35 Mehdi Abaakouk
232 35 Mehdi Abaakouk
<pre>
233 35 Mehdi Abaakouk
$ puppet ca sign openstack.tetaneutral.net 
234 35 Mehdi Abaakouk
</pre>
235 35 Mehdi Abaakouk
_note: si un vieux cert existe: puppet ca revoke openstack.tetaneutral.net ; puppet cert clean openstack.tetaneutral.net; puppet node clean openstack.tetaneutral.net_
236 35 Mehdi Abaakouk
237 35 Mehdi Abaakouk
De nouveau sur la VM:
238 35 Mehdi Abaakouk
239 35 Mehdi Abaakouk
<pre>
240 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
241 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
242 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
243 35 Mehdi Abaakouk
</pre>
244 64 Mehdi Abaakouk
245 35 Mehdi Abaakouk
Il ne doit plus y avoir d'erreur la 3°/4° fois.
246 35 Mehdi Abaakouk
247 35 Mehdi Abaakouk
h3. Configuration des hyperviseurs
248 35 Mehdi Abaakouk
249 35 Mehdi Abaakouk
Une fois la configuration réseau faite, tout ce fait avec puppet:
250 35 Mehdi Abaakouk
251 35 Mehdi Abaakouk
<pre>
252 35 Mehdi Abaakouk
$ apt-get install puppet
253 35 Mehdi Abaakouk
$ puppet agent --enable
254 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
255 35 Mehdi Abaakouk
Info: Caching certificate for ca
256 35 Mehdi Abaakouk
Info: csr_attributes file loading from /etc/puppet/csr_attributes.yaml
257 35 Mehdi Abaakouk
Info: Creating a new SSL certificate request for openstack.tetaneutral.net
258 35 Mehdi Abaakouk
Info: Certificate Request fingerprint (SHA256): AE:72:47:40:A0:E2:F4:59:BA:39:FA:3D:C2:A7:C9:1B:9F:87:A5:B7:65:3A:F9:D4:DE:AF:E2:A3:02:41:0F:2E
259 35 Mehdi Abaakouk
Info: Caching certificate for ca
260 35 Mehdi Abaakouk
Exiting; no certificate found and waitforcert is disabled
261 35 Mehdi Abaakouk
</pre>
262 35 Mehdi Abaakouk
263 101 Mehdi Abaakouk
Sur le puppetmaster:
264 35 Mehdi Abaakouk
265 35 Mehdi Abaakouk
<pre>
266 35 Mehdi Abaakouk
$ puppet ca sign openstack.tetaneutral.net 
267 35 Mehdi Abaakouk
</pre>
268 35 Mehdi Abaakouk
_note: si un vieux cert existe: puppet ca revoke openstack.tetaneutral.net ; puppet cert clean openstack.tetaneutral.net; puppet node clean openstack.tetaneutral.net_
269 35 Mehdi Abaakouk
270 35 Mehdi Abaakouk
De nouveau sur la VM:
271 35 Mehdi Abaakouk
272 35 Mehdi Abaakouk
<pre>
273 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
274 100 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
275 100 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
276 100 Mehdi Abaakouk
</pre>
277 100 Mehdi Abaakouk
278 35 Mehdi Abaakouk
Il ne doit plus y avoir d'erreur la 3°/4° fois.
279 1 Mehdi Abaakouk
280 72 Mehdi Abaakouk
h4. Information sur la configuration d'un hyperviseur sur le puppet master
281 37 Mehdi Abaakouk
282 38 Mehdi Abaakouk
La configuration puppet ressemble à :
283 38 Mehdi Abaakouk
284 109 Mehdi Abaakouk
<pre>
285 1 Mehdi Abaakouk
node "gX.tetaneutral.net" inherits openstack_node_common {
286 120 Mehdi Abaakouk
  # Configuration du routerid et de l'AS number de cette machine
287 1 Mehdi Abaakouk
  # Il faut aussi mettre la conf bgp de h7 ainsi que les fichiers 
288 1 Mehdi Abaakouk
  # /etc/puppet/manifests/files/openstack-bird.conf.erb et
289 125 Mehdi Abaakouk
  # /etc/puppet/manifests/files/openstack-bird6.conf.erb
290 125 Mehdi Abaakouk
  # pour ajouter cette AS interne
291 97 Mehdi Abaakouk
  ttnn_os_bird {'198.51.100.1': asnum => "65001"}
292 109 Mehdi Abaakouk
293 120 Mehdi Abaakouk
  # Dans le cas d'une moniteur ceph, mais uniquement 3 suffissent, on a déjà g1,g2,g3
294 109 Mehdi Abaakouk
  ttnn_ceph_mon {$::hostname:}
295 88 Mehdi Abaakouk
  # Sinon utilisait:
296 88 Mehdi Abaakouk
  # class{"ttnn_ceph_osd_only": }
297 109 Mehdi Abaakouk
298 88 Mehdi Abaakouk
  # La partie Openstack, l'uuid doit être unique par machine (générer avec uuid-gen)
299 109 Mehdi Abaakouk
  ttnn_os_compute {"9d26ec10-a48b-4f0f-a122-f10ed16d270f": }
300 109 Mehdi Abaakouk
}
301 109 Mehdi Abaakouk
</pre>
302 109 Mehdi Abaakouk
303 109 Mehdi Abaakouk
h3. Déplacement du disk du controlleur dans le cluster ceph
304 109 Mehdi Abaakouk
305 97 Mehdi Abaakouk
Les recettes puppet on créé un pool disks pour les mettres les VMs et volumes de VM
306 97 Mehdi Abaakouk
307 109 Mehdi Abaakouk
308 97 Mehdi Abaakouk
Sur g1, on import le disque de la VM dans ceph et on modifie la conf libvirt:
309 97 Mehdi Abaakouk
310 109 Mehdi Abaakouk
<pre>
311 111 Mehdi Abaakouk
$ virsh shutdown openstack
312 1 Mehdi Abaakouk
$ rbd -p disks import /var/lib/ceph/osd/ceph-0/openstack.raw  openstack-disk
313 1 Mehdi Abaakouk
$ virsh edit openstack
314 1 Mehdi Abaakouk
</pre>
315 120 Mehdi Abaakouk
316 109 Mehdi Abaakouk
Remplacer: 
317 112 Mehdi Abaakouk
<pre>
318 109 Mehdi Abaakouk
    <disk type='file' device='disk'>
319 109 Mehdi Abaakouk
      <driver name='qemu' type='raw' cache='none' io='native'/>
320 109 Mehdi Abaakouk
      <source file='/var/lib/ceph/osd/ceph-0/openstack.raw'/>
321 110 Mehdi Abaakouk
      <target dev='vda' bus='virtio'/>
322 109 Mehdi Abaakouk
      <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
323 97 Mehdi Abaakouk
    </disk>
324 97 Mehdi Abaakouk
</pre>
325 109 Mehdi Abaakouk
326 97 Mehdi Abaakouk
Par:
327 97 Mehdi Abaakouk
328 109 Mehdi Abaakouk
<pre>
329 109 Mehdi Abaakouk
    <disk type='network' device='disk'>
330 109 Mehdi Abaakouk
        <driver name='qemu' type='raw'/>
331 109 Mehdi Abaakouk
        <source protocol='rbd' name='disks/openstack-disk'>
332 144 Mehdi Abaakouk
                <host name='192.168.99.101' port='6789'/>
333 144 Mehdi Abaakouk
                <host name='192.168.99.102' port='6789'/>
334 144 Mehdi Abaakouk
                <host name='192.168.99.103' port='6789'/>
335 97 Mehdi Abaakouk
        </source>
336 97 Mehdi Abaakouk
        <auth username='openstack-service'>
337 109 Mehdi Abaakouk
            <secret type='ceph' uuid='1fe74663-8dfa-486c-bb80-3bd94c90c967'/>
338 97 Mehdi Abaakouk
        </auth>
339 97 Mehdi Abaakouk
        <target dev='vda' bus='virtio'/>
340 97 Mehdi Abaakouk
        <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
341 97 Mehdi Abaakouk
    </disk>
342 97 Mehdi Abaakouk
</pre>
343 97 Mehdi Abaakouk
344 97 Mehdi Abaakouk
La clé ceph pour libvirt a déjà été installé par puppet pour avoir sont uuid:
345 97 Mehdi Abaakouk
346 97 Mehdi Abaakouk
<pre>
347 97 Mehdi Abaakouk
$ virsh secret-list
348 97 Mehdi Abaakouk
 UUID                                  Usage
349 97 Mehdi Abaakouk
--------------------------------------------------------------------------------
350 97 Mehdi Abaakouk
 1fe74663-8dfa-486c-bb80-3bd94c90c967  ceph client.openstack-service secret
351 97 Mehdi Abaakouk
</pre>
352 97 Mehdi Abaakouk
353 97 Mehdi Abaakouk
Puis on démarre
354 97 Mehdi Abaakouk
355 97 Mehdi Abaakouk
<pre>
356 97 Mehdi Abaakouk
$ virsh start openstack
357 97 Mehdi Abaakouk
</pre>
358 97 Mehdi Abaakouk
359 97 Mehdi Abaakouk
360 97 Mehdi Abaakouk
Ca marche !
361 97 Mehdi Abaakouk
362 97 Mehdi Abaakouk
<pre>
363 68 Mehdi Abaakouk
$ ssh openstack.t
364 68 Mehdi Abaakouk
X11 forwarding request failed on channel 0
365 68 Mehdi Abaakouk
366 68 Mehdi Abaakouk
  server: openstack.tetaneutral.net
367 102 Mehdi Abaakouk
  system: Debian jessie/sid, kernel 3.14-2-amd64, puppet 3.6.1
368 1 Mehdi Abaakouk
     cpu: 1/1 (QEMU Virtual CPU version 2.1.0)
369 102 Mehdi Abaakouk
  memory: 1.96 GB
370 1 Mehdi Abaakouk
371 102 Mehdi Abaakouk
    eth0: 52:54:00:90:d8:c7 / 89.234.156.249 / 2a01:6600:8083:f900::1
372 102 Mehdi Abaakouk
    eth1: 52:54:00:13:fa:13 / 192.168.3.100
373 68 Mehdi Abaakouk
374 68 Mehdi Abaakouk
 modules: openstack_node_common ttnn::server resolver checkmk::agent checkmk::client rsyslog::client rsyslog apt apt::update puppet nullmailer backup::client sexymotd 
375 68 Mehdi Abaakouk
                            _             _    
376 68 Mehdi Abaakouk
  ___  _ __   ___ _ __  ___| |_ __ _  ___| | __
377 68 Mehdi Abaakouk
 / _ \| '_ \ / _ \ '_ \/ __| __/ _` |/ __| |/ /
378 68 Mehdi Abaakouk
| (_) | |_) |  __/ | | \__ \ || (_| | (__|   < 
379 68 Mehdi Abaakouk
 \___/| .__/ \___|_| |_|___/\__\__,_|\___|_|\_\
380 68 Mehdi Abaakouk
      |_|                                      
381 68 Mehdi Abaakouk
Last login: Wed Aug 27 08:10:02 2014 from atoulouse-652-1-119-50.w2-6.abo.wanadoo.fr
382 68 Mehdi Abaakouk
root@openstack:~# 
383 68 Mehdi Abaakouk
384 68 Mehdi Abaakouk
</pre>
385 68 Mehdi Abaakouk
386 68 Mehdi Abaakouk
h2. Preparation des OSD pour ceph
387 68 Mehdi Abaakouk
388 68 Mehdi Abaakouk
h3. Cas général un disque entier:
389 68 Mehdi Abaakouk
390 68 Mehdi Abaakouk
$ ceph-disk prepare /dev/sdb
391 68 Mehdi Abaakouk
$ ceph-disk activate /dev/sdb
392 68 Mehdi Abaakouk
393 1 Mehdi Abaakouk
h3. Cas particulier du SSD ou ce trouve l'OS
394 68 Mehdi Abaakouk
395 103 Mehdi Abaakouk
En général avec ceph, on donne un disque, ceph créé 2 partitions une pour le journal de l'OSD, l'autre pour les datas
396 1 Mehdi Abaakouk
mais pour le SSD de tetaneutral qui a aussi l'OS, voici la méthode
397 34 Mehdi Abaakouk
398 103 Mehdi Abaakouk
Création manuelle de la partition de data ceph /dev/sda2 ici
399 102 Mehdi Abaakouk
400 1 Mehdi Abaakouk
<pre>
401 1 Mehdi Abaakouk
$ fdisk /dev/sda
402 102 Mehdi Abaakouk
403 102 Mehdi Abaakouk
n
404 102 Mehdi Abaakouk
p
405 102 Mehdi Abaakouk
<enter>
406 102 Mehdi Abaakouk
<enter>
407 102 Mehdi Abaakouk
<enter>
408 102 Mehdi Abaakouk
<enter>
409 104 Mehdi Abaakouk
w
410 104 Mehdi Abaakouk
411 104 Mehdi Abaakouk
$ partprobe
412 104 Mehdi Abaakouk
</pre>
413 104 Mehdi Abaakouk
414 104 Mehdi Abaakouk
On prepare le disk comme normalement
415 105 Mehdi Abaakouk
416 104 Mehdi Abaakouk
<pre>
417 104 Mehdi Abaakouk
ceph-disk prepare /dev/sda2
418 106 Mehdi Abaakouk
ceph-disk activate /dev/sda2
419 104 Mehdi Abaakouk
</pre>
420 104 Mehdi Abaakouk
421 116 Mehdi Abaakouk
Le disque n'étant pas utilisé uniquement par ceph, le service ceph ne le chargera pas automatiquement:
422 116 Mehdi Abaakouk
Il faut ajouter ceci dans le /etc/rc.local:
423 116 Mehdi Abaakouk
424 116 Mehdi Abaakouk
<pre>
425 116 Mehdi Abaakouk
ceph-disk activate /dev/sda2
426 116 Mehdi Abaakouk
</pre>
427 116 Mehdi Abaakouk
428 116 Mehdi Abaakouk
3. Suppression OSD:
429 116 Mehdi Abaakouk
430 116 Mehdi Abaakouk
<pre>
431 116 Mehdi Abaakouk
name="osd.2"
432 116 Mehdi Abaakouk
ceph osd out ${name}
433 116 Mehdi Abaakouk
/etc/init.d/ceph stop ${name}
434 116 Mehdi Abaakouk
ceph osd crush remove ${name}
435 116 Mehdi Abaakouk
ceph auth del ${name}
436 116 Mehdi Abaakouk
ceph osd rm ${name}
437 116 Mehdi Abaakouk
ceph osd tree
438 116 Mehdi Abaakouk
</pre>
439 116 Mehdi Abaakouk
440 116 Mehdi Abaakouk
h2. Configuration des Placements Groups des pools:
441 116 Mehdi Abaakouk
442 142 Mehdi Abaakouk
Par défaut les pools sont créés avec des placements groups à 8 (pg_num=8), 3 replicats, avec un tolérance à 2, si il manque des OSDs" 
443 116 Mehdi Abaakouk
444 116 Mehdi Abaakouk
Mais cette valeur (pg_num) défini le bon fonctionnement de ceph. Dans le cas standard (ie: 1 seul pool) la recette est facile: 
445 116 Mehdi Abaakouk
446 116 Mehdi Abaakouk
<pre>
447 116 Mehdi Abaakouk
               (OSDs * 100)
448 116 Mehdi Abaakouk
Total PGs = (  ------------  )
449 116 Mehdi Abaakouk
              OSD per object
450 116 Mehdi Abaakouk
</pre>
451 116 Mehdi Abaakouk
452 142 Mehdi Abaakouk
On arrondi à la puissance de 2 supérieurs. Mais dans notre cas 3 pools ce n'est pas si simple, les pools auront des cas d'utilisation différent:
453 116 Mehdi Abaakouk
454 116 Mehdi Abaakouk
Ma proposition de configuration:
455 107 Mehdi Abaakouk
* Pool ssds: il a 3 OSDs pour lui tout seul, on applique la recette magique: 3*100/3 ~= 128 pgs
456 1 Mehdi Abaakouk
* Pools images et disks: ils ont 3 OSDs à ce partager donc il faut répartir les 128 pgs. soit 32pgs et 96pgs (PS: il faut au moins 20pgs pour 3 réplicats)
457 69 Mehdi Abaakouk
458 1 Mehdi Abaakouk
Soit:
459 1 Mehdi Abaakouk
<pre>
460 79 Mehdi Abaakouk
ceph osd pool set ssds pg_num 128
461 1 Mehdi Abaakouk
ceph osd pool set images pg_num 32
462 1 Mehdi Abaakouk
ceph osd pool set disks pg_num 96
463 1 Mehdi Abaakouk
464 1 Mehdi Abaakouk
# attendre un peu qu'il y est plus de pg_create dans 'ceph -s'
465 121 Mehdi Abaakouk
ceph osd pool set ssds pgp_num 128  
466 121 Mehdi Abaakouk
ceph osd pool set images pgp_num 32
467 121 Mehdi Abaakouk
ceph osd pool set disks pgp_num 96
468 121 Mehdi Abaakouk
</pre>
469 1 Mehdi Abaakouk
470 107 Mehdi Abaakouk
471 1 Mehdi Abaakouk
472 107 Mehdi Abaakouk
_ref: http://ceph.com/docs/master/rados/operations/placement-groups/_
473 107 Mehdi Abaakouk
474 1 Mehdi Abaakouk
h2. Preparation du Pool SSD pour ceph 
475 107 Mehdi Abaakouk
476 107 Mehdi Abaakouk
Chaque machine se trouve dans 2 hosts, un host SSD et un host HARDDISK (même si en réalité les deux sont sur la même machine physique),
477 107 Mehdi Abaakouk
478 107 Mehdi Abaakouk
Ensuite on créé 2 object root un pour les hosts SSD et un autre pour les host HARDDISK
479 107 Mehdi Abaakouk
480 107 Mehdi Abaakouk
On créé ensuite 2 règles de stockage une qui envoie les objects vers le root SSD et l'autre vers le root HARDDISK
481 107 Mehdi Abaakouk
482 107 Mehdi Abaakouk
Cela permettra d'avoir de définir une règle différente suivant les pools ceph.
483 107 Mehdi Abaakouk
484 107 Mehdi Abaakouk
Niveau Openstack nous avons 3 pools:
485 107 Mehdi Abaakouk
* disks: Ce pool aura les disques de VM et les volumes attaché
486 107 Mehdi Abaakouk
* ssds: Ce pool contiendra les volumes sur ssd
487 107 Mehdi Abaakouk
* images: c'est la que seront stocké les images de VMs (glance).
488 122 Mehdi Abaakouk
489 122 Mehdi Abaakouk
h3. Configuration de la crushmap de ceph:
490 122 Mehdi Abaakouk
491 135 Mehdi Abaakouk
Il faut s'assurer que la crushmap n'est pas en mode automatique (c'est déjà configuré par puppet):
492 122 Mehdi Abaakouk
493 1 Mehdi Abaakouk
<pre>
494 135 Mehdi Abaakouk
[global]
495 135 Mehdi Abaakouk
osd crush update on start = false
496 135 Mehdi Abaakouk
</pre>
497 135 Mehdi Abaakouk
498 135 Mehdi Abaakouk
Création de l'arbre de rangement physique des SSD, l'arbre nommé 'default' sera donc celui des disques durs
499 135 Mehdi Abaakouk
500 135 Mehdi Abaakouk
<pre>
501 122 Mehdi Abaakouk
$ ceph osd crush add-bucket ssd root
502 122 Mehdi Abaakouk
$ ceph osd crush add-bucket g1-ssd host
503 122 Mehdi Abaakouk
$ ceph osd crush add-bucket g2-ssd host
504 122 Mehdi Abaakouk
$ ceph osd crush add-bucket g3-ssd host
505 1 Mehdi Abaakouk
$ ceph osd crush move g1-ssd root=ssd
506 1 Mehdi Abaakouk
$ ceph osd crush move g2-ssd root=ssd
507 1 Mehdi Abaakouk
$ ceph osd crush move g3-ssd root=ssd
508 107 Mehdi Abaakouk
$ ceph osd tree
509 107 Mehdi Abaakouk
# id	weight	type name	up/down	reweight
510 1 Mehdi Abaakouk
-5	0	root ssd
511 118 Mehdi Abaakouk
-6	0		host g1-ssd
512 118 Mehdi Abaakouk
-7	0		host g2-ssd
513 118 Mehdi Abaakouk
-8	0		host g3-ssd
514 118 Mehdi Abaakouk
-1	3	root default
515 117 Mehdi Abaakouk
-2	1		host g1
516 117 Mehdi Abaakouk
0	1			osd.0	up	1	
517 117 Mehdi Abaakouk
3	1			osd.3	up	1	
518 118 Mehdi Abaakouk
-3	1		host g2
519 118 Mehdi Abaakouk
1	1			osd.1	up	1	
520 107 Mehdi Abaakouk
4	1			osd.4	up	1	
521 107 Mehdi Abaakouk
-4	1		host g3
522 122 Mehdi Abaakouk
2	1			osd.2	up	1	
523 122 Mehdi Abaakouk
5	1			osd.5	up	1	
524 122 Mehdi Abaakouk
</pre>
525 122 Mehdi Abaakouk
526 122 Mehdi Abaakouk
527 122 Mehdi Abaakouk
On range les osd qui ont des disques SSD dans ce nouvel arbre.
528 122 Mehdi Abaakouk
529 122 Mehdi Abaakouk
<pre>
530 122 Mehdi Abaakouk
$ ceph osd crush add osd.3 1  root=ssd host=g1-ssd
531 122 Mehdi Abaakouk
$ ceph osd crush add osd.4 1  root=ssd host=g2-ssd
532 122 Mehdi Abaakouk
$ ceph osd crush add osd.5 1  root=ssd host=g3-ssd
533 122 Mehdi Abaakouk
# Ou si l'osd a déjà éte positionné une fois
534 122 Mehdi Abaakouk
$ ceph osd crush set osd.3 1  root=ssd host=g1-ssd
535 122 Mehdi Abaakouk
$ ceph osd crush set osd.4 1  root=ssd host=g2-ssd
536 96 Mehdi Abaakouk
$ ceph osd crush set osd.5 1  root=ssd host=g3-ssd
537 96 Mehdi Abaakouk
538 108 Mehdi Abaakouk
# Vérifier le résultat
539 107 Mehdi Abaakouk
$ ceph osd tree
540 96 Mehdi Abaakouk
# id	weight	type name	up/down	reweight
541 96 Mehdi Abaakouk
-5	3	root ssd
542 121 Mehdi Abaakouk
-6	1		host g1-ssd
543 96 Mehdi Abaakouk
3	1			osd.3	up	1	
544 107 Mehdi Abaakouk
-7	1		host g2-ssd
545 107 Mehdi Abaakouk
4	1			osd.4	up	1	
546 107 Mehdi Abaakouk
-8	1		host g3-ssd
547 107 Mehdi Abaakouk
5	1			osd.5	up	1	
548 107 Mehdi Abaakouk
-1	3	root default
549 107 Mehdi Abaakouk
-2	1		host g1
550 107 Mehdi Abaakouk
0	1			osd.0	up	1	
551 107 Mehdi Abaakouk
-3	1		host g2
552 107 Mehdi Abaakouk
1	1			osd.1	up	1	
553 107 Mehdi Abaakouk
-4	1		host g3
554 107 Mehdi Abaakouk
2	1			osd.2	up	1	
555 107 Mehdi Abaakouk
</pre>
556 107 Mehdi Abaakouk
557 107 Mehdi Abaakouk
h3. Definition de la crushmap de ttnn
558 107 Mehdi Abaakouk
559 107 Mehdi Abaakouk
560 107 Mehdi Abaakouk
Une fois la crushmap modifié on créée et applique la règle sur le pool ssds:
561 107 Mehdi Abaakouk
562 107 Mehdi Abaakouk
<pre>
563 107 Mehdi Abaakouk
$ ceph osd crush rule create-simple ssd_replicated_ruleset ssd host firstn
564 107 Mehdi Abaakouk
$ ceph osd crush rule dump
565 107 Mehdi Abaakouk
[
566 107 Mehdi Abaakouk
    { "rule_id": 0,
567 107 Mehdi Abaakouk
      "rule_name": "replicated_ruleset",
568 1 Mehdi Abaakouk
      "ruleset": 0,
569 107 Mehdi Abaakouk
      "type": 1,
570 107 Mehdi Abaakouk
      "min_size": 1,
571 107 Mehdi Abaakouk
      "max_size": 10,
572 107 Mehdi Abaakouk
      "steps": [
573 107 Mehdi Abaakouk
            { "op": "take",
574 107 Mehdi Abaakouk
              "item": -1,
575 1 Mehdi Abaakouk
              "item_name": "default"},
576 121 Mehdi Abaakouk
            { "op": "chooseleaf_firstn",
577 1 Mehdi Abaakouk
              "num": 0,
578 1 Mehdi Abaakouk
              "type": "host"},
579 107 Mehdi Abaakouk
            { "op": "emit"}]},
580 1 Mehdi Abaakouk
    { "rule_id": 1,
581 1 Mehdi Abaakouk
      "rule_name": "ssd_replicated_ruleset",
582 107 Mehdi Abaakouk
      "ruleset": 1,
583 1 Mehdi Abaakouk
      "type": 1,
584 1 Mehdi Abaakouk
      "min_size": 1,
585 1 Mehdi Abaakouk
      "max_size": 10,
586 113 Mehdi Abaakouk
      "steps": [
587 114 Mehdi Abaakouk
            { "op": "take",
588 1 Mehdi Abaakouk
              "item": -5,
589 114 Mehdi Abaakouk
              "item_name": "ssd"},
590 113 Mehdi Abaakouk
            { "op": "chooseleaf_firstn",
591 113 Mehdi Abaakouk
              "num": 0,
592 113 Mehdi Abaakouk
              "type": "host"},
593 113 Mehdi Abaakouk
            { "op": "emit"}]}]
594 113 Mehdi Abaakouk
595 113 Mehdi Abaakouk
$ ceph osd pool set ssds crush_ruleset 1
596 113 Mehdi Abaakouk
</pre>
597 1 Mehdi Abaakouk
598 114 Mehdi Abaakouk
Il faut ensuite attendre que ceph redistribue les data comme on lui a demandé, on peut suivre l'avancement avec :
599 114 Mehdi Abaakouk
600 114 Mehdi Abaakouk
<pre>
601 114 Mehdi Abaakouk
ceph -s
602 114 Mehdi Abaakouk
</pre>
603 115 Mehdi Abaakouk
604 115 Mehdi Abaakouk
h2. Management d'openstack
605 114 Mehdi Abaakouk
606 138 Mehdi Abaakouk
h3. Exemple de migration de ganeti à openstack:
607 138 Mehdi Abaakouk
608 138 Mehdi Abaakouk
Sur g1:
609 138 Mehdi Abaakouk
<pre>
610 138 Mehdi Abaakouk
mkdir -p /var/lib/ceph/osd/ceph-0/migration_ganeti
611 138 Mehdi Abaakouk
</pre>
612 138 Mehdi Abaakouk
613 138 Mehdi Abaakouk
Sur h4:
614 138 Mehdi Abaakouk
<pre>
615 138 Mehdi Abaakouk
$ gnt-instance stop VMNAME.tetaneutral.net
616 138 Mehdi Abaakouk
$ gnt-instance activate-disks VMNAME.tetaneutral.net
617 138 Mehdi Abaakouk
h5.tetaneutral.net:disk/0:/dev/drbd34
618 138 Mehdi Abaakouk
</pre>
619 138 Mehdi Abaakouk
620 138 Mehdi Abaakouk
621 138 Mehdi Abaakouk
Sur g1, mettre l'image dans glance
622 138 Mehdi Abaakouk
<pre>
623 138 Mehdi Abaakouk
name=VMNAME.tetaneutral.net
624 138 Mehdi Abaakouk
glance image-create --name temp-$name --disk-format raw --container-format bare < <(ssh -P2222 root@h5 "dd if=/dev/drbd18")
625 138 Mehdi Abaakouk
image_id=$(glance image-show temp-$name | awk '/ id /{print $4}')
626 138 Mehdi Abaakouk
</pre>
627 138 Mehdi Abaakouk
628 139 Mehdi Abaakouk
Crée un volume avec cette image (remplacer 20 par la taille du disque désiré):
629 138 Mehdi Abaakouk
<pre>
630 138 Mehdi Abaakouk
cinder create --display-name ${name}-bootdisk --image-id $image_id 20
631 138 Mehdi Abaakouk
</pre>
632 138 Mehdi Abaakouk
633 140 Mehdi Abaakouk
Attendre que le disque soit pret:
634 140 Mehdi Abaakouk
<pre>
635 140 Mehdi Abaakouk
cinder list | grep ${name}-bootdisk
636 140 Mehdi Abaakouk
</pre>
637 140 Mehdi Abaakouk
638 138 Mehdi Abaakouk
Booter la VM avec ce disque:
639 138 Mehdi Abaakouk
<pre>
640 138 Mehdi Abaakouk
volume_id=$(cinder show ${name}-bootdisk | awk '/ id /{print $4}')
641 138 Mehdi Abaakouk
netid=$(neutron net-list | awk '/ttnn-net-bridged/{print $2}')
642 138 Mehdi Abaakouk
nova boot --nic net-id=$net_id --block-device source=volume,id=$volume_id,dest=volume,size=$disksize,shutdown=preserve,bootindex=0 --flavor m1.small $poll
643 138 Mehdi Abaakouk
${name}
644 1 Mehdi Abaakouk
</pre>
645 1 Mehdi Abaakouk
646 140 Mehdi Abaakouk
_Note: Si le disque a été agrandi, il est conseillé de lancer "growpart /dev/vda 1" dans la VM_
647 139 Mehdi Abaakouk
648 138 Mehdi Abaakouk
Supprimer l'image d'origine
649 138 Mehdi Abaakouk
<pre>
650 138 Mehdi Abaakouk
glance image-delete temp-$name
651 138 Mehdi Abaakouk
</pre>
652 138 Mehdi Abaakouk
653 138 Mehdi Abaakouk
Quand c'est fini sur h4:
654 138 Mehdi Abaakouk
655 138 Mehdi Abaakouk
<pre>
656 138 Mehdi Abaakouk
gnt-instance deactivate-disks VMNAME.tetaneutral.net
657 138 Mehdi Abaakouk
</pre>
658 138 Mehdi Abaakouk
659 114 Mehdi Abaakouk
h2. Maintenant de la VM de management
660 114 Mehdi Abaakouk
661 114 Mehdi Abaakouk
h3. Live Migration d'un host à l'autre
662 114 Mehdi Abaakouk
663 114 Mehdi Abaakouk
Cela fait tout à notre place niveau kvm/libvirt/ceph
664 114 Mehdi Abaakouk
665 114 Mehdi Abaakouk
<pre>
666 114 Mehdi Abaakouk
virsh migrate --persistent --undefinesource --live --p2p openstack qemu+ssh://g2:2222/system
667 114 Mehdi Abaakouk
</pre>
668 114 Mehdi Abaakouk
669 114 Mehdi Abaakouk
Pour le réseau le service/script 'tetaneutral-openstack-routing-daemon.sh' s'occupe de basculer les routes automatiquement.
670 114 Mehdi Abaakouk
671 114 Mehdi Abaakouk
h3. Recover depuis une perte de la machine hote:
672 114 Mehdi Abaakouk
673 137 Mehdi Abaakouk
Créé un fichier openstack.xml à partir d'un backup de '/etc/libvirt/qemu/openstack.xml' ou utiliser l'exemple ici: attachment:openstack.xml
674 114 Mehdi Abaakouk
675 1 Mehdi Abaakouk
_Note: il faut surement viré les uuid des interfaces openvswitch qui sont différent suivant le hosts_
676 1 Mehdi Abaakouk
677 1 Mehdi Abaakouk
Puis on recréé la VM
678 1 Mehdi Abaakouk
679 1 Mehdi Abaakouk
<pre>
680 1 Mehdi Abaakouk
$ virsh create openstack.xml
681 1 Mehdi Abaakouk
$ virsh start openstack.xml
682 1 Mehdi Abaakouk
</pre>