Projet

Général

Profil

Openstack Installation TTNN » Historique » Version 122

Mehdi Abaakouk, 29/08/2014 09:22

1 43 Laurent GUERBY
{{>toc}}
2 43 Laurent GUERBY
3 1 Mehdi Abaakouk
h1. Openstack Installation TTNN
4 1 Mehdi Abaakouk
5 44 Laurent GUERBY
h2. Liens
6 44 Laurent GUERBY
7 44 Laurent GUERBY
* http://ceph.com/docs/master/rados/operations/cache-tiering/
8 44 Laurent GUERBY
* http://ceph.com/docs/master/rados/operations/crush-map/
9 44 Laurent GUERBY
10 3 Mehdi Abaakouk
h2. Pending upstream fixes:
11 3 Mehdi Abaakouk
12 1 Mehdi Abaakouk
* build-debian-openstack-images, changes should be in next package version:
13 1 Mehdi Abaakouk
** Fix extlinux installation on jessie: http://anonscm.debian.org/cgit/openstack/openstack-debian-images.git/commit/?id=1a4ddceb99fb66f42f79e87a183d8e96952e5ac3
14 1 Mehdi Abaakouk
** Fix cloud-init setup with configdrive: http://anonscm.debian.org/cgit/openstack/openstack-debian-images.git/commit/?id=15cce87e2fa15b8952d69fb58711bfa88b21ef87
15 15 Mehdi Abaakouk
** Use Configdrive first for cloud-init: http://anonscm.debian.org/cgit/openstack/openstack-debian-images.git/commit/?id=1b1e1093d5ee525426382ad29b8219ab58f6656d
16 1 Mehdi Abaakouk
17 1 Mehdi Abaakouk
* nova: 
18 15 Mehdi Abaakouk
** Fix live-migration avec ceph and configdrive:: https://review.openstack.org/#/c/112014/, si la solution est mergé upstream, j'appliquerai le patch au package debian
19 1 Mehdi Abaakouk
20 4 Mehdi Abaakouk
h2. Installation
21 4 Mehdi Abaakouk
22 4 Mehdi Abaakouk
Le setup installé est composé de :
23 4 Mehdi Abaakouk
24 4 Mehdi Abaakouk
* 3 hyperviseurs (compute node) qui contiendront 1 ceph-mon, N ceph-osd, nova-compute (qui lance les VM), neutron-openvswitch-agent (qui configure le réseau des vms)
25 4 Mehdi Abaakouk
* 1 VM (controler node), qui contient tous les services de management d'openstack (nova, cinder, glance, neutron)
26 4 Mehdi Abaakouk
27 4 Mehdi Abaakouk
Les étapes d'installation sont les suivantes:
28 4 Mehdi Abaakouk
* Préparation manuelle de la VM de management sur un des hyperviseurs
29 4 Mehdi Abaakouk
* Installation de ceph et openstack sur toutes les machines avec puppet
30 4 Mehdi Abaakouk
* Déplacement de la VM de management d'openstack dans openstack.
31 4 Mehdi Abaakouk
32 33 Mehdi Abaakouk
h3. Information sur le puppet master:
33 33 Mehdi Abaakouk
34 33 Mehdi Abaakouk
La conf et modules puppet utilisé par tetaneutral.net ce trouve la:
35 33 Mehdi Abaakouk
36 33 Mehdi Abaakouk
> http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster
37 33 Mehdi Abaakouk
> http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster/revisions/master/entry/manifests/nodes/openstack.pp
38 33 Mehdi Abaakouk
39 33 Mehdi Abaakouk
Seulement c'est 3 classes sont spécifique à tetaneutral, le reste est réutilisable:
40 33 Mehdi Abaakouk
41 36 Mehdi Abaakouk
> class { 'ttnn::server': }
42 36 Mehdi Abaakouk
> class { 'backup::client': }
43 36 Mehdi Abaakouk
> class { 'sexymotd': }
44 33 Mehdi Abaakouk
45 33 Mehdi Abaakouk
Les modules qui sont nécessaire pour openstack pour le reste du fichier sont:
46 33 Mehdi Abaakouk
47 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-apache.git 
48 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-apt 
49 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-ceph.git 
50 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-cinder.git 
51 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-concat.git 
52 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-glance.git 
53 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-horizon.git 
54 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-inifile.git 
55 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-keystone.git 
56 33 Mehdi Abaakouk
> https://github.com/camptocamp/puppet-kmod.git 
57 33 Mehdi Abaakouk
> https://github.com/saz/puppet-memcached.git 
58 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-mysql.git 
59 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-neutron.git 
60 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-nova.git 
61 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-rabbitmq.git 
62 33 Mehdi Abaakouk
> https://github.com/nanliu/puppet-staging.git 
63 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-stdlib.git 
64 33 Mehdi Abaakouk
> https://github.com/duritong/puppet-sysctl.git 
65 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-vcsrepo.git 
66 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-vswitch.git 
67 36 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-xinetd.git
68 33 Mehdi Abaakouk
69 33 Mehdi Abaakouk
h3. Préparation réseaux des hosts:
70 29 Mehdi Abaakouk
71 31 Mehdi Abaakouk
Voici le fichier rc.local d'un hyperviseur (g1)
72 29 Mehdi Abaakouk
73 29 Mehdi Abaakouk
<pre>
74 71 Mehdi Abaakouk
#!/bin/sh
75 71 Mehdi Abaakouk
76 29 Mehdi Abaakouk
for i in /proc/sys/net/ipv6/conf/*; do for j in autoconf accept_ra; do echo 0 > $i/$j; done;done
77 1 Mehdi Abaakouk
# https://www.kernel.org/doc/Documentation/networking/ip-sysctl.txt
78 71 Mehdi Abaakouk
for i in /proc/sys/net/ipv4/conf/*/arp_announce; do echo 2 > $i;done
79 29 Mehdi Abaakouk
80 29 Mehdi Abaakouk
echo 1 > /proc/sys/net/ipv4/ip_forward
81 29 Mehdi Abaakouk
echo 1 > /proc/sys/net/ipv6/conf/all/forwarding
82 29 Mehdi Abaakouk
83 1 Mehdi Abaakouk
ip link set eth0 up
84 71 Mehdi Abaakouk
85 29 Mehdi Abaakouk
ip link add link eth0 name eth0.3131 type vlan id 3131
86 1 Mehdi Abaakouk
ip link set eth0.3131 up
87 71 Mehdi Abaakouk
88 29 Mehdi Abaakouk
ip addr add 89.234.156.251/32 dev eth0.3131
89 29 Mehdi Abaakouk
ip route add 91.224.149.0/24 dev eth0.3131
90 29 Mehdi Abaakouk
ip route add default via 91.224.149.254
91 29 Mehdi Abaakouk
92 29 Mehdi Abaakouk
ip addr add 2a01:6600:8083:fb00::1/56 dev eth0.3131
93 29 Mehdi Abaakouk
ip route add default via fe80::31 dev eth0.3131
94 1 Mehdi Abaakouk
95 71 Mehdi Abaakouk
ip route add 89.234.156.250/32 dev eth0.3131
96 71 Mehdi Abaakouk
ip route add 89.234.156.252/32 dev eth0.3131
97 71 Mehdi Abaakouk
ip route add 89.234.156.253/32 dev eth0.3131
98 71 Mehdi Abaakouk
99 98 Mehdi Abaakouk
ovs_vlan_attach(){
100 98 Mehdi Abaakouk
        bridge=$1
101 98 Mehdi Abaakouk
        interface=$2
102 98 Mehdi Abaakouk
        vlan=$3
103 98 Mehdi Abaakouk
        ip=$4
104 98 Mehdi Abaakouk
        # Clean ovs mess (it create the interface without vlan tag id)
105 98 Mehdi Abaakouk
        ovs-vsctl del-port ${bridge} ${interface}.${vlan}
106 98 Mehdi Abaakouk
        ip link del ${interface}.${vlan}
107 98 Mehdi Abaakouk
        ip link add link ${interface} name ${interface}.${vlan} type vlan id ${vlan}
108 98 Mehdi Abaakouk
        ip link set ${interface}.${vlan} up
109 98 Mehdi Abaakouk
        ovs-vsctl add-port ${bridge} ${interface}.${vlan}
110 98 Mehdi Abaakouk
        ip link set ${bridge} up
111 98 Mehdi Abaakouk
        [ "${ip}" ] && ip addr add ${ip} dev ${bridge}
112 98 Mehdi Abaakouk
}
113 1 Mehdi Abaakouk
114 98 Mehdi Abaakouk
ovs_vlan_attach br-admin eth0 3175 192.168.3.101/24
115 98 Mehdi Abaakouk
ovs_vlan_attach br-tsf eth0 3195 
116 1 Mehdi Abaakouk
117 71 Mehdi Abaakouk
ip link set br-net up
118 71 Mehdi Abaakouk
ip addr add fe80::31/64 dev br-net
119 29 Mehdi Abaakouk
ip addr add 91.224.148.0/32 dev br-net
120 71 Mehdi Abaakouk
121 98 Mehdi Abaakouk
for i in /etc/init.d/{ceph,nova-compute,neutron-plugin-*-agent} ; do
122 98 Mehdi Abaakouk
        $i restart
123 98 Mehdi Abaakouk
done
124 29 Mehdi Abaakouk
125 98 Mehdi Abaakouk
/root/tetaneutral-openstack-routing-daemon.sh -d
126 98 Mehdi Abaakouk
127 99 Mehdi Abaakouk
is_openstack_vm_here=$(virsh list --all | awk '{if ($2 == "openstack") print $0}')
128 99 Mehdi Abaakouk
if [ "$is_openstack_vm_here" ]; then
129 99 Mehdi Abaakouk
        virsh start openstack
130 99 Mehdi Abaakouk
        ip route add 89.234.156.249/32 dev br-net proto 42
131 99 Mehdi Abaakouk
        ip -6 route add 2a01:6600:8083:f900::/56 dev br-net proto 42
132 99 Mehdi Abaakouk
fi
133 99 Mehdi Abaakouk
134 98 Mehdi Abaakouk
exit 0
135 30 Mehdi Abaakouk
</pre>
136 30 Mehdi Abaakouk
137 30 Mehdi Abaakouk
_note: Les bridges openvswitch sont mémorisés et recréés automatiquement par le service openvswitch-switch_
138 30 Mehdi Abaakouk
139 30 Mehdi Abaakouk
Sur h7.tetaneutral.net le routage est le suivant
140 30 Mehdi Abaakouk
141 30 Mehdi Abaakouk
<pre>
142 30 Mehdi Abaakouk
ip route add 89.234.156.251/32 dev eth0.3131
143 30 Mehdi Abaakouk
ip route add 89.234.156.252/32 dev eth0.3131
144 30 Mehdi Abaakouk
ip route add 89.234.156.253/32 dev eth0.3131
145 30 Mehdi Abaakouk
ip route add 2a01:6600:8083:fb00::/56 dev eth0.3131
146 30 Mehdi Abaakouk
ip route add 2a01:6600:8083:fc00::/56 dev eth0.3131
147 30 Mehdi Abaakouk
ip route add 2a01:6600:8083:fd00::/56 dev eth0.3131
148 30 Mehdi Abaakouk
</pre>
149 74 Mehdi Abaakouk
150 4 Mehdi Abaakouk
151 57 Mehdi Abaakouk
h3. Preparation de la VM de management, le controlleur
152 89 Mehdi Abaakouk
153 4 Mehdi Abaakouk
h4. Installation des prérequis
154 4 Mehdi Abaakouk
155 6 Mehdi Abaakouk
<pre>
156 1 Mehdi Abaakouk
$ apt-get install libvirt-bin openstack-debian-images virtinst openvswitch-switch 
157 1 Mehdi Abaakouk
#NOTE(sileht): temporairement appliquer les patches de au-dessus à openstack-debian-images 
158 73 Mehdi Abaakouk
</pre>
159 73 Mehdi Abaakouk
160 6 Mehdi Abaakouk
h4. Preparation de l'image de la VM
161 17 Mehdi Abaakouk
162 16 Mehdi Abaakouk
On notera les ip temporaire 192.168.3.100
163 1 Mehdi Abaakouk
164 20 Mehdi Abaakouk
<pre>
165 16 Mehdi Abaakouk
$ vim hook.sh
166 16 Mehdi Abaakouk
set -xv
167 16 Mehdi Abaakouk
168 16 Mehdi Abaakouk
echo "openstack" > $BODI_CHROOT_PATH/etc/hostname
169 1 Mehdi Abaakouk
170 20 Mehdi Abaakouk
cat > $BODI_CHROOT_PATH/etc/resolv.conf <<EOF
171 6 Mehdi Abaakouk
domain tetaneutral.net
172 6 Mehdi Abaakouk
search tetaneutral.net
173 6 Mehdi Abaakouk
nameserver 8.8.8.8
174 1 Mehdi Abaakouk
EOF
175 6 Mehdi Abaakouk
176 20 Mehdi Abaakouk
cat > $BODI_CHROOT_PATH/etc/network/interfaces <<EOF
177 20 Mehdi Abaakouk
auto lo
178 1 Mehdi Abaakouk
iface lo inet loopback
179 1 Mehdi Abaakouk
auto eth0
180 92 Mehdi Abaakouk
iface eth0 inet manual
181 20 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth0.accept_ra=0
182 20 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth0.autoconf=0
183 20 Mehdi Abaakouk
  up ip link set eth0 up
184 20 Mehdi Abaakouk
  up ip addr add 89.234.156.249/32 dev eth0
185 1 Mehdi Abaakouk
  up ip route add 91.224.148.0/32 dev eth0
186 20 Mehdi Abaakouk
  up ip route add default via 91.224.148.0
187 92 Mehdi Abaakouk
188 40 Mehdi Abaakouk
iface eth0 inet6 static
189 46 Mehdi Abaakouk
    pre-up /sbin/sysctl -w net.ipv6.conf.eth0.accept_ra=0
190 46 Mehdi Abaakouk
    pre-up /sbin/sysctl -w net.ipv6.conf.eth0.autoconf=0
191 46 Mehdi Abaakouk
    address 2a01:6600:8083:f900::1
192 1 Mehdi Abaakouk
    netmask 56
193 46 Mehdi Abaakouk
    gateway fe80::31
194 46 Mehdi Abaakouk
195 92 Mehdi Abaakouk
auto eth1
196 6 Mehdi Abaakouk
iface eth1 inet static
197 20 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth1.accept_ra=0
198 1 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth1.autoconf=0
199 6 Mehdi Abaakouk
  address 192.168.3.100
200 4 Mehdi Abaakouk
  netmask 255.255.255.0
201 1 Mehdi Abaakouk
EOF
202 4 Mehdi Abaakouk
203 10 Mehdi Abaakouk
mkdir -p $BODI_CHROOT_PATH/root/.ssh
204 16 Mehdi Abaakouk
chmod 600 $BODI_CHROOT_PATH/root/.ssh
205 16 Mehdi Abaakouk
cat >> $BODI_CHROOT_PATH/root/.ssh/authorized_keys <<EOF
206 20 Mehdi Abaakouk
ssh-dss AAAAB3NzaC1kc3MAAACBAJtnGLvuz4uVD6fnERDxDi/C0UyzwCiKmgNtEessopREYasAX4Gu6Fg10jAyIL5Nuc7YDnqj//pOfxNjD7hp99a2ZmkRQgh/ltClxYML9fqhBHgsUCpVse9nOYDHDnDgvXIPRSDUHat2UFpdchHVrFURNLIlZnBztsr+GCDURTV/AAAAFQD9SrBcH49ltaKOm6V5ssCPmgs1SwAAAIAbAvkQ3/tMzzdACO5B9s5Yb3ZuM7XImm0iqufivVf2Xy39g8HOBulUsN7eKEGPhVriqNolgIO7q7tVgYAff4/NE4yDP0Kp0SPg4tjt2yFJuL31Y3wzwHjnKrjgNlDSLl3uZnRXSipwUMwGKbdHB6NZSqlq192VKbHilQ00pbiMlAAAAIB5dfB1lVHkJ0o5CcaVQRPbca9DvbbRwnoTSmKHc5DUcqsPqDhS07CkM9ZcJuY1Nh4wGl4Q9kArj7Tnsvvygf/HReSUcIk4+nbDytJ8/pca/Qx4fzQQyppa94TylN62LSFT6MIJKLoMwYa0dQURT7Mv5+9Qj2vk5pZ38w2iQ9zVCg== root@h1
207 1 Mehdi Abaakouk
EOF
208 7 Mehdi Abaakouk
209 4 Mehdi Abaakouk
sed -i -e 's/^.*Port.*$/Port 2222/' -e 's/^[# ]*PasswordAuthentication.*$/PasswordAuthentication no/' $BODI_CHROOT_PATH/etc/ssh/sshd_config
210 21 Mehdi Abaakouk
chroot $BODI_CHROOT_PATH dpkg-reconfigure openssh-server
211 12 Mehdi Abaakouk
chroot $BODI_CHROOT_PATH apt-get purge -y cloud-init*
212 4 Mehdi Abaakouk
</pre>
213 4 Mehdi Abaakouk
214 4 Mehdi Abaakouk
<pre>
215 5 Mehdi Abaakouk
$ chmod +x hook.sh
216 13 Mehdi Abaakouk
$ build-openstack-debian-image --image-size 20  --release jessie -u http://apt.tetaneutral.net/debian/ -s http://apt.tetaneutral.net/debian/ --hook-script $(pwd)/hook.sh
217 18 Mehdi Abaakouk
$ mv debian-jessie-7.0.0-3-amd64.raw /openstack.raw 
218 18 Mehdi Abaakouk
$ rm debian-jessie-7.0.0-3-amd64.qcow2
219 18 Mehdi Abaakouk
</pre>
220 18 Mehdi Abaakouk
221 18 Mehdi Abaakouk
_note: la derniere commande lancée par le script doit être 'qemu-img convert -c -f raw .... , sinon l'image de bootera pas_
222 18 Mehdi Abaakouk
_note(jessie): si l'erreur est celle ci-dessous, relancer manuellement 'kpartx -d debian-jessie-7.0.0-3-amd64.raw' jusqu'a ce que l'erreur disparaissent et le .raw est utilisable:_
223 59 Mehdi Abaakouk
<pre>
224 59 Mehdi Abaakouk
+ 'kpartx -d debian-jessie-7.0.0-3-amd64.raw'
225 11 Mehdi Abaakouk
device-mapper: remove ioctl on loop0p1 failed: Device or resource busy
226 4 Mehdi Abaakouk
loop deleted : /dev/loop0
227 4 Mehdi Abaakouk
</pre>
228 6 Mehdi Abaakouk
_note: si parted freeze -> lancer /etc/init.d/udev restart_
229 4 Mehdi Abaakouk
230 4 Mehdi Abaakouk
231 8 Mehdi Abaakouk
On garde l'image raw qui sera importable dans ceph plus tard et on la mets à la racine pour qui l'utilisateur libvirt puisse y accéder.
232 1 Mehdi Abaakouk
233 90 Mehdi Abaakouk
h4. Préparation du réseau
234 90 Mehdi Abaakouk
235 90 Mehdi Abaakouk
<pre>
236 90 Mehdi Abaakouk
$ modprobe vhost-net
237 90 Mehdi Abaakouk
$ ovs-vsctl add-br br-net 
238 90 Mehdi Abaakouk
$ ip link set br-net up 
239 90 Mehdi Abaakouk
$ ovs-vsctl br-set-external-id br-net bridge-id br-net 
240 90 Mehdi Abaakouk
$ ip link set br-admin up 
241 90 Mehdi Abaakouk
$ ovs-vsctl br-set-external-id br-net bridge-id br-admin 
242 90 Mehdi Abaakouk
$ ovs-vsctl add-port br-admin eth0.3175
243 5 Mehdi Abaakouk
$ ip addr add 192.168.3.101/24 dev br-admin 
244 6 Mehdi Abaakouk
$ ip addr add fe80::31/64 dev br-net 
245 4 Mehdi Abaakouk
$ ip route add 89.234.156.249/32 dev br-net
246 4 Mehdi Abaakouk
$ ip -6 route add 2a01:6600:8083:f900::/56 dev br-net
247 60 Mehdi Abaakouk
</pre>
248 4 Mehdi Abaakouk
249 91 Mehdi Abaakouk
h4. Installation de la VM
250 91 Mehdi Abaakouk
251 19 Mehdi Abaakouk
<pre>
252 93 Mehdi Abaakouk
$ virt-install --name openstack --ram 2048 --network bridge=br-net,model=virtio --network bridge=br-admin,model=virtio --nographics --serial pty --wait -1 --noreboot --autostart --disk /openstack.raw,bus=virtio,cache=none,io=native --import
253 19 Mehdi Abaakouk
$ EDITOR="sed -i -e \"s,<source bridge='br-net'/>,<source bridge='br-net'/><virtualport type='openvswitch' />,g\"" virsh edit openstack # Openvswitch is not yet supported by virt-install 
254 19 Mehdi Abaakouk
$ EDITOR="sed -i -e \"s,<source bridge='br-admin'/>,<source bridge='br-admin'/><virtualport type='openvswitch' />,g\"" virsh edit openstack # Openvswitch is not yet supported by virt-install 
255 19 Mehdi Abaakouk
$ virsh  start openstack
256 19 Mehdi Abaakouk
$ ssh root@89.234.156.249 -p 2222
257 19 Mehdi Abaakouk
</pre>
258 19 Mehdi Abaakouk
259 24 Mehdi Abaakouk
Une fois connecté à la VM:
260 24 Mehdi Abaakouk
261 24 Mehdi Abaakouk
<pre>
262 24 Mehdi Abaakouk
$ apt-get install puppet
263 24 Mehdi Abaakouk
$ puppet agent --enable
264 24 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
265 24 Mehdi Abaakouk
Info: Caching certificate for ca
266 19 Mehdi Abaakouk
Info: csr_attributes file loading from /etc/puppet/csr_attributes.yaml
267 19 Mehdi Abaakouk
Info: Creating a new SSL certificate request for openstack.tetaneutral.net
268 19 Mehdi Abaakouk
Info: Certificate Request fingerprint (SHA256): AE:72:47:40:A0:E2:F4:59:BA:39:FA:3D:C2:A7:C9:1B:9F:87:A5:B7:65:3A:F9:D4:DE:AF:E2:A3:02:41:0F:2E
269 19 Mehdi Abaakouk
Info: Caching certificate for ca
270 19 Mehdi Abaakouk
Exiting; no certificate found and waitforcert is disabled
271 1 Mehdi Abaakouk
</pre>
272 22 Mehdi Abaakouk
273 61 Mehdi Abaakouk
Sur le puppetmaster:
274 87 Mehdi Abaakouk
275 1 Mehdi Abaakouk
<pre>
276 19 Mehdi Abaakouk
$ puppet ca sign openstack.tetaneutral.net 
277 19 Mehdi Abaakouk
</pre>
278 24 Mehdi Abaakouk
_note: si un vieux cert existe: puppet ca revoke openstack.tetaneutral.net ; puppet cert clean openstack.tetaneutral.net; puppet node clean openstack.tetaneutral.net_
279 26 Mehdi Abaakouk
280 26 Mehdi Abaakouk
De nouveau sur la VM:
281 4 Mehdi Abaakouk
282 26 Mehdi Abaakouk
<pre>
283 32 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
284 26 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
285 34 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
286 34 Mehdi Abaakouk
</pre>
287 35 Mehdi Abaakouk
288 94 Mehdi Abaakouk
Il ne doit plus y avoir d'erreur la 3°/4° fois.
289 35 Mehdi Abaakouk
290 35 Mehdi Abaakouk
h3. Configuration des hyperviseurs
291 35 Mehdi Abaakouk
292 35 Mehdi Abaakouk
Une fois la configuration réseau faite, tout ce fait avec puppet:
293 35 Mehdi Abaakouk
294 35 Mehdi Abaakouk
<pre>
295 35 Mehdi Abaakouk
$ apt-get install puppet
296 35 Mehdi Abaakouk
$ puppet agent --enable
297 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
298 35 Mehdi Abaakouk
Info: Caching certificate for ca
299 35 Mehdi Abaakouk
Info: csr_attributes file loading from /etc/puppet/csr_attributes.yaml
300 35 Mehdi Abaakouk
Info: Creating a new SSL certificate request for openstack.tetaneutral.net
301 35 Mehdi Abaakouk
Info: Certificate Request fingerprint (SHA256): AE:72:47:40:A0:E2:F4:59:BA:39:FA:3D:C2:A7:C9:1B:9F:87:A5:B7:65:3A:F9:D4:DE:AF:E2:A3:02:41:0F:2E
302 35 Mehdi Abaakouk
Info: Caching certificate for ca
303 35 Mehdi Abaakouk
Exiting; no certificate found and waitforcert is disabled
304 35 Mehdi Abaakouk
</pre>
305 35 Mehdi Abaakouk
306 64 Mehdi Abaakouk
Sur le puppetmaster:
307 35 Mehdi Abaakouk
308 35 Mehdi Abaakouk
<pre>
309 35 Mehdi Abaakouk
$ puppet ca sign openstack.tetaneutral.net 
310 35 Mehdi Abaakouk
</pre>
311 35 Mehdi Abaakouk
_note: si un vieux cert existe: puppet ca revoke openstack.tetaneutral.net ; puppet cert clean openstack.tetaneutral.net; puppet node clean openstack.tetaneutral.net_
312 35 Mehdi Abaakouk
313 35 Mehdi Abaakouk
De nouveau sur la VM:
314 35 Mehdi Abaakouk
315 35 Mehdi Abaakouk
<pre>
316 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
317 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
318 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
319 35 Mehdi Abaakouk
</pre>
320 35 Mehdi Abaakouk
321 35 Mehdi Abaakouk
Il ne doit plus y avoir d'erreur la 3°/4° fois.
322 35 Mehdi Abaakouk
323 35 Mehdi Abaakouk
h4. Information sur la configuration d'un hyperviseur sur le puppet master
324 35 Mehdi Abaakouk
325 101 Mehdi Abaakouk
La configuration puppet ressemble à :
326 35 Mehdi Abaakouk
327 35 Mehdi Abaakouk
<pre>
328 35 Mehdi Abaakouk
node "gX.tetaneutral.net" inherits openstack_node_common {
329 35 Mehdi Abaakouk
  # Configuration du routerid et de l'AS number de cette machine
330 35 Mehdi Abaakouk
  # Il faut aussi mettre la conf bgp de h7 ainsi que les fichiers 
331 35 Mehdi Abaakouk
  # /etc/puppet/manifests/files/openstack-bird.conf.erb et
332 35 Mehdi Abaakouk
  # /etc/puppet/manifests/files/openstack-bird6.conf.erb
333 35 Mehdi Abaakouk
  # pour ajouter cette AS interne
334 35 Mehdi Abaakouk
  ttnn_os_bird {'198.51.100.1': asnum => "65001"}
335 35 Mehdi Abaakouk
336 100 Mehdi Abaakouk
  # Dans le cas d'une moniteur ceph, mais uniquement 3 suffissent, on a déjà g1,g2,g3
337 100 Mehdi Abaakouk
  ttnn_ceph_mon {$::hostname:}
338 100 Mehdi Abaakouk
  # Sinon utilisait:
339 100 Mehdi Abaakouk
  # class{"ttnn_ceph_osd_only": }
340 35 Mehdi Abaakouk
341 1 Mehdi Abaakouk
  # La partie Openstack, l'uuid doit être unique par machine (générer avec uuid-gen)
342 72 Mehdi Abaakouk
  ttnn_os_compute {"9d26ec10-a48b-4f0f-a122-f10ed16d270f": }
343 37 Mehdi Abaakouk
}
344 38 Mehdi Abaakouk
</pre>
345 38 Mehdi Abaakouk
346 109 Mehdi Abaakouk
h3. Déplacement du disk du controlleur dans le cluster ceph
347 1 Mehdi Abaakouk
348 120 Mehdi Abaakouk
Les recettes puppet on créé un pool disks pour les mettres les VMs et volumes de VM
349 1 Mehdi Abaakouk
350 1 Mehdi Abaakouk
351 109 Mehdi Abaakouk
Sur g1, on remplace le disk de "instance-00000004" par celui de la vrai vm de management:
352 97 Mehdi Abaakouk
<pre>
353 109 Mehdi Abaakouk
$ virsh shutdown openstack
354 120 Mehdi Abaakouk
$ rbd -p disks import /var/lib/ceph/osd/ceph-0/openstack.raw  openstack-disk
355 109 Mehdi Abaakouk
$ virsh edit openstack
356 88 Mehdi Abaakouk
</pre>
357 88 Mehdi Abaakouk
358 109 Mehdi Abaakouk
Remplacer: 
359 88 Mehdi Abaakouk
<pre>
360 109 Mehdi Abaakouk
    <disk type='file' device='disk'>
361 109 Mehdi Abaakouk
      <driver name='qemu' type='raw' cache='none' io='native'/>
362 109 Mehdi Abaakouk
      <source file='/var/lib/ceph/osd/ceph-0/openstack.raw'/>
363 109 Mehdi Abaakouk
      <target dev='vda' bus='virtio'/>
364 109 Mehdi Abaakouk
      <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
365 109 Mehdi Abaakouk
    </disk>
366 97 Mehdi Abaakouk
</pre>
367 97 Mehdi Abaakouk
368 109 Mehdi Abaakouk
Par:
369 97 Mehdi Abaakouk
370 97 Mehdi Abaakouk
<pre>
371 109 Mehdi Abaakouk
    <disk type='network' device='disk'>
372 111 Mehdi Abaakouk
        <driver name='qemu' type='raw'/>
373 120 Mehdi Abaakouk
        <source protocol='rbd' name='disks/openstack-disk'>
374 109 Mehdi Abaakouk
                <host name='192.168.3.101' port='6789'/>
375 109 Mehdi Abaakouk
                <host name='192.168.3.102' port='6789'/>
376 109 Mehdi Abaakouk
                <host name='192.168.3.103' port='6789'/>
377 109 Mehdi Abaakouk
        </source>
378 112 Mehdi Abaakouk
        <auth username='openstack-service'>
379 109 Mehdi Abaakouk
            <secret type='ceph' uuid='1fe74663-8dfa-486c-bb80-3bd94c90c967'/>
380 109 Mehdi Abaakouk
        </auth>
381 109 Mehdi Abaakouk
        <target dev='vda' bus='virtio'/>
382 110 Mehdi Abaakouk
        <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
383 109 Mehdi Abaakouk
    </disk>
384 97 Mehdi Abaakouk
</pre>
385 97 Mehdi Abaakouk
386 109 Mehdi Abaakouk
La clé ceph pour libvirt a déjà été installé par puppet pour avoir sont uuid:
387 97 Mehdi Abaakouk
388 97 Mehdi Abaakouk
<pre>
389 109 Mehdi Abaakouk
$ virsh secret-list
390 109 Mehdi Abaakouk
 UUID                                  Usage
391 109 Mehdi Abaakouk
--------------------------------------------------------------------------------
392 109 Mehdi Abaakouk
 1fe74663-8dfa-486c-bb80-3bd94c90c967  ceph client.openstack-service secret
393 97 Mehdi Abaakouk
</pre>
394 97 Mehdi Abaakouk
395 109 Mehdi Abaakouk
Puis on démarre
396 97 Mehdi Abaakouk
397 97 Mehdi Abaakouk
<pre>
398 109 Mehdi Abaakouk
$ virsh start openstack
399 97 Mehdi Abaakouk
</pre>
400 97 Mehdi Abaakouk
401 97 Mehdi Abaakouk
402 97 Mehdi Abaakouk
Ca marche !
403 97 Mehdi Abaakouk
404 97 Mehdi Abaakouk
<pre>
405 97 Mehdi Abaakouk
$ ssh openstack.t
406 97 Mehdi Abaakouk
X11 forwarding request failed on channel 0
407 97 Mehdi Abaakouk
408 97 Mehdi Abaakouk
  server: openstack.tetaneutral.net
409 97 Mehdi Abaakouk
  system: Debian jessie/sid, kernel 3.14-2-amd64, puppet 3.6.1
410 97 Mehdi Abaakouk
     cpu: 1/1 (QEMU Virtual CPU version 2.1.0)
411 97 Mehdi Abaakouk
  memory: 1.96 GB
412 97 Mehdi Abaakouk
413 97 Mehdi Abaakouk
    eth0: 52:54:00:90:d8:c7 / 89.234.156.249 / 2a01:6600:8083:f900::1
414 97 Mehdi Abaakouk
    eth1: 52:54:00:13:fa:13 / 192.168.3.100
415 97 Mehdi Abaakouk
416 97 Mehdi Abaakouk
 modules: openstack_node_common ttnn::server resolver checkmk::agent checkmk::client rsyslog::client rsyslog apt apt::update puppet nullmailer backup::client sexymotd 
417 97 Mehdi Abaakouk
                            _             _    
418 97 Mehdi Abaakouk
  ___  _ __   ___ _ __  ___| |_ __ _  ___| | __
419 97 Mehdi Abaakouk
 / _ \| '_ \ / _ \ '_ \/ __| __/ _` |/ __| |/ /
420 97 Mehdi Abaakouk
| (_) | |_) |  __/ | | \__ \ || (_| | (__|   < 
421 97 Mehdi Abaakouk
 \___/| .__/ \___|_| |_|___/\__\__,_|\___|_|\_\
422 97 Mehdi Abaakouk
      |_|                                      
423 97 Mehdi Abaakouk
Last login: Wed Aug 27 08:10:02 2014 from atoulouse-652-1-119-50.w2-6.abo.wanadoo.fr
424 68 Mehdi Abaakouk
root@openstack:~# 
425 68 Mehdi Abaakouk
426 68 Mehdi Abaakouk
</pre>
427 68 Mehdi Abaakouk
428 102 Mehdi Abaakouk
h2. Preparation des OSD pour ceph
429 1 Mehdi Abaakouk
430 102 Mehdi Abaakouk
h3. Cas général un disque entier:
431 1 Mehdi Abaakouk
432 102 Mehdi Abaakouk
$ ceph-disk prepare /dev/sdb
433 102 Mehdi Abaakouk
$ ceph-disk activate /dev/sdb
434 68 Mehdi Abaakouk
435 68 Mehdi Abaakouk
h3. Cas particulier du SSD ou ce trouve l'OS
436 68 Mehdi Abaakouk
437 68 Mehdi Abaakouk
En général avec ceph, on donne un disque, ceph créé 2 partitions une pour le journal de l'OSD, l'autre pour les datas
438 68 Mehdi Abaakouk
mais pour le SSD de tetaneutral qui a aussi l'OS, voici la méthode
439 68 Mehdi Abaakouk
440 68 Mehdi Abaakouk
Création manuelle de la partition de data ceph /dev/sda2 ici
441 68 Mehdi Abaakouk
442 68 Mehdi Abaakouk
<pre>
443 68 Mehdi Abaakouk
$ fdisk /dev/sda
444 68 Mehdi Abaakouk
445 68 Mehdi Abaakouk
n
446 68 Mehdi Abaakouk
p
447 68 Mehdi Abaakouk
<enter>
448 68 Mehdi Abaakouk
<enter>
449 68 Mehdi Abaakouk
<enter>
450 68 Mehdi Abaakouk
<enter>
451 68 Mehdi Abaakouk
w
452 68 Mehdi Abaakouk
453 68 Mehdi Abaakouk
$ partprobe
454 1 Mehdi Abaakouk
</pre>
455 68 Mehdi Abaakouk
456 103 Mehdi Abaakouk
On prepare le disk comme normalement
457 1 Mehdi Abaakouk
458 34 Mehdi Abaakouk
<pre>
459 103 Mehdi Abaakouk
ceph-disk prepare /dev/sda2
460 102 Mehdi Abaakouk
ceph-disk activate /dev/sda2
461 1 Mehdi Abaakouk
</pre>
462 1 Mehdi Abaakouk
463 102 Mehdi Abaakouk
Le disque n'étant pas utilisé uniquement par ceph, le service ceph ne le chargera pas automatiquement:
464 102 Mehdi Abaakouk
Il faut ajouter ceci dans le /etc/rc.local:
465 102 Mehdi Abaakouk
466 102 Mehdi Abaakouk
<pre>
467 102 Mehdi Abaakouk
ceph-disk activate /dev/sda2
468 102 Mehdi Abaakouk
</pre>
469 102 Mehdi Abaakouk
470 104 Mehdi Abaakouk
3. Suppression OSD:
471 104 Mehdi Abaakouk
472 104 Mehdi Abaakouk
<pre>
473 104 Mehdi Abaakouk
name="osd.2"
474 104 Mehdi Abaakouk
ceph osd out ${name}
475 104 Mehdi Abaakouk
/etc/init.d/ceph stop ${name}
476 105 Mehdi Abaakouk
ceph osd crush remove ${name}
477 104 Mehdi Abaakouk
ceph auth del ${name}
478 104 Mehdi Abaakouk
ceph osd rm ${name}
479 106 Mehdi Abaakouk
ceph osd tree
480 104 Mehdi Abaakouk
</pre>
481 104 Mehdi Abaakouk
482 116 Mehdi Abaakouk
h2. Configuration des Placements Groups des pools:
483 116 Mehdi Abaakouk
484 116 Mehdi Abaakouk
Par défaut les pools sont créés avec des placements groups à 8 (pg_num=8), 3 replicats dont 2 "synchrones (dans le sens ack de l'IO au client)" 
485 116 Mehdi Abaakouk
486 116 Mehdi Abaakouk
Mais cette valeur (pg_num) défini le bon fonctionnement de ceph. Dans le cas standard (ie: 1 seul pool) la recette est facile: 
487 116 Mehdi Abaakouk
488 116 Mehdi Abaakouk
<pre>
489 116 Mehdi Abaakouk
               (OSDs * 100)
490 116 Mehdi Abaakouk
Total PGs = (  ------------  )
491 116 Mehdi Abaakouk
              OSD per object
492 116 Mehdi Abaakouk
</pre>
493 116 Mehdi Abaakouk
494 116 Mehdi Abaakouk
On arrondi à la puissance de 2 supperieurs. Mais dans notre cas 3 pools ce n'est pas si simple, les pools auront des cas d'utilisation différent:
495 116 Mehdi Abaakouk
496 116 Mehdi Abaakouk
Ma proposition de configuration:
497 116 Mehdi Abaakouk
* Pool ssds: il a 3 OSDs pour lui tout seul, on applique la recette magique: 3*100/3 ~= 128 pgs
498 116 Mehdi Abaakouk
* Pools images et disks: ils ont 3 OSDs à ce partager donc il faut répartir les 128 pgs. soit 32pgs et 96pgs (PS: il faut au moins 20pgs pour 3 réplicats)
499 116 Mehdi Abaakouk
500 116 Mehdi Abaakouk
Soit:
501 116 Mehdi Abaakouk
<pre>
502 116 Mehdi Abaakouk
ceph osd pool set ssds pg_num 128
503 116 Mehdi Abaakouk
ceph osd pool set images pg_num 32
504 116 Mehdi Abaakouk
ceph osd pool set disks pg_num 96
505 116 Mehdi Abaakouk
506 116 Mehdi Abaakouk
# attendre un peu qu'il y est plus de pg_create dans 'ceph -s'
507 116 Mehdi Abaakouk
ceph osd pool set ssds pgp_num 128  
508 116 Mehdi Abaakouk
ceph osd pool set images pgp_num 32
509 116 Mehdi Abaakouk
ceph osd pool set disks pgp_num 96
510 116 Mehdi Abaakouk
</pre>
511 116 Mehdi Abaakouk
512 116 Mehdi Abaakouk
513 116 Mehdi Abaakouk
514 116 Mehdi Abaakouk
_ref: http://ceph.com/docs/master/rados/operations/placement-groups/_
515 116 Mehdi Abaakouk
516 107 Mehdi Abaakouk
h2. Preparation du Pool SSD pour ceph 
517 1 Mehdi Abaakouk
518 69 Mehdi Abaakouk
Chaque machine se trouve dans 2 hosts, un host SSD et un host HARDDISK (même si en réalité les deux sont sur la même machine physique),
519 1 Mehdi Abaakouk
520 1 Mehdi Abaakouk
Ensuite on créé 2 object root un pour les hosts SSD et un autre pour les host HARDDISK
521 79 Mehdi Abaakouk
522 1 Mehdi Abaakouk
On créé ensuite 2 règles de stockage une qui envoie les objects vers le root SSD et l'autre vers le root HARDDISK
523 1 Mehdi Abaakouk
524 1 Mehdi Abaakouk
Cela permettra d'avoir de définir une règle différente suivant les pools ceph.
525 1 Mehdi Abaakouk
526 121 Mehdi Abaakouk
Niveau Openstack nous avons 3 pools:
527 121 Mehdi Abaakouk
* disks: Ce pool aura les disques de VM et les volumes attaché
528 121 Mehdi Abaakouk
* ssds: Ce pool contiendra les volumes sur ssd
529 121 Mehdi Abaakouk
* images: c'est la que seront stocké les images de VMs (glance).
530 1 Mehdi Abaakouk
531 107 Mehdi Abaakouk
h3. Configuration de la crushmap de ceph:
532 1 Mehdi Abaakouk
533 107 Mehdi Abaakouk
Création de l'arbre de ragnement physique des SSD, l'arbre nommé 'default' sera donc celui des disques durs
534 107 Mehdi Abaakouk
535 1 Mehdi Abaakouk
<pre>
536 107 Mehdi Abaakouk
$ ceph osd crush add-bucket ssd root
537 107 Mehdi Abaakouk
$ ceph osd crush add-bucket g1-ssd host
538 107 Mehdi Abaakouk
$ ceph osd crush add-bucket g2-ssd host
539 107 Mehdi Abaakouk
$ ceph osd crush add-bucket g3-ssd host
540 107 Mehdi Abaakouk
$ ceph osd crush move g1-ssd root=ssd
541 107 Mehdi Abaakouk
$ ceph osd crush move g2-ssd root=ssd
542 107 Mehdi Abaakouk
$ ceph osd crush move g3-ssd root=ssd
543 107 Mehdi Abaakouk
$ ceph osd tree
544 107 Mehdi Abaakouk
# id	weight	type name	up/down	reweight
545 107 Mehdi Abaakouk
-5	0	root ssd
546 107 Mehdi Abaakouk
-6	0		host g1-ssd
547 107 Mehdi Abaakouk
-7	0		host g2-ssd
548 107 Mehdi Abaakouk
-8	0		host g3-ssd
549 122 Mehdi Abaakouk
-1	3	root default
550 122 Mehdi Abaakouk
-2	1		host g1
551 122 Mehdi Abaakouk
0	1			osd.0	up	1	
552 122 Mehdi Abaakouk
3	1			osd.3	up	1	
553 122 Mehdi Abaakouk
-3	1		host g2
554 122 Mehdi Abaakouk
1	1			osd.1	up	1	
555 122 Mehdi Abaakouk
4	1			osd.4	up	1	
556 122 Mehdi Abaakouk
-4	1		host g3
557 122 Mehdi Abaakouk
2	1			osd.2	up	1	
558 122 Mehdi Abaakouk
5	1			osd.5	up	1	
559 1 Mehdi Abaakouk
</pre>
560 1 Mehdi Abaakouk
561 1 Mehdi Abaakouk
562 107 Mehdi Abaakouk
On range les osd qui ont des disques SSD dans ce nouvel arbre.
563 107 Mehdi Abaakouk
564 1 Mehdi Abaakouk
<pre>
565 118 Mehdi Abaakouk
$ ceph osd crush add osd.3 1  root=ssd host=g1-ssd
566 118 Mehdi Abaakouk
$ ceph osd crush add osd.4 1  root=ssd host=g2-ssd
567 118 Mehdi Abaakouk
$ ceph osd crush add osd.5 1  root=ssd host=g3-ssd
568 118 Mehdi Abaakouk
# Ou si l'osd a déjà éte positionné une fois
569 117 Mehdi Abaakouk
$ ceph osd crush set osd.3 1  root=ssd host=g1-ssd
570 117 Mehdi Abaakouk
$ ceph osd crush set osd.4 1  root=ssd host=g2-ssd
571 117 Mehdi Abaakouk
$ ceph osd crush set osd.5 1  root=ssd host=g3-ssd
572 118 Mehdi Abaakouk
573 118 Mehdi Abaakouk
# Vérifier le résultat
574 107 Mehdi Abaakouk
$ ceph osd tree
575 107 Mehdi Abaakouk
# id	weight	type name	up/down	reweight
576 122 Mehdi Abaakouk
-5	3	root ssd
577 122 Mehdi Abaakouk
-6	1		host g1-ssd
578 122 Mehdi Abaakouk
3	1			osd.3	up	1	
579 122 Mehdi Abaakouk
-7	1		host g2-ssd
580 122 Mehdi Abaakouk
4	1			osd.4	up	1	
581 122 Mehdi Abaakouk
-8	1		host g3-ssd
582 122 Mehdi Abaakouk
5	1			osd.5	up	1	
583 122 Mehdi Abaakouk
-1	3	root default
584 122 Mehdi Abaakouk
-2	1		host g1
585 122 Mehdi Abaakouk
0	1			osd.0	up	1	
586 122 Mehdi Abaakouk
-3	1		host g2
587 122 Mehdi Abaakouk
1	1			osd.1	up	1	
588 122 Mehdi Abaakouk
-4	1		host g3
589 122 Mehdi Abaakouk
2	1			osd.2	up	1	
590 96 Mehdi Abaakouk
</pre>
591 96 Mehdi Abaakouk
592 108 Mehdi Abaakouk
Et pour finir, on recalcul le poids de chaque OSD
593 108 Mehdi Abaakouk
594 1 Mehdi Abaakouk
<pre>
595 108 Mehdi Abaakouk
ceph osd reweight-by-utilization
596 108 Mehdi Abaakouk
</pre>
597 108 Mehdi Abaakouk
598 107 Mehdi Abaakouk
h3. Definition de la crushmap de ttnn
599 96 Mehdi Abaakouk
600 96 Mehdi Abaakouk
601 121 Mehdi Abaakouk
Une fois la crushmap modifié on créée et applique la règle sur le pool ssds:
602 96 Mehdi Abaakouk
603 107 Mehdi Abaakouk
<pre>
604 107 Mehdi Abaakouk
$ ceph osd crush rule create-simple ssd_replicated_ruleset ssd host firstn
605 107 Mehdi Abaakouk
$ ceph osd crush rule dump
606 107 Mehdi Abaakouk
[
607 107 Mehdi Abaakouk
    { "rule_id": 0,
608 107 Mehdi Abaakouk
      "rule_name": "replicated_ruleset",
609 107 Mehdi Abaakouk
      "ruleset": 0,
610 107 Mehdi Abaakouk
      "type": 1,
611 107 Mehdi Abaakouk
      "min_size": 1,
612 107 Mehdi Abaakouk
      "max_size": 10,
613 107 Mehdi Abaakouk
      "steps": [
614 107 Mehdi Abaakouk
            { "op": "take",
615 107 Mehdi Abaakouk
              "item": -1,
616 107 Mehdi Abaakouk
              "item_name": "default"},
617 107 Mehdi Abaakouk
            { "op": "chooseleaf_firstn",
618 107 Mehdi Abaakouk
              "num": 0,
619 107 Mehdi Abaakouk
              "type": "host"},
620 107 Mehdi Abaakouk
            { "op": "emit"}]},
621 107 Mehdi Abaakouk
    { "rule_id": 1,
622 107 Mehdi Abaakouk
      "rule_name": "ssd_replicated_ruleset",
623 107 Mehdi Abaakouk
      "ruleset": 1,
624 107 Mehdi Abaakouk
      "type": 1,
625 107 Mehdi Abaakouk
      "min_size": 1,
626 107 Mehdi Abaakouk
      "max_size": 10,
627 107 Mehdi Abaakouk
      "steps": [
628 1 Mehdi Abaakouk
            { "op": "take",
629 107 Mehdi Abaakouk
              "item": -5,
630 107 Mehdi Abaakouk
              "item_name": "ssd"},
631 107 Mehdi Abaakouk
            { "op": "chooseleaf_firstn",
632 107 Mehdi Abaakouk
              "num": 0,
633 107 Mehdi Abaakouk
              "type": "host"},
634 107 Mehdi Abaakouk
            { "op": "emit"}]}]
635 1 Mehdi Abaakouk
636 121 Mehdi Abaakouk
$ ceph osd pool set ssds crush_ruleset 1
637 1 Mehdi Abaakouk
</pre>
638 1 Mehdi Abaakouk
639 107 Mehdi Abaakouk
Il faut ensuite attendre que ceph redistribue les data comme on lui a demandé, on peut suivre l'avancement avec :
640 1 Mehdi Abaakouk
641 1 Mehdi Abaakouk
<pre>
642 107 Mehdi Abaakouk
ceph -s
643 1 Mehdi Abaakouk
</pre>
644 1 Mehdi Abaakouk
645 1 Mehdi Abaakouk
h2. Management d'openstack
646 113 Mehdi Abaakouk
647 114 Mehdi Abaakouk
h2. Maintenant de la VM de management
648 1 Mehdi Abaakouk
649 114 Mehdi Abaakouk
h3. Live Migration d'un host à l'autre
650 113 Mehdi Abaakouk
651 113 Mehdi Abaakouk
Cela fait tout à notre place niveau kvm/libvirt/ceph
652 113 Mehdi Abaakouk
653 113 Mehdi Abaakouk
<pre>
654 113 Mehdi Abaakouk
virsh migrate --persistent --undefinesource --live --p2p openstack qemu+ssh://g2:2222/system
655 113 Mehdi Abaakouk
</pre>
656 113 Mehdi Abaakouk
657 1 Mehdi Abaakouk
Pour le réseau le service/script 'tetaneutral-openstack-routing-daemon.sh' s'occupe de basculer les routes automatiquement.
658 114 Mehdi Abaakouk
659 114 Mehdi Abaakouk
h3. Recover depuis une perte de la machine hote:
660 114 Mehdi Abaakouk
661 114 Mehdi Abaakouk
Créé un fichier openstack.xml à partir d'un backup de '/etc/libvirt/qemu/openstack.xml' ou utiliser l'exemple ci-dessous:
662 114 Mehdi Abaakouk
663 115 Mehdi Abaakouk
_Note: il faut surement viré les uuid des interfaces openvswitch qui sont différent suivant le hosts_
664 115 Mehdi Abaakouk
665 114 Mehdi Abaakouk
<pre>
666 114 Mehdi Abaakouk
<domain type='kvm'>
667 114 Mehdi Abaakouk
  <name>openstack</name>
668 114 Mehdi Abaakouk
  <uuid>8ff46696-7b94-6d0b-7022-edbcf88648c0</uuid>
669 114 Mehdi Abaakouk
  <memory unit='KiB'>2097152</memory>
670 114 Mehdi Abaakouk
  <currentMemory unit='KiB'>2097152</currentMemory>
671 114 Mehdi Abaakouk
  <vcpu placement='static'>1</vcpu>
672 114 Mehdi Abaakouk
  <os>
673 114 Mehdi Abaakouk
    <type arch='x86_64' machine='pc-i440fx-2.1'>hvm</type>
674 114 Mehdi Abaakouk
    <boot dev='hd'/>
675 114 Mehdi Abaakouk
  </os>
676 114 Mehdi Abaakouk
  <features>
677 114 Mehdi Abaakouk
    <acpi/>
678 114 Mehdi Abaakouk
    <apic/>
679 114 Mehdi Abaakouk
    <pae/>
680 114 Mehdi Abaakouk
  </features>
681 114 Mehdi Abaakouk
  <clock offset='utc'/>
682 114 Mehdi Abaakouk
  <on_poweroff>destroy</on_poweroff>
683 114 Mehdi Abaakouk
  <on_reboot>restart</on_reboot>
684 114 Mehdi Abaakouk
  <on_crash>restart</on_crash>
685 114 Mehdi Abaakouk
  <devices>
686 114 Mehdi Abaakouk
    <emulator>/usr/bin/kvm</emulator>
687 114 Mehdi Abaakouk
    <disk type='network' device='disk'>
688 114 Mehdi Abaakouk
      <driver name='qemu' type='raw'/>
689 114 Mehdi Abaakouk
      <auth username='openstack-service'>
690 114 Mehdi Abaakouk
        <secret type='ceph' uuid='1fe74663-8dfa-486c-bb80-3bd94c90c967'/>
691 114 Mehdi Abaakouk
      </auth>
692 114 Mehdi Abaakouk
      <source protocol='rbd' name='libvirt-raw/openstack-disk'/>
693 114 Mehdi Abaakouk
      <target dev='vda' bus='virtio'/>
694 114 Mehdi Abaakouk
      <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
695 114 Mehdi Abaakouk
    </disk>
696 114 Mehdi Abaakouk
    <controller type='usb' index='0'>
697 114 Mehdi Abaakouk
      <address type='pci' domain='0x0000' bus='0x00' slot='0x01' function='0x2'/>
698 114 Mehdi Abaakouk
    </controller>
699 114 Mehdi Abaakouk
    <controller type='pci' index='0' model='pci-root'/>
700 114 Mehdi Abaakouk
    <interface type='bridge'>
701 114 Mehdi Abaakouk
      <mac address='52:54:00:90:d8:c7'/>
702 114 Mehdi Abaakouk
      <source bridge='br-net'/>
703 114 Mehdi Abaakouk
      <virtualport type='openvswitch'>
704 114 Mehdi Abaakouk
        <parameters interfaceid='f0c8bfd0-36e3-46fb-974e-9dbe8d501c19'/>
705 114 Mehdi Abaakouk
      </virtualport>
706 114 Mehdi Abaakouk
      <model type='virtio'/>
707 114 Mehdi Abaakouk
      <address type='pci' domain='0x0000' bus='0x00' slot='0x02' function='0x0'/>
708 114 Mehdi Abaakouk
    </interface>
709 114 Mehdi Abaakouk
    <interface type='bridge'>
710 114 Mehdi Abaakouk
      <mac address='52:54:00:13:fa:13'/>
711 114 Mehdi Abaakouk
      <source bridge='br-admin'/>
712 114 Mehdi Abaakouk
      <virtualport type='openvswitch'>
713 114 Mehdi Abaakouk
        <parameters interfaceid='25b32029-968f-49a0-aa04-45baf5c443c6'/>
714 114 Mehdi Abaakouk
      </virtualport>
715 114 Mehdi Abaakouk
      <model type='virtio'/>
716 114 Mehdi Abaakouk
      <address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/>
717 114 Mehdi Abaakouk
    </interface>
718 114 Mehdi Abaakouk
    <serial type='pty'>
719 114 Mehdi Abaakouk
      <target port='0'/>
720 114 Mehdi Abaakouk
    </serial>
721 114 Mehdi Abaakouk
    <console type='pty'>
722 114 Mehdi Abaakouk
      <target type='serial' port='0'/>
723 114 Mehdi Abaakouk
    </console>
724 114 Mehdi Abaakouk
    <memballoon model='virtio'>
725 114 Mehdi Abaakouk
      <address type='pci' domain='0x0000' bus='0x00' slot='0x05' function='0x0'/>
726 114 Mehdi Abaakouk
    </memballoon>
727 114 Mehdi Abaakouk
  </devices>
728 114 Mehdi Abaakouk
</domain>
729 114 Mehdi Abaakouk
</pre>
730 114 Mehdi Abaakouk
731 114 Mehdi Abaakouk
732 114 Mehdi Abaakouk
Puis on recréé la VM
733 114 Mehdi Abaakouk
734 114 Mehdi Abaakouk
<pre>
735 114 Mehdi Abaakouk
$ virsh create openstack.xml
736 114 Mehdi Abaakouk
$ virsh start openstack.xml
737 114 Mehdi Abaakouk
</pre>