Project

General

Profile

Openstack Installation TTNN » History » Version 97

Mehdi Abaakouk, 08/27/2014 10:10 AM

1 43 Laurent GUERBY
{{>toc}}
2 43 Laurent GUERBY
3 1 Mehdi Abaakouk
h1. Openstack Installation TTNN
4 1 Mehdi Abaakouk
5 44 Laurent GUERBY
h2. Liens
6 44 Laurent GUERBY
7 44 Laurent GUERBY
* http://ceph.com/docs/master/rados/operations/cache-tiering/
8 44 Laurent GUERBY
* http://ceph.com/docs/master/rados/operations/crush-map/
9 44 Laurent GUERBY
10 3 Mehdi Abaakouk
h2. Pending upstream fixes:
11 3 Mehdi Abaakouk
12 1 Mehdi Abaakouk
* build-debian-openstack-images, changes should be in next package version:
13 1 Mehdi Abaakouk
** Fix extlinux installation on jessie: http://anonscm.debian.org/cgit/openstack/openstack-debian-images.git/commit/?id=1a4ddceb99fb66f42f79e87a183d8e96952e5ac3
14 1 Mehdi Abaakouk
** Fix cloud-init setup with configdrive: http://anonscm.debian.org/cgit/openstack/openstack-debian-images.git/commit/?id=15cce87e2fa15b8952d69fb58711bfa88b21ef87
15 15 Mehdi Abaakouk
** Use Configdrive first for cloud-init: http://anonscm.debian.org/cgit/openstack/openstack-debian-images.git/commit/?id=1b1e1093d5ee525426382ad29b8219ab58f6656d
16 1 Mehdi Abaakouk
17 1 Mehdi Abaakouk
* nova: 
18 15 Mehdi Abaakouk
** Fix live-migration avec ceph and configdrive:: https://review.openstack.org/#/c/112014/, si la solution est mergé upstream, j'appliquerai le patch au package debian
19 1 Mehdi Abaakouk
20 4 Mehdi Abaakouk
h2. Installation
21 4 Mehdi Abaakouk
22 4 Mehdi Abaakouk
Le setup installé est composé de :
23 4 Mehdi Abaakouk
24 4 Mehdi Abaakouk
* 3 hyperviseurs (compute node) qui contiendront 1 ceph-mon, N ceph-osd, nova-compute (qui lance les VM), neutron-openvswitch-agent (qui configure le réseau des vms)
25 4 Mehdi Abaakouk
* 1 VM (controler node), qui contient tous les services de management d'openstack (nova, cinder, glance, neutron)
26 4 Mehdi Abaakouk
27 4 Mehdi Abaakouk
Les étapes d'installation sont les suivantes:
28 4 Mehdi Abaakouk
* Préparation manuelle de la VM de management sur un des hyperviseurs
29 4 Mehdi Abaakouk
* Installation de ceph et openstack sur toutes les machines avec puppet
30 4 Mehdi Abaakouk
* Déplacement de la VM de management d'openstack dans openstack.
31 4 Mehdi Abaakouk
32 33 Mehdi Abaakouk
h3. Information sur le puppet master:
33 33 Mehdi Abaakouk
34 33 Mehdi Abaakouk
La conf et modules puppet utilisé par tetaneutral.net ce trouve la:
35 33 Mehdi Abaakouk
36 33 Mehdi Abaakouk
> http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster
37 33 Mehdi Abaakouk
> http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster/revisions/master/entry/manifests/nodes/openstack.pp
38 33 Mehdi Abaakouk
39 33 Mehdi Abaakouk
Seulement c'est 3 classes sont spécifique à tetaneutral, le reste est réutilisable:
40 33 Mehdi Abaakouk
41 36 Mehdi Abaakouk
> class { 'ttnn::server': }
42 36 Mehdi Abaakouk
> class { 'backup::client': }
43 36 Mehdi Abaakouk
> class { 'sexymotd': }
44 33 Mehdi Abaakouk
45 33 Mehdi Abaakouk
Les modules qui sont nécessaire pour openstack pour le reste du fichier sont:
46 33 Mehdi Abaakouk
47 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-apache.git 
48 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-apt 
49 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-ceph.git 
50 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-cinder.git 
51 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-concat.git 
52 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-glance.git 
53 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-horizon.git 
54 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-inifile.git 
55 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-keystone.git 
56 33 Mehdi Abaakouk
> https://github.com/camptocamp/puppet-kmod.git 
57 33 Mehdi Abaakouk
> https://github.com/saz/puppet-memcached.git 
58 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-mysql.git 
59 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-neutron.git 
60 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-nova.git 
61 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-rabbitmq.git 
62 33 Mehdi Abaakouk
> https://github.com/nanliu/puppet-staging.git 
63 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-stdlib.git 
64 33 Mehdi Abaakouk
> https://github.com/duritong/puppet-sysctl.git 
65 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-vcsrepo.git 
66 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-vswitch.git 
67 36 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-xinetd.git
68 33 Mehdi Abaakouk
69 33 Mehdi Abaakouk
h3. Préparation réseaux des hosts:
70 29 Mehdi Abaakouk
71 31 Mehdi Abaakouk
Voici le fichier rc.local d'un hyperviseur (g1)
72 29 Mehdi Abaakouk
73 29 Mehdi Abaakouk
<pre>
74 71 Mehdi Abaakouk
#!/bin/sh
75 71 Mehdi Abaakouk
76 29 Mehdi Abaakouk
for i in /proc/sys/net/ipv6/conf/*; do for j in autoconf accept_ra; do echo 0 > $i/$j; done;done
77 1 Mehdi Abaakouk
# https://www.kernel.org/doc/Documentation/networking/ip-sysctl.txt
78 71 Mehdi Abaakouk
for i in /proc/sys/net/ipv4/conf/*/arp_announce; do echo 2 > $i;done
79 29 Mehdi Abaakouk
80 29 Mehdi Abaakouk
echo 1 > /proc/sys/net/ipv4/ip_forward
81 29 Mehdi Abaakouk
echo 1 > /proc/sys/net/ipv6/conf/all/forwarding
82 29 Mehdi Abaakouk
83 1 Mehdi Abaakouk
ip link set eth0 up
84 71 Mehdi Abaakouk
85 29 Mehdi Abaakouk
ip link add link eth0 name eth0.3131 type vlan id 3131
86 1 Mehdi Abaakouk
ip link set eth0.3131 up
87 71 Mehdi Abaakouk
88 29 Mehdi Abaakouk
ip addr add 89.234.156.251/32 dev eth0.3131
89 29 Mehdi Abaakouk
ip route add 91.224.149.0/24 dev eth0.3131
90 29 Mehdi Abaakouk
ip route add default via 91.224.149.254
91 29 Mehdi Abaakouk
92 29 Mehdi Abaakouk
ip addr add 2a01:6600:8083:fb00::1/56 dev eth0.3131
93 29 Mehdi Abaakouk
ip route add default via fe80::31 dev eth0.3131
94 1 Mehdi Abaakouk
95 71 Mehdi Abaakouk
ip route add 89.234.156.250/32 dev eth0.3131
96 71 Mehdi Abaakouk
ip route add 89.234.156.252/32 dev eth0.3131
97 71 Mehdi Abaakouk
ip route add 89.234.156.253/32 dev eth0.3131
98 71 Mehdi Abaakouk
99 71 Mehdi Abaakouk
100 45 Mehdi Abaakouk
ip link add link eth0 name eth0.3175 type vlan id 3175
101 29 Mehdi Abaakouk
ip link set eth0.3175 up
102 29 Mehdi Abaakouk
103 39 Mehdi Abaakouk
ip link add link eth0 name eth0.3195 type vlan id 3195
104 1 Mehdi Abaakouk
ip link set eth0.3195 up
105 71 Mehdi Abaakouk
brctl addbr br-admin
106 71 Mehdi Abaakouk
brctl addif eth0.3175
107 71 Mehdi Abaakouk
ip link set br-admin up
108 1 Mehdi Abaakouk
ip addr add 192.168.3.101/24 dev br-admin
109 1 Mehdi Abaakouk
110 71 Mehdi Abaakouk
brctl addbr br-net
111 71 Mehdi Abaakouk
ip link set br-net up
112 29 Mehdi Abaakouk
ip addr add fe80::31/64 dev br-net
113 71 Mehdi Abaakouk
ip addr add 91.224.148.0/32 dev br-net
114 29 Mehdi Abaakouk
115 29 Mehdi Abaakouk
exit 0
116 71 Mehdi Abaakouk
117 29 Mehdi Abaakouk
</pre>
118 55 Mehdi Abaakouk
119 54 Mehdi Abaakouk
_note: Les bridges openvswitch sont mémorisés et recréés automatiquement par le service openvswitch-switch_
120 30 Mehdi Abaakouk
121 30 Mehdi Abaakouk
Sur h7.tetaneutral.net le routage est le suivant
122 30 Mehdi Abaakouk
123 30 Mehdi Abaakouk
<pre>
124 30 Mehdi Abaakouk
ip route add 89.234.156.251/32 dev eth0.3131
125 30 Mehdi Abaakouk
ip route add 89.234.156.252/32 dev eth0.3131
126 30 Mehdi Abaakouk
ip route add 89.234.156.253/32 dev eth0.3131
127 30 Mehdi Abaakouk
ip route add 2a01:6600:8083:fb00::/56 dev eth0.3131
128 30 Mehdi Abaakouk
ip route add 2a01:6600:8083:fc00::/56 dev eth0.3131
129 30 Mehdi Abaakouk
ip route add 2a01:6600:8083:fd00::/56 dev eth0.3131
130 30 Mehdi Abaakouk
</pre>
131 30 Mehdi Abaakouk
132 30 Mehdi Abaakouk
Ainsi que ceci le temps de l'installation
133 30 Mehdi Abaakouk
134 30 Mehdi Abaakouk
<pre>
135 74 Mehdi Abaakouk
ip route add 89.234.156.248/32 via 89.234.156.251 # NOTE(sileht): temporairement pour le setup openstack
136 74 Mehdi Abaakouk
ip route add 2a01:6600:8083:f800::/56 via 2a01:6600:8083:fb00::1 dev eth0.3131 # NOTE(sileht): temporairement pour le setup openstack
137 30 Mehdi Abaakouk
</pre>
138 4 Mehdi Abaakouk
139 4 Mehdi Abaakouk
h3. Preparation de la VM de management, le controlleur
140 6 Mehdi Abaakouk
141 4 Mehdi Abaakouk
h4. Installation des prérequis
142 4 Mehdi Abaakouk
143 57 Mehdi Abaakouk
<pre>
144 89 Mehdi Abaakouk
$ apt-get install libvirt-bin openstack-debian-images virtinst openvswitch-switch 
145 4 Mehdi Abaakouk
#NOTE(sileht): temporairement appliquer les patches de au-dessus à openstack-debian-images 
146 4 Mehdi Abaakouk
</pre>
147 6 Mehdi Abaakouk
148 1 Mehdi Abaakouk
h4. Preparation de l'image de la VM
149 1 Mehdi Abaakouk
150 73 Mehdi Abaakouk
On notera les ip temporaire 192.168.3.100
151 73 Mehdi Abaakouk
152 6 Mehdi Abaakouk
<pre>
153 17 Mehdi Abaakouk
$ vim hook.sh
154 16 Mehdi Abaakouk
set -xv
155 1 Mehdi Abaakouk
156 20 Mehdi Abaakouk
echo "openstack" > $BODI_CHROOT_PATH/etc/hostname
157 16 Mehdi Abaakouk
158 16 Mehdi Abaakouk
cat > $BODI_CHROOT_PATH/etc/resolv.conf <<EOF
159 16 Mehdi Abaakouk
domain tetaneutral.net
160 16 Mehdi Abaakouk
search tetaneutral.net
161 1 Mehdi Abaakouk
nameserver 8.8.8.8
162 20 Mehdi Abaakouk
EOF
163 6 Mehdi Abaakouk
164 6 Mehdi Abaakouk
cat > $BODI_CHROOT_PATH/etc/network/interfaces <<EOF
165 6 Mehdi Abaakouk
auto lo
166 1 Mehdi Abaakouk
iface lo inet loopback
167 6 Mehdi Abaakouk
auto eth0
168 20 Mehdi Abaakouk
iface eth0 inet manual
169 20 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth0.accept_ra=0
170 1 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth0.autoconf=0
171 1 Mehdi Abaakouk
  up ip link set eth0 up
172 92 Mehdi Abaakouk
  up ip addr add 89.234.156.249/32 dev eth0
173 20 Mehdi Abaakouk
  up ip route add 91.224.148.0/32 dev eth0
174 20 Mehdi Abaakouk
  up ip route add default via 91.224.148.0
175 20 Mehdi Abaakouk
176 20 Mehdi Abaakouk
iface eth0 inet6 static
177 1 Mehdi Abaakouk
    pre-up /sbin/sysctl -w net.ipv6.conf.eth0.accept_ra=0
178 20 Mehdi Abaakouk
    pre-up /sbin/sysctl -w net.ipv6.conf.eth0.autoconf=0
179 92 Mehdi Abaakouk
    address 2a01:6600:8083:f900::1
180 40 Mehdi Abaakouk
    netmask 56
181 46 Mehdi Abaakouk
    gateway fe80::31
182 46 Mehdi Abaakouk
183 46 Mehdi Abaakouk
auto eth1
184 1 Mehdi Abaakouk
iface eth1 inet static
185 46 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth1.accept_ra=0
186 46 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth1.autoconf=0
187 92 Mehdi Abaakouk
  address 192.168.3.100
188 6 Mehdi Abaakouk
  netmask 255.255.255.0
189 20 Mehdi Abaakouk
EOF
190 1 Mehdi Abaakouk
191 6 Mehdi Abaakouk
mkdir -p $BODI_CHROOT_PATH/root/.ssh
192 4 Mehdi Abaakouk
chmod 600 $BODI_CHROOT_PATH/root/.ssh
193 1 Mehdi Abaakouk
cat >> $BODI_CHROOT_PATH/root/.ssh/authorized_keys <<EOF
194 4 Mehdi Abaakouk
ssh-dss AAAAB3NzaC1kc3MAAACBAJtnGLvuz4uVD6fnERDxDi/C0UyzwCiKmgNtEessopREYasAX4Gu6Fg10jAyIL5Nuc7YDnqj//pOfxNjD7hp99a2ZmkRQgh/ltClxYML9fqhBHgsUCpVse9nOYDHDnDgvXIPRSDUHat2UFpdchHVrFURNLIlZnBztsr+GCDURTV/AAAAFQD9SrBcH49ltaKOm6V5ssCPmgs1SwAAAIAbAvkQ3/tMzzdACO5B9s5Yb3ZuM7XImm0iqufivVf2Xy39g8HOBulUsN7eKEGPhVriqNolgIO7q7tVgYAff4/NE4yDP0Kp0SPg4tjt2yFJuL31Y3wzwHjnKrjgNlDSLl3uZnRXSipwUMwGKbdHB6NZSqlq192VKbHilQ00pbiMlAAAAIB5dfB1lVHkJ0o5CcaVQRPbca9DvbbRwnoTSmKHc5DUcqsPqDhS07CkM9ZcJuY1Nh4wGl4Q9kArj7Tnsvvygf/HReSUcIk4+nbDytJ8/pca/Qx4fzQQyppa94TylN62LSFT6MIJKLoMwYa0dQURT7Mv5+9Qj2vk5pZ38w2iQ9zVCg== root@h1
195 10 Mehdi Abaakouk
EOF
196 16 Mehdi Abaakouk
197 16 Mehdi Abaakouk
sed -i -e 's/^.*Port.*$/Port 2222/' -e 's/^[# ]*PasswordAuthentication.*$/PasswordAuthentication no/' $BODI_CHROOT_PATH/etc/ssh/sshd_config
198 20 Mehdi Abaakouk
chroot $BODI_CHROOT_PATH dpkg-reconfigure openssh-server
199 1 Mehdi Abaakouk
chroot $BODI_CHROOT_PATH apt-get purge -y cloud-init*
200 7 Mehdi Abaakouk
</pre>
201 4 Mehdi Abaakouk
202 21 Mehdi Abaakouk
<pre>
203 12 Mehdi Abaakouk
$ chmod +x hook.sh
204 4 Mehdi Abaakouk
$ build-openstack-debian-image --image-size 20  --release jessie -u http://apt.tetaneutral.net/debian/ -s http://apt.tetaneutral.net/debian/ --hook-script $(pwd)/hook.sh
205 4 Mehdi Abaakouk
$ mv debian-jessie-7.0.0-3-amd64.raw /openstack.raw 
206 4 Mehdi Abaakouk
$ rm debian-jessie-7.0.0-3-amd64.qcow2
207 5 Mehdi Abaakouk
</pre>
208 13 Mehdi Abaakouk
209 18 Mehdi Abaakouk
_note: la derniere commande lancée par le script doit être 'qemu-img convert -c -f raw .... , sinon l'image de bootera pas_
210 18 Mehdi Abaakouk
_note(jessie): si l'erreur est celle ci-dessous, relancer manuellement 'kpartx -d debian-jessie-7.0.0-3-amd64.raw' jusqu'a ce que l'erreur disparaissent et le .raw est utilisable:_
211 18 Mehdi Abaakouk
<pre>
212 18 Mehdi Abaakouk
+ 'kpartx -d debian-jessie-7.0.0-3-amd64.raw'
213 18 Mehdi Abaakouk
device-mapper: remove ioctl on loop0p1 failed: Device or resource busy
214 18 Mehdi Abaakouk
loop deleted : /dev/loop0
215 59 Mehdi Abaakouk
</pre>
216 59 Mehdi Abaakouk
_note: si parted freeze -> lancer /etc/init.d/udev restart_
217 11 Mehdi Abaakouk
218 4 Mehdi Abaakouk
219 4 Mehdi Abaakouk
On garde l'image raw qui sera importable dans ceph plus tard et on la mets à la racine pour qui l'utilisateur libvirt puisse y accéder.
220 6 Mehdi Abaakouk
221 4 Mehdi Abaakouk
h4. Préparation du réseau
222 4 Mehdi Abaakouk
223 8 Mehdi Abaakouk
<pre>
224 1 Mehdi Abaakouk
$ modprobe vhost-net
225 90 Mehdi Abaakouk
$ ovs-vsctl add-br br-net 
226 90 Mehdi Abaakouk
$ ip link set br-net up 
227 90 Mehdi Abaakouk
$ ovs-vsctl br-set-external-id br-net bridge-id br-net 
228 90 Mehdi Abaakouk
$ ip link set br-admin up 
229 90 Mehdi Abaakouk
$ ovs-vsctl br-set-external-id br-net bridge-id br-admin 
230 90 Mehdi Abaakouk
$ ovs-vsctl add-port br-admin eth0.3175
231 90 Mehdi Abaakouk
$ ip addr add 192.168.3.101/24 dev br-admin 
232 90 Mehdi Abaakouk
$ ip addr add fe80::31/64 dev br-net 
233 90 Mehdi Abaakouk
$ ip route add 89.234.156.249/32 dev br-net
234 90 Mehdi Abaakouk
$ ip -6 route add 2a01:6600:8083:f900::/56 dev br-net
235 5 Mehdi Abaakouk
</pre>
236 6 Mehdi Abaakouk
237 4 Mehdi Abaakouk
h4. Installation de la VM
238 4 Mehdi Abaakouk
239 60 Mehdi Abaakouk
<pre>
240 4 Mehdi Abaakouk
$ virt-install --name openstack --ram 2048 --network bridge=br-net,model=virtio --network bridge=br-admin,model=virtio --nographics --serial pty --wait -1 --noreboot --autostart --disk /openstack.raw,bus=virtio,cache=none,io=native --import
241 91 Mehdi Abaakouk
$ EDITOR="sed -i -e \"s,<source bridge='br-net'/>,<source bridge='br-net'/><virtualport type='openvswitch' />,g\"" virsh edit openstack # Openvswitch is not yet supported by virt-install 
242 91 Mehdi Abaakouk
$ EDITOR="sed -i -e \"s,<source bridge='br-admin'/>,<source bridge='br-admin'/><virtualport type='openvswitch' />,g\"" virsh edit openstack # Openvswitch is not yet supported by virt-install 
243 19 Mehdi Abaakouk
$ virsh  start openstack
244 93 Mehdi Abaakouk
$ ssh root@89.234.156.249 -p 2222
245 19 Mehdi Abaakouk
</pre>
246 19 Mehdi Abaakouk
247 19 Mehdi Abaakouk
Une fois connecté à la VM:
248 19 Mehdi Abaakouk
249 19 Mehdi Abaakouk
<pre>
250 19 Mehdi Abaakouk
$ apt-get install puppet
251 24 Mehdi Abaakouk
$ puppet agent --enable
252 24 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
253 24 Mehdi Abaakouk
Info: Caching certificate for ca
254 24 Mehdi Abaakouk
Info: csr_attributes file loading from /etc/puppet/csr_attributes.yaml
255 24 Mehdi Abaakouk
Info: Creating a new SSL certificate request for openstack.tetaneutral.net
256 24 Mehdi Abaakouk
Info: Certificate Request fingerprint (SHA256): AE:72:47:40:A0:E2:F4:59:BA:39:FA:3D:C2:A7:C9:1B:9F:87:A5:B7:65:3A:F9:D4:DE:AF:E2:A3:02:41:0F:2E
257 24 Mehdi Abaakouk
Info: Caching certificate for ca
258 19 Mehdi Abaakouk
Exiting; no certificate found and waitforcert is disabled
259 19 Mehdi Abaakouk
</pre>
260 19 Mehdi Abaakouk
261 19 Mehdi Abaakouk
Sur le puppetmaster:
262 19 Mehdi Abaakouk
263 1 Mehdi Abaakouk
<pre>
264 22 Mehdi Abaakouk
$ puppet ca sign openstack.tetaneutral.net 
265 61 Mehdi Abaakouk
</pre>
266 87 Mehdi Abaakouk
_note: si un vieux cert existe: puppet ca revoke openstack.tetaneutral.net ; puppet cert clean openstack.tetaneutral.net; puppet node clean openstack.tetaneutral.net_
267 1 Mehdi Abaakouk
268 19 Mehdi Abaakouk
De nouveau sur la VM:
269 19 Mehdi Abaakouk
270 24 Mehdi Abaakouk
<pre>
271 26 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
272 26 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
273 4 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
274 26 Mehdi Abaakouk
</pre>
275 32 Mehdi Abaakouk
276 26 Mehdi Abaakouk
Il ne doit plus y avoir d'erreur la 3°/4° fois.
277 34 Mehdi Abaakouk
278 34 Mehdi Abaakouk
h3. Configuration des hyperviseurs
279 35 Mehdi Abaakouk
280 94 Mehdi Abaakouk
Une fois la configuration réseau faite, tout ce fait avec puppet:
281 35 Mehdi Abaakouk
282 35 Mehdi Abaakouk
<pre>
283 35 Mehdi Abaakouk
$ apt-get install puppet
284 35 Mehdi Abaakouk
$ puppet agent --enable
285 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
286 35 Mehdi Abaakouk
Info: Caching certificate for ca
287 35 Mehdi Abaakouk
Info: csr_attributes file loading from /etc/puppet/csr_attributes.yaml
288 35 Mehdi Abaakouk
Info: Creating a new SSL certificate request for openstack.tetaneutral.net
289 35 Mehdi Abaakouk
Info: Certificate Request fingerprint (SHA256): AE:72:47:40:A0:E2:F4:59:BA:39:FA:3D:C2:A7:C9:1B:9F:87:A5:B7:65:3A:F9:D4:DE:AF:E2:A3:02:41:0F:2E
290 35 Mehdi Abaakouk
Info: Caching certificate for ca
291 35 Mehdi Abaakouk
Exiting; no certificate found and waitforcert is disabled
292 35 Mehdi Abaakouk
</pre>
293 35 Mehdi Abaakouk
294 35 Mehdi Abaakouk
Sur le puppetmaster:
295 35 Mehdi Abaakouk
296 35 Mehdi Abaakouk
<pre>
297 35 Mehdi Abaakouk
$ puppet ca sign openstack.tetaneutral.net 
298 64 Mehdi Abaakouk
</pre>
299 35 Mehdi Abaakouk
_note: si un vieux cert existe: puppet ca revoke openstack.tetaneutral.net ; puppet cert clean openstack.tetaneutral.net; puppet node clean openstack.tetaneutral.net_
300 35 Mehdi Abaakouk
301 35 Mehdi Abaakouk
De nouveau sur la VM:
302 35 Mehdi Abaakouk
303 35 Mehdi Abaakouk
<pre>
304 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
305 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
306 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
307 35 Mehdi Abaakouk
</pre>
308 35 Mehdi Abaakouk
309 35 Mehdi Abaakouk
Il ne doit plus y avoir d'erreur la 3°/4° fois.
310 35 Mehdi Abaakouk
311 35 Mehdi Abaakouk
312 35 Mehdi Abaakouk
h4. Information sur la configuration d'un hyperviseur sur le puppet master
313 35 Mehdi Abaakouk
314 35 Mehdi Abaakouk
La configuration ressemble à :
315 35 Mehdi Abaakouk
316 35 Mehdi Abaakouk
<pre>
317 35 Mehdi Abaakouk
node "gX.tetaneutral.net" inherits openstack_node_common {
318 35 Mehdi Abaakouk
  # Configuration du routerid et de l'AS number de cette machine
319 35 Mehdi Abaakouk
  # Il faut aussi mettre la conf bgp de h7 ainsi que les fichiers 
320 35 Mehdi Abaakouk
  # /etc/puppet/manifests/files/openstack-bird.conf.erb et
321 35 Mehdi Abaakouk
  # /etc/puppet/manifests/files/openstack-bird6.conf.erb
322 35 Mehdi Abaakouk
  # pour ajouter cette AS interne
323 35 Mehdi Abaakouk
  ttnn_os_bird {'198.51.100.1': asnum => "65001"}
324 35 Mehdi Abaakouk
325 35 Mehdi Abaakouk
  # Dans le cas d'une moniteur ceph, mais uniquement 3 suffissent, on a déjà g1,g2,g3
326 35 Mehdi Abaakouk
  # ttnn_ceph_mon {$::hostname:}
327 35 Mehdi Abaakouk
 
328 35 Mehdi Abaakouk
  # La liste des disques dur à utiliser dans ceph
329 35 Mehdi Abaakouk
  ttnn_ceph_osd {"/dev/sdb": }
330 35 Mehdi Abaakouk
  ttnn_ceph_osd {"/dev/sdc": }
331 35 Mehdi Abaakouk
332 49 Mehdi Abaakouk
  # La partie Openstack, l'uuid doit être unique par machine (générer avec uuid-gen)
333 35 Mehdi Abaakouk
  ttnn_os_compute {"9d26ec10-a48b-4f0f-a122-f10ed16d270f": }
334 35 Mehdi Abaakouk
335 35 Mehdi Abaakouk
  # La correction d'un petit bug :)
336 1 Mehdi Abaakouk
  class {'ttnn_os_configdrive_ceph_fix': }
337 37 Mehdi Abaakouk
}
338 37 Mehdi Abaakouk
</pre>
339 37 Mehdi Abaakouk
340 72 Mehdi Abaakouk
h3. Déplacement du controlleur dans openstack (Work In Progress)
341 37 Mehdi Abaakouk
342 38 Mehdi Abaakouk
<pre>
343 38 Mehdi Abaakouk
$ cat > os.conf <<EOF
344 82 Mehdi Abaakouk
export OS_AUTH_URL=http://89.234.156.248:5000/v2.0/
345 38 Mehdi Abaakouk
export OS_USERNAME=admin
346 38 Mehdi Abaakouk
export OS_TENANT_NAME=ttnn_admin
347 38 Mehdi Abaakouk
export OS_PASSWORD=<password>
348 1 Mehdi Abaakouk
EOF
349 1 Mehdi Abaakouk
$ source os.conf 
350 97 Mehdi Abaakouk
</pre>
351 97 Mehdi Abaakouk
352 97 Mehdi Abaakouk
Générer d'abord une image debian jessie  et l'uploader dans glance
353 97 Mehdi Abaakouk
354 97 Mehdi Abaakouk
<pre>
355 88 Mehdi Abaakouk
$ glance image-create --progress --name debian-jessie-7.0.0-3-amd64 --disk-format raw --container-format bare  < debian-jessie-7.0.0-3-amd64.raw
356 1 Mehdi Abaakouk
# glance image-list | grep jessie
357 1 Mehdi Abaakouk
| c81df9d4-8786-4f77-b84b-8409f1f11018 | debian-jessie-7.0.0-3-amd64 | raw         | bare             | 1073741824 | active |
358 97 Mehdi Abaakouk
</pre>
359 97 Mehdi Abaakouk
360 97 Mehdi Abaakouk
On boot une debian vide avec config-drive à false pour ne pas avoir le réseau configuré dans la VM (sinon la vrai va couper)
361 97 Mehdi Abaakouk
<pre>
362 41 Mehdi Abaakouk
$ netid_net=$(neutron net-list | awk '/ttnn-net/{print $2}')
363 41 Mehdi Abaakouk
$ netid_admin=$(neutron net-list | awk '/ttnn-admin/{print $2}')
364 88 Mehdi Abaakouk
$ nova boot --nic net-id=$netid_net,v4-fixed-ip=89.234.156.249 --nic net-id=$netid_admin,v4-fixed-ip=192.168.3.100 --block-device source=image,id=c81df9d4-8786-4f77-b84b-8409f1f11018,shutdown=preserve,dest=volume,bootindex=0,size=50 --flavor m1.medium --poll openstack.tetaneutral.net --config-drive false
365 88 Mehdi Abaakouk
+--------------------------------------+-------------------------------------------------+
366 88 Mehdi Abaakouk
| Property                             | Value                                           |
367 88 Mehdi Abaakouk
+--------------------------------------+-------------------------------------------------+
368 88 Mehdi Abaakouk
| OS-DCF:diskConfig                    | MANUAL                                          |
369 88 Mehdi Abaakouk
| OS-EXT-AZ:availability_zone          | nova                                            |
370 88 Mehdi Abaakouk
| OS-EXT-SRV-ATTR:host                 | -                                               |
371 88 Mehdi Abaakouk
| OS-EXT-SRV-ATTR:hypervisor_hostname  | -                                               |
372 88 Mehdi Abaakouk
| OS-EXT-SRV-ATTR:instance_name        | instance-0000000b                               |
373 88 Mehdi Abaakouk
| OS-EXT-STS:power_state               | 0                                               |
374 88 Mehdi Abaakouk
| OS-EXT-STS:task_state                | scheduling                                      |
375 88 Mehdi Abaakouk
| OS-EXT-STS:vm_state                  | building                                        |
376 88 Mehdi Abaakouk
| OS-SRV-USG:launched_at               | -                                               |
377 88 Mehdi Abaakouk
| OS-SRV-USG:terminated_at             | -                                               |
378 88 Mehdi Abaakouk
| accessIPv4                           |                                                 |
379 88 Mehdi Abaakouk
| accessIPv6                           |                                                 |
380 88 Mehdi Abaakouk
| adminPass                            |                                                 |
381 88 Mehdi Abaakouk
| config_drive                         |                                                 |
382 88 Mehdi Abaakouk
| created                              | 2014-08-26T09:19:34Z                            |
383 88 Mehdi Abaakouk
| flavor                               | m1.medium (3)                                   |
384 88 Mehdi Abaakouk
| hostId                               |                                                 |
385 88 Mehdi Abaakouk
| id                                   | 899b93b2-d5a0-4531-9f92-0b8103755fda            |
386 88 Mehdi Abaakouk
| image                                | Attempt to boot from volume - no image supplied |
387 88 Mehdi Abaakouk
| key_name                             | -                                               |
388 88 Mehdi Abaakouk
| metadata                             | {}                                              |
389 88 Mehdi Abaakouk
| name                                 | openstack.tetaneutral.net                       |
390 88 Mehdi Abaakouk
| os-extended-volumes:volumes_attached | []                                              |
391 88 Mehdi Abaakouk
| progress                             | 0                                               |
392 88 Mehdi Abaakouk
| security_groups                      | default                                         |
393 88 Mehdi Abaakouk
| status                               | BUILD                                           |
394 88 Mehdi Abaakouk
| tenant_id                            | 700f4abd173f472499a934eacf9730bd                |
395 88 Mehdi Abaakouk
| updated                              | 2014-08-26T09:19:35Z                            |
396 88 Mehdi Abaakouk
| user_id                              | f5603324b48542eca4c34d3a32d725cb                |
397 88 Mehdi Abaakouk
+--------------------------------------+-------------------------------------------------+
398 1 Mehdi Abaakouk
Server building... 0% complete
399 1 Mehdi Abaakouk
</pre>
400 97 Mehdi Abaakouk
401 97 Mehdi Abaakouk
Ensuite on va stopper la VM niveau libvirt
402 97 Mehdi Abaakouk
403 97 Mehdi Abaakouk
<pre>
404 97 Mehdi Abaakouk
$ nova show openstack.tetaneutral.net | grep -e hostname -e instance_name
405 97 Mehdi Abaakouk
| OS-EXT-SRV-ATTR:hypervisor_hostname  | g3.tetaneutral.net                                       |
406 97 Mehdi Abaakouk
| OS-EXT-SRV-ATTR:instance_name        | instance-00000004                         
407 97 Mehdi Abaakouk
408 97 Mehdi Abaakouk
# On éteint la VM de management
409 97 Mehdi Abaakouk
$ virsh shutdown openstack 
410 97 Mehdi Abaakouk
</pre>
411 97 Mehdi Abaakouk
412 97 Mehdi Abaakouk
Donc sur g3.tetaneutral.net, éteint la vide openstack vide
413 97 Mehdi Abaakouk
<pre>
414 97 Mehdi Abaakouk
$ virsh destroy instance-00000004
415 97 Mehdi Abaakouk
</pre>
416 97 Mehdi Abaakouk
417 97 Mehdi Abaakouk
Sur g1, on remplace le disk de "instance-00000004" par celui de la vrai vm de management:
418 97 Mehdi Abaakouk
<pre>
419 97 Mehdi Abaakouk
# rbd -p cinder ls
420 97 Mehdi Abaakouk
volume-58de0590-d9e6-4d00-8ea1-1a83b740a1f6
421 97 Mehdi Abaakouk
# rbd -p cinder rm volume-58de0590-d9e6-4d00-8ea1-1a83b740a1f6
422 97 Mehdi Abaakouk
Removing image: 100% complete...done.
423 97 Mehdi Abaakouk
# rbd -p cinder import /var/lib/ceph/osd/ceph-2/openstack.raw  volume-58de0590-d9e6-4d00-8ea1-1a83b740a1f6
424 97 Mehdi Abaakouk
425 97 Mehdi Abaakouk
</pre>
426 97 Mehdi Abaakouk
427 97 Mehdi Abaakouk
Donc sur g3.tetaneutral.net on redémarre la VM
428 97 Mehdi Abaakouk
<pre>
429 97 Mehdi Abaakouk
$ virsh start instance-00000004
430 97 Mehdi Abaakouk
</pre>
431 97 Mehdi Abaakouk
432 97 Mehdi Abaakouk
Nettoyage des routes provisoir sur g1:
433 97 Mehdi Abaakouk
<pre>
434 97 Mehdi Abaakouk
ip route del 89.234.156.249
435 97 Mehdi Abaakouk
ip -6 r  d 2a01:6600:8083:f900::/56 dev br-net
436 97 Mehdi Abaakouk
</pre>
437 97 Mehdi Abaakouk
438 97 Mehdi Abaakouk
439 97 Mehdi Abaakouk
Sur h7:
440 97 Mehdi Abaakouk
<pre>
441 97 Mehdi Abaakouk
ip route del 89.234.156.249/32 via 89.234.156.251
442 97 Mehdi Abaakouk
ip route del 2a01:6600:8083:f900::/56 via 2a01:6600:8083:fb00::1 dev eth0.3131
443 97 Mehdi Abaakouk
</pre>
444 97 Mehdi Abaakouk
445 97 Mehdi Abaakouk
Sur g3.t
446 97 Mehdi Abaakouk
<pre>
447 97 Mehdi Abaakouk
ip route add 89.234.156.249/32 dev br-net proto 42
448 97 Mehdi Abaakouk
ip -6 route add 2a01:6600:8083:f900::/56 dev br-net proto 42
449 97 Mehdi Abaakouk
</pre>
450 97 Mehdi Abaakouk
451 97 Mehdi Abaakouk
Vérification que la route est bien propagé à h7.t sur h7.t:
452 97 Mehdi Abaakouk
453 97 Mehdi Abaakouk
<pre>
454 97 Mehdi Abaakouk
# ip route get 89.234.156.249
455 97 Mehdi Abaakouk
89.234.156.249 via 89.234.156.253 dev eth0.3131  src 91.224.149.254 
456 97 Mehdi Abaakouk
    cache 
457 97 Mehdi Abaakouk
</pre>
458 97 Mehdi Abaakouk
459 97 Mehdi Abaakouk
Ca marche !
460 97 Mehdi Abaakouk
461 97 Mehdi Abaakouk
<pre>
462 97 Mehdi Abaakouk
$ ssh openstack.t
463 97 Mehdi Abaakouk
X11 forwarding request failed on channel 0
464 97 Mehdi Abaakouk
465 97 Mehdi Abaakouk
  server: openstack.tetaneutral.net
466 97 Mehdi Abaakouk
  system: Debian jessie/sid, kernel 3.14-2-amd64, puppet 3.6.1
467 97 Mehdi Abaakouk
     cpu: 1/1 (QEMU Virtual CPU version 2.1.0)
468 97 Mehdi Abaakouk
  memory: 1.96 GB
469 97 Mehdi Abaakouk
470 97 Mehdi Abaakouk
    eth0: 52:54:00:90:d8:c7 / 89.234.156.249 / 2a01:6600:8083:f900::1
471 97 Mehdi Abaakouk
    eth1: 52:54:00:13:fa:13 / 192.168.3.100
472 97 Mehdi Abaakouk
473 97 Mehdi Abaakouk
 modules: openstack_node_common ttnn::server resolver checkmk::agent checkmk::client rsyslog::client rsyslog apt apt::update puppet nullmailer backup::client sexymotd 
474 97 Mehdi Abaakouk
                            _             _    
475 97 Mehdi Abaakouk
  ___  _ __   ___ _ __  ___| |_ __ _  ___| | __
476 97 Mehdi Abaakouk
 / _ \| '_ \ / _ \ '_ \/ __| __/ _` |/ __| |/ /
477 97 Mehdi Abaakouk
| (_) | |_) |  __/ | | \__ \ || (_| | (__|   < 
478 97 Mehdi Abaakouk
 \___/| .__/ \___|_| |_|___/\__\__,_|\___|_|\_\
479 97 Mehdi Abaakouk
      |_|                                      
480 97 Mehdi Abaakouk
Last login: Wed Aug 27 08:10:02 2014 from atoulouse-652-1-119-50.w2-6.abo.wanadoo.fr
481 97 Mehdi Abaakouk
root@openstack:~# 
482 97 Mehdi Abaakouk
483 97 Mehdi Abaakouk
</pre>
484 97 Mehdi Abaakouk
485 68 Mehdi Abaakouk
486 68 Mehdi Abaakouk
h2. Preparation du Pool SSD pour ceph
487 68 Mehdi Abaakouk
488 68 Mehdi Abaakouk
489 68 Mehdi Abaakouk
h3. Cas particulier du SSD ou ce trouve l'OS
490 68 Mehdi Abaakouk
491 68 Mehdi Abaakouk
En général avec ceph, on donne un disque, ceph créé 2 partitions une pour le journal de l'OSD, l'autre pour les datas
492 68 Mehdi Abaakouk
mais pour le SSD de tetaneutral qui a aussi l'OS, voici la méthode
493 68 Mehdi Abaakouk
494 68 Mehdi Abaakouk
Création manuelle de la partition de data ceph /dev/sda2 ici
495 68 Mehdi Abaakouk
496 68 Mehdi Abaakouk
<pre>
497 68 Mehdi Abaakouk
$ fdisk /dev/sda
498 68 Mehdi Abaakouk
499 68 Mehdi Abaakouk
n
500 68 Mehdi Abaakouk
p
501 68 Mehdi Abaakouk
<enter>
502 68 Mehdi Abaakouk
<enter>
503 68 Mehdi Abaakouk
<enter>
504 68 Mehdi Abaakouk
<enter>
505 68 Mehdi Abaakouk
w
506 68 Mehdi Abaakouk
507 68 Mehdi Abaakouk
$ partprobe
508 68 Mehdi Abaakouk
</pre>
509 68 Mehdi Abaakouk
510 68 Mehdi Abaakouk
On ajoute dans la configuration puppet de l'hyperviseur ceci, avec le journal sur la partition de l'OS:
511 68 Mehdi Abaakouk
512 68 Mehdi Abaakouk
<pre>
513 68 Mehdi Abaakouk
ttnn_ceph_osd {"/dev/sda2": journal => "/var/lib/ceph/ssd-sda2-journal"}
514 68 Mehdi Abaakouk
</pre>
515 34 Mehdi Abaakouk
516 69 Mehdi Abaakouk
517 69 Mehdi Abaakouk
h3. Configuration de la crushmap de ceph:
518 69 Mehdi Abaakouk
519 69 Mehdi Abaakouk
REF: http://ceph.com/docs/master/rados/operations/crush-map/#getcrushmap
520 69 Mehdi Abaakouk
521 69 Mehdi Abaakouk
<pre>
522 69 Mehdi Abaakouk
$ ceph osd getcrushmap -o compiled-crushmap
523 69 Mehdi Abaakouk
$ crushtool -d compiled-crushmap -o crushmap.txt
524 69 Mehdi Abaakouk
# EDIT crushmap.txt
525 69 Mehdi Abaakouk
$ crushtool -c crushmap.txt -o compiled-crushmap 
526 69 Mehdi Abaakouk
$ ceph osd setcrushmap -i compiled-crushmap
527 69 Mehdi Abaakouk
</pre>
528 69 Mehdi Abaakouk
529 69 Mehdi Abaakouk
h3. Definition de la crushmap de ttnn
530 69 Mehdi Abaakouk
531 81 Mehdi Abaakouk
Chaque machine se trouve dans 2 hosts, un host SSD et un host HARDDISK (même si en réalité les deux sont sur la même machine physique),
532 69 Mehdi Abaakouk
533 79 Mehdi Abaakouk
Ensuite on créé 2 object root un pour les hosts SSD et un autre pour les host HARDDISK
534 69 Mehdi Abaakouk
535 79 Mehdi Abaakouk
On créé ensuite 2 règles de stockage une qui envoie les objects vers le root SSD et l'autre vers le root HARDDISK
536 69 Mehdi Abaakouk
537 81 Mehdi Abaakouk
Cela permettra d'avoir de définir une règle différente suivant les pools ceph.
538 69 Mehdi Abaakouk
539 79 Mehdi Abaakouk
Niveau Openstack nous avons 4 pools:
540 81 Mehdi Abaakouk
* nova: que nous n'allons pas utilisé mais que nova utilise pour stocker quelles fichiers pour le boot des VMs. (Il normalement utilisé si on créé pas préalablement de volume)
541 79 Mehdi Abaakouk
* cinder: ce pool sera le pool par défaut de création des disques
542 95 Thomas Pedoussaut
* cinder-ssd: sera le pool sur le quel on applique la politique de stockage numero 1
543 1 Mehdi Abaakouk
* glance: c'est la que seront stocké les images de VMs.
544 79 Mehdi Abaakouk
545 81 Mehdi Abaakouk
Une fois la crushmap modifié on applique la règle sur le pool cinder-ssd:
546 1 Mehdi Abaakouk
547 81 Mehdi Abaakouk
<pre>
548 84 Mehdi Abaakouk
ceph osd pool set cinder-ssd crush_ruleset 1
549 81 Mehdi Abaakouk
</pre>
550 81 Mehdi Abaakouk
551 81 Mehdi Abaakouk
Il faut ensuite attendre que ceph redistribue les data comme on lui a demandé, on peut suivre l'avancement avec :
552 81 Mehdi Abaakouk
553 81 Mehdi Abaakouk
<pre>
554 81 Mehdi Abaakouk
ceph -s
555 81 Mehdi Abaakouk
</pre>
556 81 Mehdi Abaakouk
557 81 Mehdi Abaakouk
La crushmap le jour de l'installation:
558 79 Mehdi Abaakouk
559 79 Mehdi Abaakouk
<pre>
560 79 Mehdi Abaakouk
# begin crush map
561 79 Mehdi Abaakouk
tunable choose_local_tries 0
562 79 Mehdi Abaakouk
tunable choose_local_fallback_tries 0
563 79 Mehdi Abaakouk
tunable choose_total_tries 50
564 79 Mehdi Abaakouk
tunable chooseleaf_descend_once 1
565 79 Mehdi Abaakouk
566 79 Mehdi Abaakouk
# devices
567 79 Mehdi Abaakouk
device 0 osd.0
568 79 Mehdi Abaakouk
device 1 osd.1
569 79 Mehdi Abaakouk
device 2 osd.2
570 79 Mehdi Abaakouk
device 3 osd.3
571 79 Mehdi Abaakouk
device 4 osd.4
572 79 Mehdi Abaakouk
device 5 osd.5
573 79 Mehdi Abaakouk
574 79 Mehdi Abaakouk
# types
575 79 Mehdi Abaakouk
type 0 osd
576 79 Mehdi Abaakouk
type 1 host
577 79 Mehdi Abaakouk
type 2 chassis
578 79 Mehdi Abaakouk
type 3 rack
579 79 Mehdi Abaakouk
type 4 row
580 79 Mehdi Abaakouk
type 5 pdu
581 79 Mehdi Abaakouk
type 6 pod
582 79 Mehdi Abaakouk
type 7 room
583 79 Mehdi Abaakouk
type 8 datacenter
584 79 Mehdi Abaakouk
type 9 region
585 79 Mehdi Abaakouk
type 10 root
586 79 Mehdi Abaakouk
587 80 Mehdi Abaakouk
host g3-ssd {
588 79 Mehdi Abaakouk
	id -1		# do not change unnecessarily
589 79 Mehdi Abaakouk
	alg straw
590 1 Mehdi Abaakouk
	hash 0	# rjenkins1
591 79 Mehdi Abaakouk
	item osd.3 weight 0.040
592 79 Mehdi Abaakouk
}
593 79 Mehdi Abaakouk
594 79 Mehdi Abaakouk
595 79 Mehdi Abaakouk
host g3-harddisk {
596 80 Mehdi Abaakouk
	id -2		# do not change unnecessarily
597 1 Mehdi Abaakouk
	alg straw
598 79 Mehdi Abaakouk
	hash 0	# rjenkins1
599 96 Mehdi Abaakouk
	item osd.1 weight 1.810
600 79 Mehdi Abaakouk
}
601 79 Mehdi Abaakouk
602 79 Mehdi Abaakouk
host g2-ssd {
603 80 Mehdi Abaakouk
	id -3		# do not change unnecessarily
604 1 Mehdi Abaakouk
	# weight 3.630
605 79 Mehdi Abaakouk
	alg straw
606 79 Mehdi Abaakouk
	hash 0	# rjenkins1
607 79 Mehdi Abaakouk
	item osd.4 weight 0.000
608 79 Mehdi Abaakouk
}
609 79 Mehdi Abaakouk
610 1 Mehdi Abaakouk
host g2-harddisk {
611 80 Mehdi Abaakouk
	id -4		# do not change unnecessarily
612 79 Mehdi Abaakouk
	# weight 3.630
613 79 Mehdi Abaakouk
	alg straw
614 79 Mehdi Abaakouk
	hash 0	# rjenkins1
615 96 Mehdi Abaakouk
	item osd.0 weight 3.630
616 79 Mehdi Abaakouk
}
617 1 Mehdi Abaakouk
618 79 Mehdi Abaakouk
host g1-ssd {
619 80 Mehdi Abaakouk
	id -5		# do not change unnecessarily
620 79 Mehdi Abaakouk
	# weight 3.630
621 79 Mehdi Abaakouk
	alg straw
622 79 Mehdi Abaakouk
	hash 0	# rjenkins1
623 79 Mehdi Abaakouk
	item osd.5 weight 0.000
624 79 Mehdi Abaakouk
}
625 1 Mehdi Abaakouk
host g1-harddisk {
626 80 Mehdi Abaakouk
	id -6		# do not change unnecessarily
627 79 Mehdi Abaakouk
	# weight 3.630
628 79 Mehdi Abaakouk
	alg straw
629 79 Mehdi Abaakouk
	hash 0	# rjenkins1
630 79 Mehdi Abaakouk
	item osd.2 weight 3.630
631 79 Mehdi Abaakouk
}
632 79 Mehdi Abaakouk
633 79 Mehdi Abaakouk
root harddrive {
634 80 Mehdi Abaakouk
    id -7
635 79 Mehdi Abaakouk
    alg straw
636 79 Mehdi Abaakouk
    hash 0
637 79 Mehdi Abaakouk
    item g1-harddisk weight 2.00
638 79 Mehdi Abaakouk
    item g2-harddisk weight 2.00
639 79 Mehdi Abaakouk
    item g3-harddisk weight 2.00
640 79 Mehdi Abaakouk
}
641 79 Mehdi Abaakouk
642 79 Mehdi Abaakouk
root ssd {
643 80 Mehdi Abaakouk
    id -8
644 79 Mehdi Abaakouk
    alg straw
645 79 Mehdi Abaakouk
    hash 0
646 79 Mehdi Abaakouk
    item g1-ssd weight 2.00
647 79 Mehdi Abaakouk
    item g2-ssd weight 2.00
648 79 Mehdi Abaakouk
    item g3-ssd weight 2.00
649 79 Mehdi Abaakouk
}
650 79 Mehdi Abaakouk
651 1 Mehdi Abaakouk
# rules
652 79 Mehdi Abaakouk
rule default {
653 79 Mehdi Abaakouk
	ruleset 0
654 79 Mehdi Abaakouk
	type replicated
655 79 Mehdi Abaakouk
	min_size 1
656 79 Mehdi Abaakouk
	max_size 10
657 79 Mehdi Abaakouk
	step take harddrive
658 79 Mehdi Abaakouk
	step chooseleaf firstn 0 type host
659 79 Mehdi Abaakouk
	step emit
660 79 Mehdi Abaakouk
}
661 79 Mehdi Abaakouk
662 79 Mehdi Abaakouk
rule ssd {
663 79 Mehdi Abaakouk
	ruleset 1
664 79 Mehdi Abaakouk
	type replicated
665 79 Mehdi Abaakouk
	min_size 1
666 79 Mehdi Abaakouk
	max_size 10
667 79 Mehdi Abaakouk
	step take ssd
668 79 Mehdi Abaakouk
	step chooseleaf firstn 0 type host
669 79 Mehdi Abaakouk
	step emit
670 79 Mehdi Abaakouk
}
671 80 Mehdi Abaakouk
672 1 Mehdi Abaakouk
673 1 Mehdi Abaakouk
# end crush map
674 96 Mehdi Abaakouk
</pre>
675 96 Mehdi Abaakouk
676 96 Mehdi Abaakouk
677 96 Mehdi Abaakouk
Vérification de l'arbre des OSD:
678 96 Mehdi Abaakouk
679 96 Mehdi Abaakouk
_Avec la crushmap par défaut:_
680 96 Mehdi Abaakouk
<pre>
681 96 Mehdi Abaakouk
root@g2:~# ceph osd tree 
682 96 Mehdi Abaakouk
# id	weight	type name	up/down	reweight
683 96 Mehdi Abaakouk
-1	9.53	root default
684 96 Mehdi Abaakouk
-2	3.84		host g2
685 96 Mehdi Abaakouk
0	0.21			osd.0	up	1	
686 96 Mehdi Abaakouk
4	3.63			osd.4	up	1	
687 96 Mehdi Abaakouk
-3	1.85		host g3
688 96 Mehdi Abaakouk
1	0.03999			osd.1	up	1	
689 96 Mehdi Abaakouk
3	1.81			osd.3	up	1	
690 96 Mehdi Abaakouk
-4	3.84		host g1
691 96 Mehdi Abaakouk
2	0.21			osd.2	up	1	
692 96 Mehdi Abaakouk
5	3.63			osd.5	up	1	
693 96 Mehdi Abaakouk
</pre>
694 96 Mehdi Abaakouk
695 96 Mehdi Abaakouk
_Avec la nouvelle crushmap:_
696 96 Mehdi Abaakouk
<pre>
697 96 Mehdi Abaakouk
root@g2:~# ceph osd tree
698 96 Mehdi Abaakouk
# id	weight	type name	up/down	reweight
699 96 Mehdi Abaakouk
-8	6	root ssd
700 96 Mehdi Abaakouk
-5	2		host g1-ssd
701 96 Mehdi Abaakouk
5	0			osd.5	up	1	
702 96 Mehdi Abaakouk
-3	2		host g2-ssd
703 96 Mehdi Abaakouk
4	0			osd.4	up	1	
704 96 Mehdi Abaakouk
-1	2		host g3-ssd
705 96 Mehdi Abaakouk
3	0.03999			osd.3	up	1	
706 96 Mehdi Abaakouk
-7	6	root harddrive
707 96 Mehdi Abaakouk
-6	2		host g1-harddisk
708 96 Mehdi Abaakouk
2	3.63			osd.2	up	1	
709 96 Mehdi Abaakouk
-4	2		host g2-harddisk
710 96 Mehdi Abaakouk
0	3.63			osd.0	up	1	
711 96 Mehdi Abaakouk
-2	2		host g3-harddisk
712 96 Mehdi Abaakouk
1	1.81			osd.1	up	1	
713 79 Mehdi Abaakouk
</pre>
714 4 Mehdi Abaakouk
715 4 Mehdi Abaakouk
h2. Management d'openstack