Project

General

Profile

Openstack Installation TTNN » History » Version 98

Mehdi Abaakouk, 08/27/2014 10:17 AM

1 43 Laurent GUERBY
{{>toc}}
2 43 Laurent GUERBY
3 1 Mehdi Abaakouk
h1. Openstack Installation TTNN
4 1 Mehdi Abaakouk
5 44 Laurent GUERBY
h2. Liens
6 44 Laurent GUERBY
7 44 Laurent GUERBY
* http://ceph.com/docs/master/rados/operations/cache-tiering/
8 44 Laurent GUERBY
* http://ceph.com/docs/master/rados/operations/crush-map/
9 44 Laurent GUERBY
10 3 Mehdi Abaakouk
h2. Pending upstream fixes:
11 3 Mehdi Abaakouk
12 1 Mehdi Abaakouk
* build-debian-openstack-images, changes should be in next package version:
13 1 Mehdi Abaakouk
** Fix extlinux installation on jessie: http://anonscm.debian.org/cgit/openstack/openstack-debian-images.git/commit/?id=1a4ddceb99fb66f42f79e87a183d8e96952e5ac3
14 1 Mehdi Abaakouk
** Fix cloud-init setup with configdrive: http://anonscm.debian.org/cgit/openstack/openstack-debian-images.git/commit/?id=15cce87e2fa15b8952d69fb58711bfa88b21ef87
15 15 Mehdi Abaakouk
** Use Configdrive first for cloud-init: http://anonscm.debian.org/cgit/openstack/openstack-debian-images.git/commit/?id=1b1e1093d5ee525426382ad29b8219ab58f6656d
16 1 Mehdi Abaakouk
17 1 Mehdi Abaakouk
* nova: 
18 15 Mehdi Abaakouk
** Fix live-migration avec ceph and configdrive:: https://review.openstack.org/#/c/112014/, si la solution est mergé upstream, j'appliquerai le patch au package debian
19 1 Mehdi Abaakouk
20 4 Mehdi Abaakouk
h2. Installation
21 4 Mehdi Abaakouk
22 4 Mehdi Abaakouk
Le setup installé est composé de :
23 4 Mehdi Abaakouk
24 4 Mehdi Abaakouk
* 3 hyperviseurs (compute node) qui contiendront 1 ceph-mon, N ceph-osd, nova-compute (qui lance les VM), neutron-openvswitch-agent (qui configure le réseau des vms)
25 4 Mehdi Abaakouk
* 1 VM (controler node), qui contient tous les services de management d'openstack (nova, cinder, glance, neutron)
26 4 Mehdi Abaakouk
27 4 Mehdi Abaakouk
Les étapes d'installation sont les suivantes:
28 4 Mehdi Abaakouk
* Préparation manuelle de la VM de management sur un des hyperviseurs
29 4 Mehdi Abaakouk
* Installation de ceph et openstack sur toutes les machines avec puppet
30 4 Mehdi Abaakouk
* Déplacement de la VM de management d'openstack dans openstack.
31 4 Mehdi Abaakouk
32 33 Mehdi Abaakouk
h3. Information sur le puppet master:
33 33 Mehdi Abaakouk
34 33 Mehdi Abaakouk
La conf et modules puppet utilisé par tetaneutral.net ce trouve la:
35 33 Mehdi Abaakouk
36 33 Mehdi Abaakouk
> http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster
37 33 Mehdi Abaakouk
> http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster/revisions/master/entry/manifests/nodes/openstack.pp
38 33 Mehdi Abaakouk
39 33 Mehdi Abaakouk
Seulement c'est 3 classes sont spécifique à tetaneutral, le reste est réutilisable:
40 33 Mehdi Abaakouk
41 36 Mehdi Abaakouk
> class { 'ttnn::server': }
42 36 Mehdi Abaakouk
> class { 'backup::client': }
43 36 Mehdi Abaakouk
> class { 'sexymotd': }
44 33 Mehdi Abaakouk
45 33 Mehdi Abaakouk
Les modules qui sont nécessaire pour openstack pour le reste du fichier sont:
46 33 Mehdi Abaakouk
47 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-apache.git 
48 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-apt 
49 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-ceph.git 
50 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-cinder.git 
51 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-concat.git 
52 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-glance.git 
53 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-horizon.git 
54 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-inifile.git 
55 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-keystone.git 
56 33 Mehdi Abaakouk
> https://github.com/camptocamp/puppet-kmod.git 
57 33 Mehdi Abaakouk
> https://github.com/saz/puppet-memcached.git 
58 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-mysql.git 
59 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-neutron.git 
60 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-nova.git 
61 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-rabbitmq.git 
62 33 Mehdi Abaakouk
> https://github.com/nanliu/puppet-staging.git 
63 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-stdlib.git 
64 33 Mehdi Abaakouk
> https://github.com/duritong/puppet-sysctl.git 
65 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-vcsrepo.git 
66 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-vswitch.git 
67 36 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-xinetd.git
68 33 Mehdi Abaakouk
69 33 Mehdi Abaakouk
h3. Préparation réseaux des hosts:
70 29 Mehdi Abaakouk
71 31 Mehdi Abaakouk
Voici le fichier rc.local d'un hyperviseur (g1)
72 29 Mehdi Abaakouk
73 29 Mehdi Abaakouk
<pre>
74 71 Mehdi Abaakouk
#!/bin/sh
75 71 Mehdi Abaakouk
76 29 Mehdi Abaakouk
for i in /proc/sys/net/ipv6/conf/*; do for j in autoconf accept_ra; do echo 0 > $i/$j; done;done
77 1 Mehdi Abaakouk
# https://www.kernel.org/doc/Documentation/networking/ip-sysctl.txt
78 71 Mehdi Abaakouk
for i in /proc/sys/net/ipv4/conf/*/arp_announce; do echo 2 > $i;done
79 29 Mehdi Abaakouk
80 29 Mehdi Abaakouk
echo 1 > /proc/sys/net/ipv4/ip_forward
81 29 Mehdi Abaakouk
echo 1 > /proc/sys/net/ipv6/conf/all/forwarding
82 29 Mehdi Abaakouk
83 1 Mehdi Abaakouk
ip link set eth0 up
84 71 Mehdi Abaakouk
85 29 Mehdi Abaakouk
ip link add link eth0 name eth0.3131 type vlan id 3131
86 1 Mehdi Abaakouk
ip link set eth0.3131 up
87 71 Mehdi Abaakouk
88 29 Mehdi Abaakouk
ip addr add 89.234.156.251/32 dev eth0.3131
89 29 Mehdi Abaakouk
ip route add 91.224.149.0/24 dev eth0.3131
90 29 Mehdi Abaakouk
ip route add default via 91.224.149.254
91 29 Mehdi Abaakouk
92 29 Mehdi Abaakouk
ip addr add 2a01:6600:8083:fb00::1/56 dev eth0.3131
93 29 Mehdi Abaakouk
ip route add default via fe80::31 dev eth0.3131
94 1 Mehdi Abaakouk
95 71 Mehdi Abaakouk
ip route add 89.234.156.250/32 dev eth0.3131
96 71 Mehdi Abaakouk
ip route add 89.234.156.252/32 dev eth0.3131
97 71 Mehdi Abaakouk
ip route add 89.234.156.253/32 dev eth0.3131
98 71 Mehdi Abaakouk
99 98 Mehdi Abaakouk
ovs_vlan_attach(){
100 98 Mehdi Abaakouk
        bridge=$1
101 98 Mehdi Abaakouk
        interface=$2
102 98 Mehdi Abaakouk
        vlan=$3
103 98 Mehdi Abaakouk
        ip=$4
104 98 Mehdi Abaakouk
        # Clean ovs mess (it create the interface without vlan tag id)
105 98 Mehdi Abaakouk
        ovs-vsctl del-port ${bridge} ${interface}.${vlan}
106 98 Mehdi Abaakouk
        ip link del ${interface}.${vlan}
107 98 Mehdi Abaakouk
        ip link add link ${interface} name ${interface}.${vlan} type vlan id ${vlan}
108 98 Mehdi Abaakouk
        ip link set ${interface}.${vlan} up
109 98 Mehdi Abaakouk
        ovs-vsctl add-port ${bridge} ${interface}.${vlan}
110 98 Mehdi Abaakouk
        ip link set ${bridge} up
111 98 Mehdi Abaakouk
        [ "${ip}" ] && ip addr add ${ip} dev ${bridge}
112 98 Mehdi Abaakouk
}
113 1 Mehdi Abaakouk
114 98 Mehdi Abaakouk
ovs_vlan_attach br-admin eth0 3175 192.168.3.101/24
115 98 Mehdi Abaakouk
ovs_vlan_attach br-tsf eth0 3195 
116 1 Mehdi Abaakouk
117 71 Mehdi Abaakouk
ip link set br-net up
118 71 Mehdi Abaakouk
ip addr add fe80::31/64 dev br-net
119 29 Mehdi Abaakouk
ip addr add 91.224.148.0/32 dev br-net
120 71 Mehdi Abaakouk
121 98 Mehdi Abaakouk
for i in /etc/init.d/{ceph,nova-compute,neutron-plugin-*-agent} ; do
122 98 Mehdi Abaakouk
        $i restart
123 98 Mehdi Abaakouk
done
124 29 Mehdi Abaakouk
125 98 Mehdi Abaakouk
/root/tetaneutral-openstack-routing-daemon.sh -d
126 98 Mehdi Abaakouk
127 98 Mehdi Abaakouk
exit 0
128 30 Mehdi Abaakouk
</pre>
129 30 Mehdi Abaakouk
130 30 Mehdi Abaakouk
_note: Les bridges openvswitch sont mémorisés et recréés automatiquement par le service openvswitch-switch_
131 30 Mehdi Abaakouk
132 30 Mehdi Abaakouk
Sur h7.tetaneutral.net le routage est le suivant
133 30 Mehdi Abaakouk
134 30 Mehdi Abaakouk
<pre>
135 30 Mehdi Abaakouk
ip route add 89.234.156.251/32 dev eth0.3131
136 30 Mehdi Abaakouk
ip route add 89.234.156.252/32 dev eth0.3131
137 30 Mehdi Abaakouk
ip route add 89.234.156.253/32 dev eth0.3131
138 30 Mehdi Abaakouk
ip route add 2a01:6600:8083:fb00::/56 dev eth0.3131
139 30 Mehdi Abaakouk
ip route add 2a01:6600:8083:fc00::/56 dev eth0.3131
140 30 Mehdi Abaakouk
ip route add 2a01:6600:8083:fd00::/56 dev eth0.3131
141 30 Mehdi Abaakouk
</pre>
142 74 Mehdi Abaakouk
143 74 Mehdi Abaakouk
Ainsi que ceci le temps de l'installation
144 30 Mehdi Abaakouk
145 4 Mehdi Abaakouk
<pre>
146 4 Mehdi Abaakouk
ip route add 89.234.156.248/32 via 89.234.156.251 # NOTE(sileht): temporairement pour le setup openstack
147 6 Mehdi Abaakouk
ip route add 2a01:6600:8083:f800::/56 via 2a01:6600:8083:fb00::1 dev eth0.3131 # NOTE(sileht): temporairement pour le setup openstack
148 4 Mehdi Abaakouk
</pre>
149 4 Mehdi Abaakouk
150 57 Mehdi Abaakouk
h3. Preparation de la VM de management, le controlleur
151 89 Mehdi Abaakouk
152 4 Mehdi Abaakouk
h4. Installation des prérequis
153 4 Mehdi Abaakouk
154 6 Mehdi Abaakouk
<pre>
155 1 Mehdi Abaakouk
$ apt-get install libvirt-bin openstack-debian-images virtinst openvswitch-switch 
156 1 Mehdi Abaakouk
#NOTE(sileht): temporairement appliquer les patches de au-dessus à openstack-debian-images 
157 73 Mehdi Abaakouk
</pre>
158 73 Mehdi Abaakouk
159 6 Mehdi Abaakouk
h4. Preparation de l'image de la VM
160 17 Mehdi Abaakouk
161 16 Mehdi Abaakouk
On notera les ip temporaire 192.168.3.100
162 1 Mehdi Abaakouk
163 20 Mehdi Abaakouk
<pre>
164 16 Mehdi Abaakouk
$ vim hook.sh
165 16 Mehdi Abaakouk
set -xv
166 16 Mehdi Abaakouk
167 16 Mehdi Abaakouk
echo "openstack" > $BODI_CHROOT_PATH/etc/hostname
168 1 Mehdi Abaakouk
169 20 Mehdi Abaakouk
cat > $BODI_CHROOT_PATH/etc/resolv.conf <<EOF
170 6 Mehdi Abaakouk
domain tetaneutral.net
171 6 Mehdi Abaakouk
search tetaneutral.net
172 6 Mehdi Abaakouk
nameserver 8.8.8.8
173 1 Mehdi Abaakouk
EOF
174 6 Mehdi Abaakouk
175 20 Mehdi Abaakouk
cat > $BODI_CHROOT_PATH/etc/network/interfaces <<EOF
176 20 Mehdi Abaakouk
auto lo
177 1 Mehdi Abaakouk
iface lo inet loopback
178 1 Mehdi Abaakouk
auto eth0
179 92 Mehdi Abaakouk
iface eth0 inet manual
180 20 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth0.accept_ra=0
181 20 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth0.autoconf=0
182 20 Mehdi Abaakouk
  up ip link set eth0 up
183 20 Mehdi Abaakouk
  up ip addr add 89.234.156.249/32 dev eth0
184 1 Mehdi Abaakouk
  up ip route add 91.224.148.0/32 dev eth0
185 20 Mehdi Abaakouk
  up ip route add default via 91.224.148.0
186 92 Mehdi Abaakouk
187 40 Mehdi Abaakouk
iface eth0 inet6 static
188 46 Mehdi Abaakouk
    pre-up /sbin/sysctl -w net.ipv6.conf.eth0.accept_ra=0
189 46 Mehdi Abaakouk
    pre-up /sbin/sysctl -w net.ipv6.conf.eth0.autoconf=0
190 46 Mehdi Abaakouk
    address 2a01:6600:8083:f900::1
191 1 Mehdi Abaakouk
    netmask 56
192 46 Mehdi Abaakouk
    gateway fe80::31
193 46 Mehdi Abaakouk
194 92 Mehdi Abaakouk
auto eth1
195 6 Mehdi Abaakouk
iface eth1 inet static
196 20 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth1.accept_ra=0
197 1 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth1.autoconf=0
198 6 Mehdi Abaakouk
  address 192.168.3.100
199 4 Mehdi Abaakouk
  netmask 255.255.255.0
200 1 Mehdi Abaakouk
EOF
201 4 Mehdi Abaakouk
202 10 Mehdi Abaakouk
mkdir -p $BODI_CHROOT_PATH/root/.ssh
203 16 Mehdi Abaakouk
chmod 600 $BODI_CHROOT_PATH/root/.ssh
204 16 Mehdi Abaakouk
cat >> $BODI_CHROOT_PATH/root/.ssh/authorized_keys <<EOF
205 20 Mehdi Abaakouk
ssh-dss AAAAB3NzaC1kc3MAAACBAJtnGLvuz4uVD6fnERDxDi/C0UyzwCiKmgNtEessopREYasAX4Gu6Fg10jAyIL5Nuc7YDnqj//pOfxNjD7hp99a2ZmkRQgh/ltClxYML9fqhBHgsUCpVse9nOYDHDnDgvXIPRSDUHat2UFpdchHVrFURNLIlZnBztsr+GCDURTV/AAAAFQD9SrBcH49ltaKOm6V5ssCPmgs1SwAAAIAbAvkQ3/tMzzdACO5B9s5Yb3ZuM7XImm0iqufivVf2Xy39g8HOBulUsN7eKEGPhVriqNolgIO7q7tVgYAff4/NE4yDP0Kp0SPg4tjt2yFJuL31Y3wzwHjnKrjgNlDSLl3uZnRXSipwUMwGKbdHB6NZSqlq192VKbHilQ00pbiMlAAAAIB5dfB1lVHkJ0o5CcaVQRPbca9DvbbRwnoTSmKHc5DUcqsPqDhS07CkM9ZcJuY1Nh4wGl4Q9kArj7Tnsvvygf/HReSUcIk4+nbDytJ8/pca/Qx4fzQQyppa94TylN62LSFT6MIJKLoMwYa0dQURT7Mv5+9Qj2vk5pZ38w2iQ9zVCg== root@h1
206 1 Mehdi Abaakouk
EOF
207 7 Mehdi Abaakouk
208 4 Mehdi Abaakouk
sed -i -e 's/^.*Port.*$/Port 2222/' -e 's/^[# ]*PasswordAuthentication.*$/PasswordAuthentication no/' $BODI_CHROOT_PATH/etc/ssh/sshd_config
209 21 Mehdi Abaakouk
chroot $BODI_CHROOT_PATH dpkg-reconfigure openssh-server
210 12 Mehdi Abaakouk
chroot $BODI_CHROOT_PATH apt-get purge -y cloud-init*
211 4 Mehdi Abaakouk
</pre>
212 4 Mehdi Abaakouk
213 4 Mehdi Abaakouk
<pre>
214 5 Mehdi Abaakouk
$ chmod +x hook.sh
215 13 Mehdi Abaakouk
$ build-openstack-debian-image --image-size 20  --release jessie -u http://apt.tetaneutral.net/debian/ -s http://apt.tetaneutral.net/debian/ --hook-script $(pwd)/hook.sh
216 18 Mehdi Abaakouk
$ mv debian-jessie-7.0.0-3-amd64.raw /openstack.raw 
217 18 Mehdi Abaakouk
$ rm debian-jessie-7.0.0-3-amd64.qcow2
218 18 Mehdi Abaakouk
</pre>
219 18 Mehdi Abaakouk
220 18 Mehdi Abaakouk
_note: la derniere commande lancée par le script doit être 'qemu-img convert -c -f raw .... , sinon l'image de bootera pas_
221 18 Mehdi Abaakouk
_note(jessie): si l'erreur est celle ci-dessous, relancer manuellement 'kpartx -d debian-jessie-7.0.0-3-amd64.raw' jusqu'a ce que l'erreur disparaissent et le .raw est utilisable:_
222 59 Mehdi Abaakouk
<pre>
223 59 Mehdi Abaakouk
+ 'kpartx -d debian-jessie-7.0.0-3-amd64.raw'
224 11 Mehdi Abaakouk
device-mapper: remove ioctl on loop0p1 failed: Device or resource busy
225 4 Mehdi Abaakouk
loop deleted : /dev/loop0
226 4 Mehdi Abaakouk
</pre>
227 6 Mehdi Abaakouk
_note: si parted freeze -> lancer /etc/init.d/udev restart_
228 4 Mehdi Abaakouk
229 4 Mehdi Abaakouk
230 8 Mehdi Abaakouk
On garde l'image raw qui sera importable dans ceph plus tard et on la mets à la racine pour qui l'utilisateur libvirt puisse y accéder.
231 1 Mehdi Abaakouk
232 90 Mehdi Abaakouk
h4. Préparation du réseau
233 90 Mehdi Abaakouk
234 90 Mehdi Abaakouk
<pre>
235 90 Mehdi Abaakouk
$ modprobe vhost-net
236 90 Mehdi Abaakouk
$ ovs-vsctl add-br br-net 
237 90 Mehdi Abaakouk
$ ip link set br-net up 
238 90 Mehdi Abaakouk
$ ovs-vsctl br-set-external-id br-net bridge-id br-net 
239 90 Mehdi Abaakouk
$ ip link set br-admin up 
240 90 Mehdi Abaakouk
$ ovs-vsctl br-set-external-id br-net bridge-id br-admin 
241 90 Mehdi Abaakouk
$ ovs-vsctl add-port br-admin eth0.3175
242 5 Mehdi Abaakouk
$ ip addr add 192.168.3.101/24 dev br-admin 
243 6 Mehdi Abaakouk
$ ip addr add fe80::31/64 dev br-net 
244 4 Mehdi Abaakouk
$ ip route add 89.234.156.249/32 dev br-net
245 4 Mehdi Abaakouk
$ ip -6 route add 2a01:6600:8083:f900::/56 dev br-net
246 60 Mehdi Abaakouk
</pre>
247 4 Mehdi Abaakouk
248 91 Mehdi Abaakouk
h4. Installation de la VM
249 91 Mehdi Abaakouk
250 19 Mehdi Abaakouk
<pre>
251 93 Mehdi Abaakouk
$ virt-install --name openstack --ram 2048 --network bridge=br-net,model=virtio --network bridge=br-admin,model=virtio --nographics --serial pty --wait -1 --noreboot --autostart --disk /openstack.raw,bus=virtio,cache=none,io=native --import
252 19 Mehdi Abaakouk
$ EDITOR="sed -i -e \"s,<source bridge='br-net'/>,<source bridge='br-net'/><virtualport type='openvswitch' />,g\"" virsh edit openstack # Openvswitch is not yet supported by virt-install 
253 19 Mehdi Abaakouk
$ EDITOR="sed -i -e \"s,<source bridge='br-admin'/>,<source bridge='br-admin'/><virtualport type='openvswitch' />,g\"" virsh edit openstack # Openvswitch is not yet supported by virt-install 
254 19 Mehdi Abaakouk
$ virsh  start openstack
255 19 Mehdi Abaakouk
$ ssh root@89.234.156.249 -p 2222
256 19 Mehdi Abaakouk
</pre>
257 19 Mehdi Abaakouk
258 24 Mehdi Abaakouk
Une fois connecté à la VM:
259 24 Mehdi Abaakouk
260 24 Mehdi Abaakouk
<pre>
261 24 Mehdi Abaakouk
$ apt-get install puppet
262 24 Mehdi Abaakouk
$ puppet agent --enable
263 24 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
264 24 Mehdi Abaakouk
Info: Caching certificate for ca
265 19 Mehdi Abaakouk
Info: csr_attributes file loading from /etc/puppet/csr_attributes.yaml
266 19 Mehdi Abaakouk
Info: Creating a new SSL certificate request for openstack.tetaneutral.net
267 19 Mehdi Abaakouk
Info: Certificate Request fingerprint (SHA256): AE:72:47:40:A0:E2:F4:59:BA:39:FA:3D:C2:A7:C9:1B:9F:87:A5:B7:65:3A:F9:D4:DE:AF:E2:A3:02:41:0F:2E
268 19 Mehdi Abaakouk
Info: Caching certificate for ca
269 19 Mehdi Abaakouk
Exiting; no certificate found and waitforcert is disabled
270 1 Mehdi Abaakouk
</pre>
271 22 Mehdi Abaakouk
272 61 Mehdi Abaakouk
Sur le puppetmaster:
273 87 Mehdi Abaakouk
274 1 Mehdi Abaakouk
<pre>
275 19 Mehdi Abaakouk
$ puppet ca sign openstack.tetaneutral.net 
276 19 Mehdi Abaakouk
</pre>
277 24 Mehdi Abaakouk
_note: si un vieux cert existe: puppet ca revoke openstack.tetaneutral.net ; puppet cert clean openstack.tetaneutral.net; puppet node clean openstack.tetaneutral.net_
278 26 Mehdi Abaakouk
279 26 Mehdi Abaakouk
De nouveau sur la VM:
280 4 Mehdi Abaakouk
281 26 Mehdi Abaakouk
<pre>
282 32 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
283 26 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
284 34 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
285 34 Mehdi Abaakouk
</pre>
286 35 Mehdi Abaakouk
287 94 Mehdi Abaakouk
Il ne doit plus y avoir d'erreur la 3°/4° fois.
288 35 Mehdi Abaakouk
289 35 Mehdi Abaakouk
h3. Configuration des hyperviseurs
290 35 Mehdi Abaakouk
291 35 Mehdi Abaakouk
Une fois la configuration réseau faite, tout ce fait avec puppet:
292 35 Mehdi Abaakouk
293 35 Mehdi Abaakouk
<pre>
294 35 Mehdi Abaakouk
$ apt-get install puppet
295 35 Mehdi Abaakouk
$ puppet agent --enable
296 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
297 35 Mehdi Abaakouk
Info: Caching certificate for ca
298 35 Mehdi Abaakouk
Info: csr_attributes file loading from /etc/puppet/csr_attributes.yaml
299 35 Mehdi Abaakouk
Info: Creating a new SSL certificate request for openstack.tetaneutral.net
300 35 Mehdi Abaakouk
Info: Certificate Request fingerprint (SHA256): AE:72:47:40:A0:E2:F4:59:BA:39:FA:3D:C2:A7:C9:1B:9F:87:A5:B7:65:3A:F9:D4:DE:AF:E2:A3:02:41:0F:2E
301 35 Mehdi Abaakouk
Info: Caching certificate for ca
302 35 Mehdi Abaakouk
Exiting; no certificate found and waitforcert is disabled
303 35 Mehdi Abaakouk
</pre>
304 35 Mehdi Abaakouk
305 64 Mehdi Abaakouk
Sur le puppetmaster:
306 35 Mehdi Abaakouk
307 35 Mehdi Abaakouk
<pre>
308 35 Mehdi Abaakouk
$ puppet ca sign openstack.tetaneutral.net 
309 35 Mehdi Abaakouk
</pre>
310 35 Mehdi Abaakouk
_note: si un vieux cert existe: puppet ca revoke openstack.tetaneutral.net ; puppet cert clean openstack.tetaneutral.net; puppet node clean openstack.tetaneutral.net_
311 35 Mehdi Abaakouk
312 35 Mehdi Abaakouk
De nouveau sur la VM:
313 35 Mehdi Abaakouk
314 35 Mehdi Abaakouk
<pre>
315 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
316 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
317 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
318 35 Mehdi Abaakouk
</pre>
319 35 Mehdi Abaakouk
320 35 Mehdi Abaakouk
Il ne doit plus y avoir d'erreur la 3°/4° fois.
321 35 Mehdi Abaakouk
322 35 Mehdi Abaakouk
323 35 Mehdi Abaakouk
h4. Information sur la configuration d'un hyperviseur sur le puppet master
324 35 Mehdi Abaakouk
325 35 Mehdi Abaakouk
La configuration ressemble à :
326 35 Mehdi Abaakouk
327 35 Mehdi Abaakouk
<pre>
328 35 Mehdi Abaakouk
node "gX.tetaneutral.net" inherits openstack_node_common {
329 35 Mehdi Abaakouk
  # Configuration du routerid et de l'AS number de cette machine
330 35 Mehdi Abaakouk
  # Il faut aussi mettre la conf bgp de h7 ainsi que les fichiers 
331 35 Mehdi Abaakouk
  # /etc/puppet/manifests/files/openstack-bird.conf.erb et
332 35 Mehdi Abaakouk
  # /etc/puppet/manifests/files/openstack-bird6.conf.erb
333 35 Mehdi Abaakouk
  # pour ajouter cette AS interne
334 35 Mehdi Abaakouk
  ttnn_os_bird {'198.51.100.1': asnum => "65001"}
335 35 Mehdi Abaakouk
336 35 Mehdi Abaakouk
  # Dans le cas d'une moniteur ceph, mais uniquement 3 suffissent, on a déjà g1,g2,g3
337 35 Mehdi Abaakouk
  # ttnn_ceph_mon {$::hostname:}
338 35 Mehdi Abaakouk
 
339 49 Mehdi Abaakouk
  # La liste des disques dur à utiliser dans ceph
340 35 Mehdi Abaakouk
  ttnn_ceph_osd {"/dev/sdb": }
341 35 Mehdi Abaakouk
  ttnn_ceph_osd {"/dev/sdc": }
342 35 Mehdi Abaakouk
343 1 Mehdi Abaakouk
  # La partie Openstack, l'uuid doit être unique par machine (générer avec uuid-gen)
344 37 Mehdi Abaakouk
  ttnn_os_compute {"9d26ec10-a48b-4f0f-a122-f10ed16d270f": }
345 37 Mehdi Abaakouk
346 37 Mehdi Abaakouk
  # La correction d'un petit bug :)
347 72 Mehdi Abaakouk
  class {'ttnn_os_configdrive_ceph_fix': }
348 37 Mehdi Abaakouk
}
349 38 Mehdi Abaakouk
</pre>
350 38 Mehdi Abaakouk
351 82 Mehdi Abaakouk
h3. Déplacement du controlleur dans openstack (Work In Progress)
352 38 Mehdi Abaakouk
353 38 Mehdi Abaakouk
<pre>
354 38 Mehdi Abaakouk
$ cat > os.conf <<EOF
355 1 Mehdi Abaakouk
export OS_AUTH_URL=http://89.234.156.248:5000/v2.0/
356 1 Mehdi Abaakouk
export OS_USERNAME=admin
357 97 Mehdi Abaakouk
export OS_TENANT_NAME=ttnn_admin
358 97 Mehdi Abaakouk
export OS_PASSWORD=<password>
359 97 Mehdi Abaakouk
EOF
360 97 Mehdi Abaakouk
$ source os.conf 
361 97 Mehdi Abaakouk
</pre>
362 88 Mehdi Abaakouk
363 1 Mehdi Abaakouk
Générer d'abord une image debian jessie  et l'uploader dans glance
364 1 Mehdi Abaakouk
365 97 Mehdi Abaakouk
<pre>
366 97 Mehdi Abaakouk
$ glance image-create --progress --name debian-jessie-7.0.0-3-amd64 --disk-format raw --container-format bare  < debian-jessie-7.0.0-3-amd64.raw
367 97 Mehdi Abaakouk
# glance image-list | grep jessie
368 97 Mehdi Abaakouk
| c81df9d4-8786-4f77-b84b-8409f1f11018 | debian-jessie-7.0.0-3-amd64 | raw         | bare             | 1073741824 | active |
369 41 Mehdi Abaakouk
</pre>
370 41 Mehdi Abaakouk
371 88 Mehdi Abaakouk
On boot une debian vide avec config-drive à false pour ne pas avoir le réseau configuré dans la VM (sinon la vrai va couper)
372 88 Mehdi Abaakouk
<pre>
373 88 Mehdi Abaakouk
$ netid_net=$(neutron net-list | awk '/ttnn-net/{print $2}')
374 88 Mehdi Abaakouk
$ netid_admin=$(neutron net-list | awk '/ttnn-admin/{print $2}')
375 88 Mehdi Abaakouk
$ nova boot --nic net-id=$netid_net,v4-fixed-ip=89.234.156.249 --nic net-id=$netid_admin,v4-fixed-ip=192.168.3.100 --block-device source=image,id=c81df9d4-8786-4f77-b84b-8409f1f11018,shutdown=preserve,dest=volume,bootindex=0,size=50 --flavor m1.medium --poll openstack.tetaneutral.net --config-drive false
376 88 Mehdi Abaakouk
+--------------------------------------+-------------------------------------------------+
377 88 Mehdi Abaakouk
| Property                             | Value                                           |
378 88 Mehdi Abaakouk
+--------------------------------------+-------------------------------------------------+
379 88 Mehdi Abaakouk
| OS-DCF:diskConfig                    | MANUAL                                          |
380 88 Mehdi Abaakouk
| OS-EXT-AZ:availability_zone          | nova                                            |
381 88 Mehdi Abaakouk
| OS-EXT-SRV-ATTR:host                 | -                                               |
382 88 Mehdi Abaakouk
| OS-EXT-SRV-ATTR:hypervisor_hostname  | -                                               |
383 88 Mehdi Abaakouk
| OS-EXT-SRV-ATTR:instance_name        | instance-0000000b                               |
384 88 Mehdi Abaakouk
| OS-EXT-STS:power_state               | 0                                               |
385 88 Mehdi Abaakouk
| OS-EXT-STS:task_state                | scheduling                                      |
386 88 Mehdi Abaakouk
| OS-EXT-STS:vm_state                  | building                                        |
387 88 Mehdi Abaakouk
| OS-SRV-USG:launched_at               | -                                               |
388 88 Mehdi Abaakouk
| OS-SRV-USG:terminated_at             | -                                               |
389 88 Mehdi Abaakouk
| accessIPv4                           |                                                 |
390 88 Mehdi Abaakouk
| accessIPv6                           |                                                 |
391 88 Mehdi Abaakouk
| adminPass                            |                                                 |
392 88 Mehdi Abaakouk
| config_drive                         |                                                 |
393 88 Mehdi Abaakouk
| created                              | 2014-08-26T09:19:34Z                            |
394 88 Mehdi Abaakouk
| flavor                               | m1.medium (3)                                   |
395 88 Mehdi Abaakouk
| hostId                               |                                                 |
396 88 Mehdi Abaakouk
| id                                   | 899b93b2-d5a0-4531-9f92-0b8103755fda            |
397 88 Mehdi Abaakouk
| image                                | Attempt to boot from volume - no image supplied |
398 88 Mehdi Abaakouk
| key_name                             | -                                               |
399 88 Mehdi Abaakouk
| metadata                             | {}                                              |
400 88 Mehdi Abaakouk
| name                                 | openstack.tetaneutral.net                       |
401 88 Mehdi Abaakouk
| os-extended-volumes:volumes_attached | []                                              |
402 88 Mehdi Abaakouk
| progress                             | 0                                               |
403 88 Mehdi Abaakouk
| security_groups                      | default                                         |
404 88 Mehdi Abaakouk
| status                               | BUILD                                           |
405 1 Mehdi Abaakouk
| tenant_id                            | 700f4abd173f472499a934eacf9730bd                |
406 1 Mehdi Abaakouk
| updated                              | 2014-08-26T09:19:35Z                            |
407 97 Mehdi Abaakouk
| user_id                              | f5603324b48542eca4c34d3a32d725cb                |
408 97 Mehdi Abaakouk
+--------------------------------------+-------------------------------------------------+
409 97 Mehdi Abaakouk
Server building... 0% complete
410 97 Mehdi Abaakouk
</pre>
411 97 Mehdi Abaakouk
412 97 Mehdi Abaakouk
Ensuite on va stopper la VM niveau libvirt
413 97 Mehdi Abaakouk
414 97 Mehdi Abaakouk
<pre>
415 97 Mehdi Abaakouk
$ nova show openstack.tetaneutral.net | grep -e hostname -e instance_name
416 97 Mehdi Abaakouk
| OS-EXT-SRV-ATTR:hypervisor_hostname  | g3.tetaneutral.net                                       |
417 97 Mehdi Abaakouk
| OS-EXT-SRV-ATTR:instance_name        | instance-00000004                         
418 97 Mehdi Abaakouk
419 97 Mehdi Abaakouk
# On éteint la VM de management
420 97 Mehdi Abaakouk
$ virsh shutdown openstack 
421 97 Mehdi Abaakouk
</pre>
422 97 Mehdi Abaakouk
423 97 Mehdi Abaakouk
Donc sur g3.tetaneutral.net, éteint la vide openstack vide
424 97 Mehdi Abaakouk
<pre>
425 97 Mehdi Abaakouk
$ virsh destroy instance-00000004
426 97 Mehdi Abaakouk
</pre>
427 97 Mehdi Abaakouk
428 97 Mehdi Abaakouk
Sur g1, on remplace le disk de "instance-00000004" par celui de la vrai vm de management:
429 97 Mehdi Abaakouk
<pre>
430 97 Mehdi Abaakouk
# rbd -p cinder ls
431 97 Mehdi Abaakouk
volume-58de0590-d9e6-4d00-8ea1-1a83b740a1f6
432 97 Mehdi Abaakouk
# rbd -p cinder rm volume-58de0590-d9e6-4d00-8ea1-1a83b740a1f6
433 97 Mehdi Abaakouk
Removing image: 100% complete...done.
434 97 Mehdi Abaakouk
# rbd -p cinder import /var/lib/ceph/osd/ceph-2/openstack.raw  volume-58de0590-d9e6-4d00-8ea1-1a83b740a1f6
435 97 Mehdi Abaakouk
436 97 Mehdi Abaakouk
</pre>
437 97 Mehdi Abaakouk
438 97 Mehdi Abaakouk
Donc sur g3.tetaneutral.net on redémarre la VM
439 97 Mehdi Abaakouk
<pre>
440 97 Mehdi Abaakouk
$ virsh start instance-00000004
441 97 Mehdi Abaakouk
</pre>
442 97 Mehdi Abaakouk
443 97 Mehdi Abaakouk
Nettoyage des routes provisoir sur g1:
444 97 Mehdi Abaakouk
<pre>
445 97 Mehdi Abaakouk
ip route del 89.234.156.249
446 97 Mehdi Abaakouk
ip -6 r  d 2a01:6600:8083:f900::/56 dev br-net
447 97 Mehdi Abaakouk
</pre>
448 97 Mehdi Abaakouk
449 97 Mehdi Abaakouk
450 97 Mehdi Abaakouk
Sur h7:
451 97 Mehdi Abaakouk
<pre>
452 97 Mehdi Abaakouk
ip route del 89.234.156.249/32 via 89.234.156.251
453 97 Mehdi Abaakouk
ip route del 2a01:6600:8083:f900::/56 via 2a01:6600:8083:fb00::1 dev eth0.3131
454 97 Mehdi Abaakouk
</pre>
455 97 Mehdi Abaakouk
456 97 Mehdi Abaakouk
Sur g3.t
457 97 Mehdi Abaakouk
<pre>
458 97 Mehdi Abaakouk
ip route add 89.234.156.249/32 dev br-net proto 42
459 97 Mehdi Abaakouk
ip -6 route add 2a01:6600:8083:f900::/56 dev br-net proto 42
460 97 Mehdi Abaakouk
</pre>
461 97 Mehdi Abaakouk
462 97 Mehdi Abaakouk
Vérification que la route est bien propagé à h7.t sur h7.t:
463 97 Mehdi Abaakouk
464 97 Mehdi Abaakouk
<pre>
465 97 Mehdi Abaakouk
# ip route get 89.234.156.249
466 97 Mehdi Abaakouk
89.234.156.249 via 89.234.156.253 dev eth0.3131  src 91.224.149.254 
467 97 Mehdi Abaakouk
    cache 
468 97 Mehdi Abaakouk
</pre>
469 97 Mehdi Abaakouk
470 97 Mehdi Abaakouk
Ca marche !
471 97 Mehdi Abaakouk
472 97 Mehdi Abaakouk
<pre>
473 97 Mehdi Abaakouk
$ ssh openstack.t
474 97 Mehdi Abaakouk
X11 forwarding request failed on channel 0
475 97 Mehdi Abaakouk
476 97 Mehdi Abaakouk
  server: openstack.tetaneutral.net
477 97 Mehdi Abaakouk
  system: Debian jessie/sid, kernel 3.14-2-amd64, puppet 3.6.1
478 97 Mehdi Abaakouk
     cpu: 1/1 (QEMU Virtual CPU version 2.1.0)
479 97 Mehdi Abaakouk
  memory: 1.96 GB
480 97 Mehdi Abaakouk
481 97 Mehdi Abaakouk
    eth0: 52:54:00:90:d8:c7 / 89.234.156.249 / 2a01:6600:8083:f900::1
482 97 Mehdi Abaakouk
    eth1: 52:54:00:13:fa:13 / 192.168.3.100
483 97 Mehdi Abaakouk
484 97 Mehdi Abaakouk
 modules: openstack_node_common ttnn::server resolver checkmk::agent checkmk::client rsyslog::client rsyslog apt apt::update puppet nullmailer backup::client sexymotd 
485 97 Mehdi Abaakouk
                            _             _    
486 97 Mehdi Abaakouk
  ___  _ __   ___ _ __  ___| |_ __ _  ___| | __
487 97 Mehdi Abaakouk
 / _ \| '_ \ / _ \ '_ \/ __| __/ _` |/ __| |/ /
488 97 Mehdi Abaakouk
| (_) | |_) |  __/ | | \__ \ || (_| | (__|   < 
489 97 Mehdi Abaakouk
 \___/| .__/ \___|_| |_|___/\__\__,_|\___|_|\_\
490 97 Mehdi Abaakouk
      |_|                                      
491 97 Mehdi Abaakouk
Last login: Wed Aug 27 08:10:02 2014 from atoulouse-652-1-119-50.w2-6.abo.wanadoo.fr
492 68 Mehdi Abaakouk
root@openstack:~# 
493 68 Mehdi Abaakouk
494 68 Mehdi Abaakouk
</pre>
495 68 Mehdi Abaakouk
496 68 Mehdi Abaakouk
497 68 Mehdi Abaakouk
h2. Preparation du Pool SSD pour ceph
498 68 Mehdi Abaakouk
499 68 Mehdi Abaakouk
500 68 Mehdi Abaakouk
h3. Cas particulier du SSD ou ce trouve l'OS
501 68 Mehdi Abaakouk
502 68 Mehdi Abaakouk
En général avec ceph, on donne un disque, ceph créé 2 partitions une pour le journal de l'OSD, l'autre pour les datas
503 68 Mehdi Abaakouk
mais pour le SSD de tetaneutral qui a aussi l'OS, voici la méthode
504 68 Mehdi Abaakouk
505 68 Mehdi Abaakouk
Création manuelle de la partition de data ceph /dev/sda2 ici
506 68 Mehdi Abaakouk
507 68 Mehdi Abaakouk
<pre>
508 68 Mehdi Abaakouk
$ fdisk /dev/sda
509 68 Mehdi Abaakouk
510 68 Mehdi Abaakouk
n
511 68 Mehdi Abaakouk
p
512 68 Mehdi Abaakouk
<enter>
513 68 Mehdi Abaakouk
<enter>
514 68 Mehdi Abaakouk
<enter>
515 68 Mehdi Abaakouk
<enter>
516 68 Mehdi Abaakouk
w
517 68 Mehdi Abaakouk
518 68 Mehdi Abaakouk
$ partprobe
519 68 Mehdi Abaakouk
</pre>
520 68 Mehdi Abaakouk
521 68 Mehdi Abaakouk
On ajoute dans la configuration puppet de l'hyperviseur ceci, avec le journal sur la partition de l'OS:
522 34 Mehdi Abaakouk
523 69 Mehdi Abaakouk
<pre>
524 69 Mehdi Abaakouk
ttnn_ceph_osd {"/dev/sda2": journal => "/var/lib/ceph/ssd-sda2-journal"}
525 69 Mehdi Abaakouk
</pre>
526 69 Mehdi Abaakouk
527 69 Mehdi Abaakouk
528 69 Mehdi Abaakouk
h3. Configuration de la crushmap de ceph:
529 69 Mehdi Abaakouk
530 69 Mehdi Abaakouk
REF: http://ceph.com/docs/master/rados/operations/crush-map/#getcrushmap
531 69 Mehdi Abaakouk
532 69 Mehdi Abaakouk
<pre>
533 69 Mehdi Abaakouk
$ ceph osd getcrushmap -o compiled-crushmap
534 69 Mehdi Abaakouk
$ crushtool -d compiled-crushmap -o crushmap.txt
535 69 Mehdi Abaakouk
# EDIT crushmap.txt
536 69 Mehdi Abaakouk
$ crushtool -c crushmap.txt -o compiled-crushmap 
537 69 Mehdi Abaakouk
$ ceph osd setcrushmap -i compiled-crushmap
538 81 Mehdi Abaakouk
</pre>
539 69 Mehdi Abaakouk
540 79 Mehdi Abaakouk
h3. Definition de la crushmap de ttnn
541 69 Mehdi Abaakouk
542 79 Mehdi Abaakouk
Chaque machine se trouve dans 2 hosts, un host SSD et un host HARDDISK (même si en réalité les deux sont sur la même machine physique),
543 69 Mehdi Abaakouk
544 81 Mehdi Abaakouk
Ensuite on créé 2 object root un pour les hosts SSD et un autre pour les host HARDDISK
545 69 Mehdi Abaakouk
546 79 Mehdi Abaakouk
On créé ensuite 2 règles de stockage une qui envoie les objects vers le root SSD et l'autre vers le root HARDDISK
547 81 Mehdi Abaakouk
548 79 Mehdi Abaakouk
Cela permettra d'avoir de définir une règle différente suivant les pools ceph.
549 95 Thomas Pedoussaut
550 1 Mehdi Abaakouk
Niveau Openstack nous avons 4 pools:
551 79 Mehdi Abaakouk
* nova: que nous n'allons pas utilisé mais que nova utilise pour stocker quelles fichiers pour le boot des VMs. (Il normalement utilisé si on créé pas préalablement de volume)
552 81 Mehdi Abaakouk
* cinder: ce pool sera le pool par défaut de création des disques
553 1 Mehdi Abaakouk
* cinder-ssd: sera le pool sur le quel on applique la politique de stockage numero 1
554 81 Mehdi Abaakouk
* glance: c'est la que seront stocké les images de VMs.
555 84 Mehdi Abaakouk
556 81 Mehdi Abaakouk
Une fois la crushmap modifié on applique la règle sur le pool cinder-ssd:
557 81 Mehdi Abaakouk
558 81 Mehdi Abaakouk
<pre>
559 81 Mehdi Abaakouk
ceph osd pool set cinder-ssd crush_ruleset 1
560 81 Mehdi Abaakouk
</pre>
561 81 Mehdi Abaakouk
562 81 Mehdi Abaakouk
Il faut ensuite attendre que ceph redistribue les data comme on lui a demandé, on peut suivre l'avancement avec :
563 81 Mehdi Abaakouk
564 81 Mehdi Abaakouk
<pre>
565 79 Mehdi Abaakouk
ceph -s
566 79 Mehdi Abaakouk
</pre>
567 79 Mehdi Abaakouk
568 79 Mehdi Abaakouk
La crushmap le jour de l'installation:
569 79 Mehdi Abaakouk
570 79 Mehdi Abaakouk
<pre>
571 79 Mehdi Abaakouk
# begin crush map
572 79 Mehdi Abaakouk
tunable choose_local_tries 0
573 79 Mehdi Abaakouk
tunable choose_local_fallback_tries 0
574 79 Mehdi Abaakouk
tunable choose_total_tries 50
575 79 Mehdi Abaakouk
tunable chooseleaf_descend_once 1
576 79 Mehdi Abaakouk
577 79 Mehdi Abaakouk
# devices
578 79 Mehdi Abaakouk
device 0 osd.0
579 79 Mehdi Abaakouk
device 1 osd.1
580 79 Mehdi Abaakouk
device 2 osd.2
581 79 Mehdi Abaakouk
device 3 osd.3
582 79 Mehdi Abaakouk
device 4 osd.4
583 79 Mehdi Abaakouk
device 5 osd.5
584 79 Mehdi Abaakouk
585 79 Mehdi Abaakouk
# types
586 79 Mehdi Abaakouk
type 0 osd
587 79 Mehdi Abaakouk
type 1 host
588 79 Mehdi Abaakouk
type 2 chassis
589 79 Mehdi Abaakouk
type 3 rack
590 79 Mehdi Abaakouk
type 4 row
591 79 Mehdi Abaakouk
type 5 pdu
592 79 Mehdi Abaakouk
type 6 pod
593 79 Mehdi Abaakouk
type 7 room
594 80 Mehdi Abaakouk
type 8 datacenter
595 79 Mehdi Abaakouk
type 9 region
596 79 Mehdi Abaakouk
type 10 root
597 1 Mehdi Abaakouk
598 79 Mehdi Abaakouk
host g3-ssd {
599 79 Mehdi Abaakouk
	id -1		# do not change unnecessarily
600 79 Mehdi Abaakouk
	alg straw
601 79 Mehdi Abaakouk
	hash 0	# rjenkins1
602 79 Mehdi Abaakouk
	item osd.3 weight 0.040
603 80 Mehdi Abaakouk
}
604 1 Mehdi Abaakouk
605 79 Mehdi Abaakouk
606 96 Mehdi Abaakouk
host g3-harddisk {
607 79 Mehdi Abaakouk
	id -2		# do not change unnecessarily
608 79 Mehdi Abaakouk
	alg straw
609 79 Mehdi Abaakouk
	hash 0	# rjenkins1
610 80 Mehdi Abaakouk
	item osd.1 weight 1.810
611 1 Mehdi Abaakouk
}
612 79 Mehdi Abaakouk
613 79 Mehdi Abaakouk
host g2-ssd {
614 79 Mehdi Abaakouk
	id -3		# do not change unnecessarily
615 79 Mehdi Abaakouk
	# weight 3.630
616 79 Mehdi Abaakouk
	alg straw
617 1 Mehdi Abaakouk
	hash 0	# rjenkins1
618 80 Mehdi Abaakouk
	item osd.4 weight 0.000
619 79 Mehdi Abaakouk
}
620 79 Mehdi Abaakouk
621 79 Mehdi Abaakouk
host g2-harddisk {
622 96 Mehdi Abaakouk
	id -4		# do not change unnecessarily
623 79 Mehdi Abaakouk
	# weight 3.630
624 1 Mehdi Abaakouk
	alg straw
625 79 Mehdi Abaakouk
	hash 0	# rjenkins1
626 80 Mehdi Abaakouk
	item osd.0 weight 3.630
627 79 Mehdi Abaakouk
}
628 79 Mehdi Abaakouk
629 79 Mehdi Abaakouk
host g1-ssd {
630 79 Mehdi Abaakouk
	id -5		# do not change unnecessarily
631 79 Mehdi Abaakouk
	# weight 3.630
632 1 Mehdi Abaakouk
	alg straw
633 80 Mehdi Abaakouk
	hash 0	# rjenkins1
634 79 Mehdi Abaakouk
	item osd.5 weight 0.000
635 79 Mehdi Abaakouk
}
636 79 Mehdi Abaakouk
host g1-harddisk {
637 79 Mehdi Abaakouk
	id -6		# do not change unnecessarily
638 79 Mehdi Abaakouk
	# weight 3.630
639 79 Mehdi Abaakouk
	alg straw
640 79 Mehdi Abaakouk
	hash 0	# rjenkins1
641 80 Mehdi Abaakouk
	item osd.2 weight 3.630
642 79 Mehdi Abaakouk
}
643 79 Mehdi Abaakouk
644 79 Mehdi Abaakouk
root harddrive {
645 79 Mehdi Abaakouk
    id -7
646 79 Mehdi Abaakouk
    alg straw
647 79 Mehdi Abaakouk
    hash 0
648 79 Mehdi Abaakouk
    item g1-harddisk weight 2.00
649 79 Mehdi Abaakouk
    item g2-harddisk weight 2.00
650 80 Mehdi Abaakouk
    item g3-harddisk weight 2.00
651 79 Mehdi Abaakouk
}
652 79 Mehdi Abaakouk
653 79 Mehdi Abaakouk
root ssd {
654 79 Mehdi Abaakouk
    id -8
655 79 Mehdi Abaakouk
    alg straw
656 79 Mehdi Abaakouk
    hash 0
657 79 Mehdi Abaakouk
    item g1-ssd weight 2.00
658 1 Mehdi Abaakouk
    item g2-ssd weight 2.00
659 79 Mehdi Abaakouk
    item g3-ssd weight 2.00
660 79 Mehdi Abaakouk
}
661 79 Mehdi Abaakouk
662 79 Mehdi Abaakouk
# rules
663 79 Mehdi Abaakouk
rule default {
664 79 Mehdi Abaakouk
	ruleset 0
665 79 Mehdi Abaakouk
	type replicated
666 79 Mehdi Abaakouk
	min_size 1
667 79 Mehdi Abaakouk
	max_size 10
668 79 Mehdi Abaakouk
	step take harddrive
669 79 Mehdi Abaakouk
	step chooseleaf firstn 0 type host
670 79 Mehdi Abaakouk
	step emit
671 79 Mehdi Abaakouk
}
672 79 Mehdi Abaakouk
673 79 Mehdi Abaakouk
rule ssd {
674 79 Mehdi Abaakouk
	ruleset 1
675 79 Mehdi Abaakouk
	type replicated
676 79 Mehdi Abaakouk
	min_size 1
677 79 Mehdi Abaakouk
	max_size 10
678 80 Mehdi Abaakouk
	step take ssd
679 1 Mehdi Abaakouk
	step chooseleaf firstn 0 type host
680 1 Mehdi Abaakouk
	step emit
681 96 Mehdi Abaakouk
}
682 96 Mehdi Abaakouk
683 96 Mehdi Abaakouk
684 96 Mehdi Abaakouk
# end crush map
685 96 Mehdi Abaakouk
</pre>
686 96 Mehdi Abaakouk
687 96 Mehdi Abaakouk
688 96 Mehdi Abaakouk
Vérification de l'arbre des OSD:
689 96 Mehdi Abaakouk
690 96 Mehdi Abaakouk
_Avec la crushmap par défaut:_
691 96 Mehdi Abaakouk
<pre>
692 96 Mehdi Abaakouk
root@g2:~# ceph osd tree 
693 96 Mehdi Abaakouk
# id	weight	type name	up/down	reweight
694 96 Mehdi Abaakouk
-1	9.53	root default
695 96 Mehdi Abaakouk
-2	3.84		host g2
696 96 Mehdi Abaakouk
0	0.21			osd.0	up	1	
697 96 Mehdi Abaakouk
4	3.63			osd.4	up	1	
698 96 Mehdi Abaakouk
-3	1.85		host g3
699 96 Mehdi Abaakouk
1	0.03999			osd.1	up	1	
700 96 Mehdi Abaakouk
3	1.81			osd.3	up	1	
701 96 Mehdi Abaakouk
-4	3.84		host g1
702 96 Mehdi Abaakouk
2	0.21			osd.2	up	1	
703 96 Mehdi Abaakouk
5	3.63			osd.5	up	1	
704 96 Mehdi Abaakouk
</pre>
705 96 Mehdi Abaakouk
706 96 Mehdi Abaakouk
_Avec la nouvelle crushmap:_
707 96 Mehdi Abaakouk
<pre>
708 96 Mehdi Abaakouk
root@g2:~# ceph osd tree
709 96 Mehdi Abaakouk
# id	weight	type name	up/down	reweight
710 96 Mehdi Abaakouk
-8	6	root ssd
711 96 Mehdi Abaakouk
-5	2		host g1-ssd
712 96 Mehdi Abaakouk
5	0			osd.5	up	1	
713 96 Mehdi Abaakouk
-3	2		host g2-ssd
714 96 Mehdi Abaakouk
4	0			osd.4	up	1	
715 96 Mehdi Abaakouk
-1	2		host g3-ssd
716 96 Mehdi Abaakouk
3	0.03999			osd.3	up	1	
717 96 Mehdi Abaakouk
-7	6	root harddrive
718 96 Mehdi Abaakouk
-6	2		host g1-harddisk
719 96 Mehdi Abaakouk
2	3.63			osd.2	up	1	
720 79 Mehdi Abaakouk
-4	2		host g2-harddisk
721 4 Mehdi Abaakouk
0	3.63			osd.0	up	1	
722 4 Mehdi Abaakouk
-2	2		host g3-harddisk
723 1 Mehdi Abaakouk
1	1.81			osd.1	up	1	
724 1 Mehdi Abaakouk
</pre>
725 1 Mehdi Abaakouk
726 1 Mehdi Abaakouk
h2. Management d'openstack