Project

General

Profile

Openstack Installation TTNN » History » Version 237

Laurent GUERBY, 12/13/2014 11:09 AM

1 43 Laurent GUERBY
{{>toc}}
2 43 Laurent GUERBY
3 159 Laurent GUERBY
h1. Openstack Installation tetaneutral.net
4 1 Mehdi Abaakouk
5 236 Mehdi Abaakouk
h2. A FIXER
6 236 Mehdi Abaakouk
7 236 Mehdi Abaakouk
Le virsh secret-set-value bla bla, n'est pas fait par libvirt
8 236 Mehdi Abaakouk
Le module puppet nova configure la mauvaise section pour neutron
9 236 Mehdi Abaakouk
10 236 Mehdi Abaakouk
11 44 Laurent GUERBY
h2. Liens
12 44 Laurent GUERBY
13 204 Mehdi Abaakouk
* [[Openstack Management TTNN]]
14 204 Mehdi Abaakouk
* [[Openstack Setup VM pas dans openstack]]
15 44 Laurent GUERBY
* http://ceph.com/docs/master/rados/operations/cache-tiering/
16 44 Laurent GUERBY
* http://ceph.com/docs/master/rados/operations/crush-map/
17 44 Laurent GUERBY
18 3 Mehdi Abaakouk
h2. Pending upstream fixes:
19 3 Mehdi Abaakouk
20 143 Mehdi Abaakouk
La liste à jour est ici: 
21 143 Mehdi Abaakouk
http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster/revisions/master/entry/manifests/nodes/openstack.pp#L27
22 1 Mehdi Abaakouk
23 4 Mehdi Abaakouk
h2. Installation
24 4 Mehdi Abaakouk
25 213 Laurent GUERBY
L'installation initiale est composée de :
26 4 Mehdi Abaakouk
27 4 Mehdi Abaakouk
* 3 hyperviseurs (compute node) qui contiendront 1 ceph-mon, N ceph-osd, nova-compute (qui lance les VM), neutron-openvswitch-agent (qui configure le réseau des vms)
28 4 Mehdi Abaakouk
* 1 VM (controler node), qui contient tous les services de management d'openstack (nova, cinder, glance, neutron)
29 4 Mehdi Abaakouk
30 4 Mehdi Abaakouk
Les étapes d'installation sont les suivantes:
31 4 Mehdi Abaakouk
* Préparation manuelle de la VM de management sur un des hyperviseurs
32 4 Mehdi Abaakouk
* Installation de ceph et openstack sur toutes les machines avec puppet
33 4 Mehdi Abaakouk
* Déplacement de la VM de management d'openstack dans openstack.
34 4 Mehdi Abaakouk
35 33 Mehdi Abaakouk
h3. Information sur le puppet master:
36 33 Mehdi Abaakouk
37 213 Laurent GUERBY
La configuration et les modules puppet utilisés par tetaneutral.net se trouvent la:
38 33 Mehdi Abaakouk
39 33 Mehdi Abaakouk
> http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster
40 33 Mehdi Abaakouk
> http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster/revisions/master/entry/manifests/nodes/openstack.pp
41 33 Mehdi Abaakouk
42 213 Laurent GUERBY
Seulement les 3 classes suivantes sont spécifique à http://tetaneutral.net, le reste est réutilisable à condition de changer les ip, hostname, uuid et password :
43 33 Mehdi Abaakouk
44 36 Mehdi Abaakouk
> class { 'ttnn::server': }
45 36 Mehdi Abaakouk
> class { 'backup::client': }
46 36 Mehdi Abaakouk
> class { 'sexymotd': }
47 33 Mehdi Abaakouk
48 213 Laurent GUERBY
Les modules qui sont nécessaire pour openstack pour le reste du fichier sont :
49 33 Mehdi Abaakouk
50 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-apache.git 
51 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-apt 
52 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-ceph.git 
53 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-cinder.git 
54 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-concat.git 
55 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-glance.git 
56 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-horizon.git 
57 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-inifile.git 
58 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-keystone.git 
59 33 Mehdi Abaakouk
> https://github.com/camptocamp/puppet-kmod.git 
60 33 Mehdi Abaakouk
> https://github.com/saz/puppet-memcached.git 
61 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-mysql.git 
62 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-neutron.git 
63 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-nova.git 
64 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-rabbitmq.git 
65 33 Mehdi Abaakouk
> https://github.com/nanliu/puppet-staging.git 
66 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-stdlib.git 
67 33 Mehdi Abaakouk
> https://github.com/duritong/puppet-sysctl.git 
68 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-vcsrepo.git 
69 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-vswitch.git 
70 36 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-xinetd.git
71 33 Mehdi Abaakouk
72 33 Mehdi Abaakouk
h3. Préparation réseaux des hosts:
73 29 Mehdi Abaakouk
74 1 Mehdi Abaakouk
75 126 Mehdi Abaakouk
Preparation des bridges openvswitch:
76 126 Mehdi Abaakouk
77 1 Mehdi Abaakouk
<pre>
78 130 Mehdi Abaakouk
$ apt-get install openvswitch-switch 
79 126 Mehdi Abaakouk
$ modprobe vhost-net
80 126 Mehdi Abaakouk
$ modprobe tun
81 126 Mehdi Abaakouk
$ modprobe loop
82 148 Mehdi Abaakouk
83 148 Mehdi Abaakouk
# On créé un switch br-eth0
84 151 Mehdi Abaakouk
ovs-vsctl add-br br-eth0
85 148 Mehdi Abaakouk
# On rajoute une petite bricole pour openstack 
86 151 Mehdi Abaakouk
ovs-vsctl br-set-external-id br-eth0 bridge-id br-eth0
87 148 Mehdi Abaakouk
# On ajoute le port eth0 dans le switch
88 151 Mehdi Abaakouk
ovs-vsctl add-port br-eth0 eth0  # Si aucun trunk vlan n'est spécifié, c'est un trunk avec tous les vlans 
89 148 Mehdi Abaakouk
90 148 Mehdi Abaakouk
# On créé des interfaces réseau utilisable sur la machine avec des vlans:
91 155 Mehdi Abaakouk
ovs-vsctl add-br vlan3132 br-eth0 3132
92 151 Mehdi Abaakouk
ovs-vsctl add-br vlan3175 br-eth0 3175
93 151 Mehdi Abaakouk
ovs-vsctl add-br vlan3199 br-eth0 3199
94 148 Mehdi Abaakouk
95 150 Mehdi Abaakouk
# On s'assure que eth0 sera toujours up
96 151 Mehdi Abaakouk
ovs-ofctl mod-port br-eth0 eth0 up
97 150 Mehdi Abaakouk
98 126 Mehdi Abaakouk
</pre>
99 1 Mehdi Abaakouk
100 126 Mehdi Abaakouk
_note: Les bridges openvswitch sont mémorisés et recréés automatiquement par le service openvswitch-switch_
101 126 Mehdi Abaakouk
102 133 Mehdi Abaakouk
On install le fichier attachment:rc.local dans /etc/
103 133 Mehdi Abaakouk
Et le fichier attachment:tetaneutral-openstack-routing-daemon.sh dans /root/
104 1 Mehdi Abaakouk
105 1 Mehdi Abaakouk
On re-charge le fichier attachment:rc.local
106 133 Mehdi Abaakouk
107 133 Mehdi Abaakouk
<pre>
108 126 Mehdi Abaakouk
bash -x /etc/rc.local
109 1 Mehdi Abaakouk
</pre>
110 126 Mehdi Abaakouk
111 126 Mehdi Abaakouk
112 126 Mehdi Abaakouk
Sur h7.tetaneutral.net le routage est le suivant
113 73 Mehdi Abaakouk
114 73 Mehdi Abaakouk
<pre>
115 155 Mehdi Abaakouk
ip route add 89.234.156.249/32 dev eth0.3132
116 155 Mehdi Abaakouk
ip route add 89.234.156.251/32 dev eth0.3132
117 155 Mehdi Abaakouk
ip route add 89.234.156.252/32 dev eth0.3132
118 155 Mehdi Abaakouk
ip route add 89.234.156.253/32 dev eth0.3132
119 155 Mehdi Abaakouk
ip route add 2a01:6600:8083:f900::/56 dev eth0.3132
120 155 Mehdi Abaakouk
ip route add 2a01:6600:8083:fb00::/56 dev eth0.3132
121 155 Mehdi Abaakouk
ip route add 2a01:6600:8083:fc00::/56 dev eth0.3132
122 155 Mehdi Abaakouk
ip route add 2a01:6600:8083:fd00::/56 dev eth0.3132
123 16 Mehdi Abaakouk
</pre>
124 1 Mehdi Abaakouk
125 20 Mehdi Abaakouk
h3. Preparation de la VM de management, le controlleur
126 6 Mehdi Abaakouk
127 6 Mehdi Abaakouk
h4. Installation des prérequis
128 6 Mehdi Abaakouk
129 1 Mehdi Abaakouk
<pre>
130 129 Mehdi Abaakouk
$ apt-get install libvirt-bin openstack-debian-images virtinst
131 131 Mehdi Abaakouk
#NOTE(sileht): temporairement récupérer la dernière version:
132 131 Mehdi Abaakouk
$ curl -# http://anonscm.debian.org/cgit/openstack/openstack-debian-images.git/plain/build-openstack-debian-image > /usr/sbin/build-openstack-debian-image
133 20 Mehdi Abaakouk
</pre>
134 1 Mehdi Abaakouk
135 1 Mehdi Abaakouk
h4. Preparation de l'image de la VM
136 92 Mehdi Abaakouk
137 20 Mehdi Abaakouk
<pre>
138 20 Mehdi Abaakouk
$ vim hook.sh
139 1 Mehdi Abaakouk
set -xv
140 20 Mehdi Abaakouk
141 92 Mehdi Abaakouk
echo "openstack" > $BODI_CHROOT_PATH/etc/hostname
142 40 Mehdi Abaakouk
143 46 Mehdi Abaakouk
cat > $BODI_CHROOT_PATH/etc/resolv.conf <<EOF
144 46 Mehdi Abaakouk
domain tetaneutral.net
145 46 Mehdi Abaakouk
search tetaneutral.net
146 1 Mehdi Abaakouk
nameserver 8.8.8.8
147 46 Mehdi Abaakouk
EOF
148 46 Mehdi Abaakouk
149 92 Mehdi Abaakouk
cat > $BODI_CHROOT_PATH/etc/network/interfaces <<EOF
150 6 Mehdi Abaakouk
auto lo
151 20 Mehdi Abaakouk
iface lo inet loopback
152 1 Mehdi Abaakouk
auto eth0
153 6 Mehdi Abaakouk
iface eth0 inet manual
154 4 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth0.accept_ra=0
155 1 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth0.autoconf=0
156 4 Mehdi Abaakouk
  up ip link set eth0 up
157 10 Mehdi Abaakouk
  up ip addr add 89.234.156.249/32 dev eth0
158 152 Mehdi Abaakouk
  up ip route add 91.224.149.0/24 dev eth0
159 152 Mehdi Abaakouk
  up ip route add default via 91.224.149.254
160 20 Mehdi Abaakouk
161 1 Mehdi Abaakouk
iface eth0 inet6 static
162 7 Mehdi Abaakouk
    pre-up /sbin/sysctl -w net.ipv6.conf.eth0.accept_ra=0
163 4 Mehdi Abaakouk
    pre-up /sbin/sysctl -w net.ipv6.conf.eth0.autoconf=0
164 21 Mehdi Abaakouk
    address 2a01:6600:8083:f900::1
165 12 Mehdi Abaakouk
    netmask 56
166 4 Mehdi Abaakouk
    gateway fe80::31
167 4 Mehdi Abaakouk
168 4 Mehdi Abaakouk
auto eth1
169 5 Mehdi Abaakouk
iface eth1 inet static
170 13 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth1.accept_ra=0
171 18 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth1.autoconf=0
172 18 Mehdi Abaakouk
  address 192.168.3.100
173 18 Mehdi Abaakouk
  netmask 255.255.255.0
174 18 Mehdi Abaakouk
EOF
175 18 Mehdi Abaakouk
176 18 Mehdi Abaakouk
mkdir -p $BODI_CHROOT_PATH/root/.ssh
177 59 Mehdi Abaakouk
chmod 600 $BODI_CHROOT_PATH/root/.ssh
178 59 Mehdi Abaakouk
cat >> $BODI_CHROOT_PATH/root/.ssh/authorized_keys <<EOF
179 11 Mehdi Abaakouk
ssh-dss AAAAB3NzaC1kc3MAAACBAJtnGLvuz4uVD6fnERDxDi/C0UyzwCiKmgNtEessopREYasAX4Gu6Fg10jAyIL5Nuc7YDnqj//pOfxNjD7hp99a2ZmkRQgh/ltClxYML9fqhBHgsUCpVse9nOYDHDnDgvXIPRSDUHat2UFpdchHVrFURNLIlZnBztsr+GCDURTV/AAAAFQD9SrBcH49ltaKOm6V5ssCPmgs1SwAAAIAbAvkQ3/tMzzdACO5B9s5Yb3ZuM7XImm0iqufivVf2Xy39g8HOBulUsN7eKEGPhVriqNolgIO7q7tVgYAff4/NE4yDP0Kp0SPg4tjt2yFJuL31Y3wzwHjnKrjgNlDSLl3uZnRXSipwUMwGKbdHB6NZSqlq192VKbHilQ00pbiMlAAAAIB5dfB1lVHkJ0o5CcaVQRPbca9DvbbRwnoTSmKHc5DUcqsPqDhS07CkM9ZcJuY1Nh4wGl4Q9kArj7Tnsvvygf/HReSUcIk4+nbDytJ8/pca/Qx4fzQQyppa94TylN62LSFT6MIJKLoMwYa0dQURT7Mv5+9Qj2vk5pZ38w2iQ9zVCg== root@h1
180 4 Mehdi Abaakouk
EOF
181 4 Mehdi Abaakouk
182 6 Mehdi Abaakouk
sed -i -e 's/^.*Port.*$/Port 2222/' -e 's/^[# ]*PasswordAuthentication.*$/PasswordAuthentication no/' $BODI_CHROOT_PATH/etc/ssh/sshd_config
183 4 Mehdi Abaakouk
chroot $BODI_CHROOT_PATH dpkg-reconfigure openssh-server
184 4 Mehdi Abaakouk
chroot $BODI_CHROOT_PATH apt-get purge -y cloud-init*
185 8 Mehdi Abaakouk
</pre>
186 1 Mehdi Abaakouk
187 90 Mehdi Abaakouk
<pre>
188 90 Mehdi Abaakouk
$ chmod +x hook.sh
189 156 Mehdi Abaakouk
$ build-openstack-debian-image --image-size 20  --release jessie -u http://apt.tetaneutral.net/debian/ -s http://apt.tetaneutral.net/debian/ --hook-script $(pwd)/hook.sh -e acpi-support
190 90 Mehdi Abaakouk
$ mv debian-jessie-7.0.0-3-amd64.raw /openstack.raw 
191 90 Mehdi Abaakouk
$ rm debian-jessie-7.0.0-3-amd64.qcow2
192 90 Mehdi Abaakouk
</pre>
193 90 Mehdi Abaakouk
194 90 Mehdi Abaakouk
_note: la derniere commande lancée par le script doit être 'qemu-img convert -c -f raw .... , sinon l'image de bootera pas_
195 90 Mehdi Abaakouk
_note(jessie): si l'erreur est celle ci-dessous, relancer manuellement 'kpartx -d debian-jessie-7.0.0-3-amd64.raw' jusqu'a ce que l'erreur disparaissent et le .raw est utilisable:_
196 90 Mehdi Abaakouk
<pre>
197 6 Mehdi Abaakouk
+ 'kpartx -d debian-jessie-7.0.0-3-amd64.raw'
198 1 Mehdi Abaakouk
device-mapper: remove ioctl on loop0p1 failed: Device or resource busy
199 1 Mehdi Abaakouk
loop deleted : /dev/loop0
200 4 Mehdi Abaakouk
</pre>
201 93 Mehdi Abaakouk
_note: si parted freeze -> lancer /etc/init.d/udev restart_
202 19 Mehdi Abaakouk
203 128 Mehdi Abaakouk
204 128 Mehdi Abaakouk
On garde l'image raw qui sera importable dans ceph plus tard et on la mets à la racine pour qui l'utilisateur libvirt puisse y accéder.
205 19 Mehdi Abaakouk
206 24 Mehdi Abaakouk
h4. Installation de la VM
207 19 Mehdi Abaakouk
208 1 Mehdi Abaakouk
<pre>
209 1 Mehdi Abaakouk
$
210 153 Mehdi Abaakouk
$ virt-install --name openstack --ram 2048 --network bridge=br-eth0,model=virtio --network bridge=br-eth0,model=virtio --network bridge=br-eth0,model=virtio --nographics --serial pty --wait -1 --noreboot --autostart --disk /openstack.raw,bus=virtio,cache=none,io=native --import
211 153 Mehdi Abaakouk
212 153 Mehdi Abaakouk
$ virsh edit openstack
213 153 Mehdi Abaakouk
 
214 153 Mehdi Abaakouk
# Pour chaque bridge ajouter, le vlan et openvswitch comme ceci:
215 157 Mehdi Abaakouk
#    <vlan><tag id='3132'/></vlan><virtualport type='openvswitch'/>
216 153 Mehdi Abaakouk
217 144 Mehdi Abaakouk
$ virsh  start openstack
218 1 Mehdi Abaakouk
$ ssh root@89.234.156.249 -p 2222
219 19 Mehdi Abaakouk
</pre>
220 19 Mehdi Abaakouk
221 24 Mehdi Abaakouk
Une fois connecté à la VM:
222 26 Mehdi Abaakouk
223 26 Mehdi Abaakouk
<pre>
224 4 Mehdi Abaakouk
$ apt-get install puppet
225 26 Mehdi Abaakouk
$ puppet agent --enable
226 32 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
227 26 Mehdi Abaakouk
Info: Caching certificate for ca
228 34 Mehdi Abaakouk
Info: csr_attributes file loading from /etc/puppet/csr_attributes.yaml
229 34 Mehdi Abaakouk
Info: Creating a new SSL certificate request for openstack.tetaneutral.net
230 35 Mehdi Abaakouk
Info: Certificate Request fingerprint (SHA256): AE:72:47:40:A0:E2:F4:59:BA:39:FA:3D:C2:A7:C9:1B:9F:87:A5:B7:65:3A:F9:D4:DE:AF:E2:A3:02:41:0F:2E
231 94 Mehdi Abaakouk
Info: Caching certificate for ca
232 35 Mehdi Abaakouk
Exiting; no certificate found and waitforcert is disabled
233 35 Mehdi Abaakouk
</pre>
234 35 Mehdi Abaakouk
235 35 Mehdi Abaakouk
Sur le puppetmaster:
236 35 Mehdi Abaakouk
237 35 Mehdi Abaakouk
<pre>
238 35 Mehdi Abaakouk
$ puppet ca sign openstack.tetaneutral.net 
239 35 Mehdi Abaakouk
</pre>
240 35 Mehdi Abaakouk
_note: si un vieux cert existe: puppet ca revoke openstack.tetaneutral.net ; puppet cert clean openstack.tetaneutral.net; puppet node clean openstack.tetaneutral.net_
241 35 Mehdi Abaakouk
242 35 Mehdi Abaakouk
De nouveau sur la VM:
243 35 Mehdi Abaakouk
244 35 Mehdi Abaakouk
<pre>
245 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
246 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
247 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
248 35 Mehdi Abaakouk
</pre>
249 64 Mehdi Abaakouk
250 35 Mehdi Abaakouk
Il ne doit plus y avoir d'erreur la 3°/4° fois.
251 35 Mehdi Abaakouk
252 35 Mehdi Abaakouk
h3. Configuration des hyperviseurs
253 35 Mehdi Abaakouk
254 35 Mehdi Abaakouk
Une fois la configuration réseau faite, tout ce fait avec puppet:
255 35 Mehdi Abaakouk
256 35 Mehdi Abaakouk
<pre>
257 35 Mehdi Abaakouk
$ apt-get install puppet
258 35 Mehdi Abaakouk
$ puppet agent --enable
259 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
260 35 Mehdi Abaakouk
Info: Caching certificate for ca
261 35 Mehdi Abaakouk
Info: csr_attributes file loading from /etc/puppet/csr_attributes.yaml
262 35 Mehdi Abaakouk
Info: Creating a new SSL certificate request for openstack.tetaneutral.net
263 35 Mehdi Abaakouk
Info: Certificate Request fingerprint (SHA256): AE:72:47:40:A0:E2:F4:59:BA:39:FA:3D:C2:A7:C9:1B:9F:87:A5:B7:65:3A:F9:D4:DE:AF:E2:A3:02:41:0F:2E
264 35 Mehdi Abaakouk
Info: Caching certificate for ca
265 35 Mehdi Abaakouk
Exiting; no certificate found and waitforcert is disabled
266 35 Mehdi Abaakouk
</pre>
267 35 Mehdi Abaakouk
268 101 Mehdi Abaakouk
Sur le puppetmaster:
269 35 Mehdi Abaakouk
270 35 Mehdi Abaakouk
<pre>
271 35 Mehdi Abaakouk
$ puppet ca sign openstack.tetaneutral.net 
272 35 Mehdi Abaakouk
</pre>
273 35 Mehdi Abaakouk
_note: si un vieux cert existe: puppet ca revoke openstack.tetaneutral.net ; puppet cert clean openstack.tetaneutral.net; puppet node clean openstack.tetaneutral.net_
274 35 Mehdi Abaakouk
275 35 Mehdi Abaakouk
De nouveau sur la VM:
276 35 Mehdi Abaakouk
277 35 Mehdi Abaakouk
<pre>
278 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
279 100 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
280 100 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
281 100 Mehdi Abaakouk
</pre>
282 100 Mehdi Abaakouk
283 35 Mehdi Abaakouk
Il ne doit plus y avoir d'erreur la 3°/4° fois.
284 1 Mehdi Abaakouk
285 187 Mehdi Abaakouk
h3. Information sur la configuration d'un hyperviseur sur le puppet master
286 37 Mehdi Abaakouk
287 38 Mehdi Abaakouk
La configuration puppet ressemble à :
288 38 Mehdi Abaakouk
289 109 Mehdi Abaakouk
<pre>
290 1 Mehdi Abaakouk
node "gX.tetaneutral.net" inherits openstack_node_common {
291 120 Mehdi Abaakouk
  # Configuration du routerid et de l'AS number de cette machine
292 1 Mehdi Abaakouk
  # Il faut aussi mettre la conf bgp de h7 ainsi que les fichiers 
293 1 Mehdi Abaakouk
  # /etc/puppet/manifests/files/openstack-bird.conf.erb et
294 125 Mehdi Abaakouk
  # /etc/puppet/manifests/files/openstack-bird6.conf.erb
295 125 Mehdi Abaakouk
  # pour ajouter cette AS interne
296 97 Mehdi Abaakouk
  ttnn_os_bird {'198.51.100.1': asnum => "65001"}
297 109 Mehdi Abaakouk
298 120 Mehdi Abaakouk
  # Dans le cas d'une moniteur ceph, mais uniquement 3 suffissent, on a déjà g1,g2,g3
299 109 Mehdi Abaakouk
  ttnn_ceph_mon {$::hostname:}
300 88 Mehdi Abaakouk
  # Sinon utilisait:
301 88 Mehdi Abaakouk
  # class{"ttnn_ceph_osd_only": }
302 109 Mehdi Abaakouk
303 88 Mehdi Abaakouk
  # La partie Openstack, l'uuid doit être unique par machine (générer avec uuid-gen)
304 109 Mehdi Abaakouk
  ttnn_os_compute {"9d26ec10-a48b-4f0f-a122-f10ed16d270f": }
305 109 Mehdi Abaakouk
}
306 109 Mehdi Abaakouk
</pre>
307 109 Mehdi Abaakouk
308 109 Mehdi Abaakouk
h3. Déplacement du disk du controlleur dans le cluster ceph
309 109 Mehdi Abaakouk
310 97 Mehdi Abaakouk
Les recettes puppet on créé un pool disks pour les mettres les VMs et volumes de VM
311 97 Mehdi Abaakouk
312 109 Mehdi Abaakouk
313 97 Mehdi Abaakouk
Sur g1, on import le disque de la VM dans ceph et on modifie la conf libvirt:
314 97 Mehdi Abaakouk
315 109 Mehdi Abaakouk
<pre>
316 111 Mehdi Abaakouk
$ virsh shutdown openstack
317 1 Mehdi Abaakouk
$ rbd -p disks import /var/lib/ceph/osd/ceph-0/openstack.raw  openstack-disk
318 1 Mehdi Abaakouk
$ virsh edit openstack
319 1 Mehdi Abaakouk
</pre>
320 120 Mehdi Abaakouk
321 109 Mehdi Abaakouk
Remplacer: 
322 112 Mehdi Abaakouk
<pre>
323 109 Mehdi Abaakouk
    <disk type='file' device='disk'>
324 109 Mehdi Abaakouk
      <driver name='qemu' type='raw' cache='none' io='native'/>
325 109 Mehdi Abaakouk
      <source file='/var/lib/ceph/osd/ceph-0/openstack.raw'/>
326 110 Mehdi Abaakouk
      <target dev='vda' bus='virtio'/>
327 109 Mehdi Abaakouk
      <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
328 97 Mehdi Abaakouk
    </disk>
329 97 Mehdi Abaakouk
</pre>
330 109 Mehdi Abaakouk
331 97 Mehdi Abaakouk
Par:
332 97 Mehdi Abaakouk
333 109 Mehdi Abaakouk
<pre>
334 109 Mehdi Abaakouk
    <disk type='network' device='disk'>
335 109 Mehdi Abaakouk
        <driver name='qemu' type='raw'/>
336 212 Mehdi Abaakouk
        <source protocol='rbd' name='disks/openstack-disk' />
337 97 Mehdi Abaakouk
        </source>
338 97 Mehdi Abaakouk
        <auth username='openstack-service'>
339 109 Mehdi Abaakouk
            <secret type='ceph' uuid='1fe74663-8dfa-486c-bb80-3bd94c90c967'/>
340 97 Mehdi Abaakouk
        </auth>
341 97 Mehdi Abaakouk
        <target dev='vda' bus='virtio'/>
342 97 Mehdi Abaakouk
        <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
343 97 Mehdi Abaakouk
    </disk>
344 97 Mehdi Abaakouk
</pre>
345 97 Mehdi Abaakouk
346 97 Mehdi Abaakouk
La clé ceph pour libvirt a déjà été installé par puppet pour avoir sont uuid:
347 97 Mehdi Abaakouk
348 97 Mehdi Abaakouk
<pre>
349 97 Mehdi Abaakouk
$ virsh secret-list
350 97 Mehdi Abaakouk
 UUID                                  Usage
351 97 Mehdi Abaakouk
--------------------------------------------------------------------------------
352 97 Mehdi Abaakouk
 1fe74663-8dfa-486c-bb80-3bd94c90c967  ceph client.openstack-service secret
353 97 Mehdi Abaakouk
</pre>
354 97 Mehdi Abaakouk
355 97 Mehdi Abaakouk
Puis on démarre
356 97 Mehdi Abaakouk
357 97 Mehdi Abaakouk
<pre>
358 97 Mehdi Abaakouk
$ virsh start openstack
359 97 Mehdi Abaakouk
</pre>
360 97 Mehdi Abaakouk
361 97 Mehdi Abaakouk
362 97 Mehdi Abaakouk
Ca marche !
363 97 Mehdi Abaakouk
364 97 Mehdi Abaakouk
<pre>
365 68 Mehdi Abaakouk
$ ssh openstack.t
366 68 Mehdi Abaakouk
X11 forwarding request failed on channel 0
367 68 Mehdi Abaakouk
368 68 Mehdi Abaakouk
  server: openstack.tetaneutral.net
369 102 Mehdi Abaakouk
  system: Debian jessie/sid, kernel 3.14-2-amd64, puppet 3.6.1
370 1 Mehdi Abaakouk
     cpu: 1/1 (QEMU Virtual CPU version 2.1.0)
371 102 Mehdi Abaakouk
  memory: 1.96 GB
372 1 Mehdi Abaakouk
373 102 Mehdi Abaakouk
    eth0: 52:54:00:90:d8:c7 / 89.234.156.249 / 2a01:6600:8083:f900::1
374 102 Mehdi Abaakouk
    eth1: 52:54:00:13:fa:13 / 192.168.3.100
375 68 Mehdi Abaakouk
376 68 Mehdi Abaakouk
 modules: openstack_node_common ttnn::server resolver checkmk::agent checkmk::client rsyslog::client rsyslog apt apt::update puppet nullmailer backup::client sexymotd 
377 68 Mehdi Abaakouk
                            _             _    
378 68 Mehdi Abaakouk
  ___  _ __   ___ _ __  ___| |_ __ _  ___| | __
379 68 Mehdi Abaakouk
 / _ \| '_ \ / _ \ '_ \/ __| __/ _` |/ __| |/ /
380 68 Mehdi Abaakouk
| (_) | |_) |  __/ | | \__ \ || (_| | (__|   < 
381 68 Mehdi Abaakouk
 \___/| .__/ \___|_| |_|___/\__\__,_|\___|_|\_\
382 68 Mehdi Abaakouk
      |_|                                      
383 68 Mehdi Abaakouk
Last login: Wed Aug 27 08:10:02 2014 from atoulouse-652-1-119-50.w2-6.abo.wanadoo.fr
384 68 Mehdi Abaakouk
root@openstack:~# 
385 68 Mehdi Abaakouk
386 68 Mehdi Abaakouk
</pre>
387 68 Mehdi Abaakouk
388 68 Mehdi Abaakouk
h2. Preparation des OSD pour ceph
389 68 Mehdi Abaakouk
390 68 Mehdi Abaakouk
h3. Cas général un disque entier:
391 68 Mehdi Abaakouk
392 158 Mehdi Abaakouk
<pre>
393 235 Mehdi Abaakouk
$ ceph-disk prepare --zap-disk --cluster-uuid 1fe74663-8dfa-486c-bb80-3bd94c90c967 --fs-type=ext4 /dev/sdX
394 199 Mehdi Abaakouk
$ smartctl --smart=on /dev/sdX  # Pour le monitoring.
395 194 Mehdi Abaakouk
$ ceph osd crush add osd.<ID> 0 root=default host=g3
396 194 Mehdi Abaakouk
ou pour les ssds:
397 1 Mehdi Abaakouk
$ ceph osd crush add osd.<ID> 0 root=ssd host=g3-ssd
398 194 Mehdi Abaakouk
399 197 Mehdi Abaakouk
$ /root/tools/ceph-reweight-osds.sh osd.<ID>
400 158 Mehdi Abaakouk
</pre>
401 68 Mehdi Abaakouk
402 1 Mehdi Abaakouk
h3. Cas particulier du SSD ou ce trouve l'OS
403 68 Mehdi Abaakouk
404 103 Mehdi Abaakouk
En général avec ceph, on donne un disque, ceph créé 2 partitions une pour le journal de l'OSD, l'autre pour les datas
405 1 Mehdi Abaakouk
mais pour le SSD de tetaneutral qui a aussi l'OS, voici la méthode
406 34 Mehdi Abaakouk
407 103 Mehdi Abaakouk
Création manuelle de la partition de data ceph /dev/sda2 ici
408 102 Mehdi Abaakouk
409 1 Mehdi Abaakouk
<pre>
410 1 Mehdi Abaakouk
$ fdisk /dev/sda
411 102 Mehdi Abaakouk
412 102 Mehdi Abaakouk
n
413 102 Mehdi Abaakouk
p
414 102 Mehdi Abaakouk
<enter>
415 102 Mehdi Abaakouk
<enter>
416 102 Mehdi Abaakouk
<enter>
417 102 Mehdi Abaakouk
<enter>
418 104 Mehdi Abaakouk
w
419 104 Mehdi Abaakouk
420 104 Mehdi Abaakouk
$ partprobe
421 104 Mehdi Abaakouk
</pre>
422 104 Mehdi Abaakouk
423 104 Mehdi Abaakouk
On prepare le disk comme normalement
424 105 Mehdi Abaakouk
425 104 Mehdi Abaakouk
<pre>
426 104 Mehdi Abaakouk
ceph-disk prepare /dev/sda2
427 207 Mehdi Abaakouk
ceph-disk activate --fs-type=ext4 /dev/sda2
428 104 Mehdi Abaakouk
</pre>
429 104 Mehdi Abaakouk
430 116 Mehdi Abaakouk
Le disque n'étant pas utilisé uniquement par ceph, le service ceph ne le chargera pas automatiquement:
431 207 Mehdi Abaakouk
Il faut ajouter le nom du device dans le /etc/rc.local pour qu'il lance:
432 116 Mehdi Abaakouk
433 116 Mehdi Abaakouk
<pre>
434 116 Mehdi Abaakouk
ceph-disk activate /dev/sda2
435 116 Mehdi Abaakouk
</pre>
436 116 Mehdi Abaakouk
437 170 Mehdi Abaakouk
h3. Suppression OSD:
438 116 Mehdi Abaakouk
439 116 Mehdi Abaakouk
<pre>
440 116 Mehdi Abaakouk
name="osd.2"
441 116 Mehdi Abaakouk
ceph osd out ${name}
442 116 Mehdi Abaakouk
/etc/init.d/ceph stop ${name}
443 116 Mehdi Abaakouk
ceph osd crush remove ${name}
444 116 Mehdi Abaakouk
ceph auth del ${name}
445 116 Mehdi Abaakouk
ceph osd rm ${name}
446 116 Mehdi Abaakouk
ceph osd tree
447 116 Mehdi Abaakouk
</pre>
448 116 Mehdi Abaakouk
449 116 Mehdi Abaakouk
h2. Configuration des Placements Groups des pools:
450 116 Mehdi Abaakouk
451 142 Mehdi Abaakouk
Par défaut les pools sont créés avec des placements groups à 8 (pg_num=8), 3 replicats, avec un tolérance à 2, si il manque des OSDs" 
452 116 Mehdi Abaakouk
453 116 Mehdi Abaakouk
Mais cette valeur (pg_num) défini le bon fonctionnement de ceph. Dans le cas standard (ie: 1 seul pool) la recette est facile: 
454 116 Mehdi Abaakouk
455 116 Mehdi Abaakouk
<pre>
456 116 Mehdi Abaakouk
               (OSDs * 100)
457 116 Mehdi Abaakouk
Total PGs = (  ------------  )
458 116 Mehdi Abaakouk
              OSD per object
459 116 Mehdi Abaakouk
</pre>
460 116 Mehdi Abaakouk
461 142 Mehdi Abaakouk
On arrondi à la puissance de 2 supérieurs. Mais dans notre cas 3 pools ce n'est pas si simple, les pools auront des cas d'utilisation différent:
462 116 Mehdi Abaakouk
463 116 Mehdi Abaakouk
Ma proposition de configuration:
464 107 Mehdi Abaakouk
* Pool ssds: il a 3 OSDs pour lui tout seul, on applique la recette magique: 3*100/3 ~= 128 pgs
465 1 Mehdi Abaakouk
* Pools images et disks: ils ont 3 OSDs à ce partager donc il faut répartir les 128 pgs. soit 32pgs et 96pgs (PS: il faut au moins 20pgs pour 3 réplicats)
466 69 Mehdi Abaakouk
467 1 Mehdi Abaakouk
Soit:
468 1 Mehdi Abaakouk
<pre>
469 79 Mehdi Abaakouk
ceph osd pool set ssds pg_num 128
470 1 Mehdi Abaakouk
ceph osd pool set images pg_num 32
471 1 Mehdi Abaakouk
ceph osd pool set disks pg_num 96
472 1 Mehdi Abaakouk
473 1 Mehdi Abaakouk
# attendre un peu qu'il y est plus de pg_create dans 'ceph -s'
474 121 Mehdi Abaakouk
ceph osd pool set ssds pgp_num 128  
475 121 Mehdi Abaakouk
ceph osd pool set images pgp_num 32
476 121 Mehdi Abaakouk
ceph osd pool set disks pgp_num 96
477 121 Mehdi Abaakouk
</pre>
478 1 Mehdi Abaakouk
479 107 Mehdi Abaakouk
480 1 Mehdi Abaakouk
481 107 Mehdi Abaakouk
_ref: http://ceph.com/docs/master/rados/operations/placement-groups/_
482 107 Mehdi Abaakouk
483 1 Mehdi Abaakouk
h2. Preparation du Pool SSD pour ceph 
484 107 Mehdi Abaakouk
485 107 Mehdi Abaakouk
Chaque machine se trouve dans 2 hosts, un host SSD et un host HARDDISK (même si en réalité les deux sont sur la même machine physique),
486 107 Mehdi Abaakouk
487 107 Mehdi Abaakouk
Ensuite on créé 2 object root un pour les hosts SSD et un autre pour les host HARDDISK
488 107 Mehdi Abaakouk
489 107 Mehdi Abaakouk
On créé ensuite 2 règles de stockage une qui envoie les objects vers le root SSD et l'autre vers le root HARDDISK
490 107 Mehdi Abaakouk
491 107 Mehdi Abaakouk
Cela permettra d'avoir de définir une règle différente suivant les pools ceph.
492 107 Mehdi Abaakouk
493 107 Mehdi Abaakouk
Niveau Openstack nous avons 3 pools:
494 107 Mehdi Abaakouk
* disks: Ce pool aura les disques de VM et les volumes attaché
495 107 Mehdi Abaakouk
* ssds: Ce pool contiendra les volumes sur ssd
496 107 Mehdi Abaakouk
* images: c'est la que seront stocké les images de VMs (glance).
497 122 Mehdi Abaakouk
498 122 Mehdi Abaakouk
h3. Configuration de la crushmap de ceph:
499 122 Mehdi Abaakouk
500 135 Mehdi Abaakouk
Il faut s'assurer que la crushmap n'est pas en mode automatique (c'est déjà configuré par puppet):
501 122 Mehdi Abaakouk
502 1 Mehdi Abaakouk
<pre>
503 135 Mehdi Abaakouk
[global]
504 135 Mehdi Abaakouk
osd crush update on start = false
505 135 Mehdi Abaakouk
</pre>
506 135 Mehdi Abaakouk
507 135 Mehdi Abaakouk
Création de l'arbre de rangement physique des SSD, l'arbre nommé 'default' sera donc celui des disques durs
508 135 Mehdi Abaakouk
509 135 Mehdi Abaakouk
<pre>
510 122 Mehdi Abaakouk
$ ceph osd crush add-bucket ssd root
511 122 Mehdi Abaakouk
$ ceph osd crush add-bucket g1-ssd host
512 122 Mehdi Abaakouk
$ ceph osd crush add-bucket g2-ssd host
513 122 Mehdi Abaakouk
$ ceph osd crush add-bucket g3-ssd host
514 1 Mehdi Abaakouk
$ ceph osd crush move g1-ssd root=ssd
515 1 Mehdi Abaakouk
$ ceph osd crush move g2-ssd root=ssd
516 1 Mehdi Abaakouk
$ ceph osd crush move g3-ssd root=ssd
517 107 Mehdi Abaakouk
$ ceph osd tree
518 107 Mehdi Abaakouk
# id	weight	type name	up/down	reweight
519 1 Mehdi Abaakouk
-5	0	root ssd
520 118 Mehdi Abaakouk
-6	0		host g1-ssd
521 118 Mehdi Abaakouk
-7	0		host g2-ssd
522 118 Mehdi Abaakouk
-8	0		host g3-ssd
523 118 Mehdi Abaakouk
-1	3	root default
524 117 Mehdi Abaakouk
-2	1		host g1
525 117 Mehdi Abaakouk
0	1			osd.0	up	1	
526 117 Mehdi Abaakouk
3	1			osd.3	up	1	
527 118 Mehdi Abaakouk
-3	1		host g2
528 118 Mehdi Abaakouk
1	1			osd.1	up	1	
529 107 Mehdi Abaakouk
4	1			osd.4	up	1	
530 107 Mehdi Abaakouk
-4	1		host g3
531 122 Mehdi Abaakouk
2	1			osd.2	up	1	
532 122 Mehdi Abaakouk
5	1			osd.5	up	1	
533 122 Mehdi Abaakouk
</pre>
534 122 Mehdi Abaakouk
535 122 Mehdi Abaakouk
536 122 Mehdi Abaakouk
On range les osd qui ont des disques SSD dans ce nouvel arbre.
537 122 Mehdi Abaakouk
538 122 Mehdi Abaakouk
<pre>
539 195 Mehdi Abaakouk
$ ceph osd crush add osd.3 0  root=ssd host=g1-ssd
540 195 Mehdi Abaakouk
$ ceph osd crush add osd.4 0  root=ssd host=g2-ssd
541 195 Mehdi Abaakouk
$ ceph osd crush add osd.5 0  root=ssd host=g3-ssd
542 195 Mehdi Abaakouk
543 122 Mehdi Abaakouk
# Ou si l'osd a déjà éte positionné une fois
544 195 Mehdi Abaakouk
$ ceph osd crush set osd.3 0  root=ssd host=g1-ssd
545 195 Mehdi Abaakouk
$ ceph osd crush set osd.4 0  root=ssd host=g2-ssd
546 195 Mehdi Abaakouk
$ ceph osd crush set osd.5 0  root=ssd host=g3-ssd
547 96 Mehdi Abaakouk
548 108 Mehdi Abaakouk
# Vérifier le résultat
549 107 Mehdi Abaakouk
$ ceph osd tree
550 96 Mehdi Abaakouk
# id	weight	type name	up/down	reweight
551 96 Mehdi Abaakouk
-5	3	root ssd
552 121 Mehdi Abaakouk
-6	1		host g1-ssd
553 96 Mehdi Abaakouk
3	1			osd.3	up	1	
554 107 Mehdi Abaakouk
-7	1		host g2-ssd
555 107 Mehdi Abaakouk
4	1			osd.4	up	1	
556 107 Mehdi Abaakouk
-8	1		host g3-ssd
557 1 Mehdi Abaakouk
5	1			osd.5	up	1	
558 1 Mehdi Abaakouk
-1	3	root default
559 1 Mehdi Abaakouk
-2	1		host g1
560 1 Mehdi Abaakouk
0	1			osd.0	up	1	
561 107 Mehdi Abaakouk
-3	1		host g2
562 107 Mehdi Abaakouk
1	1			osd.1	up	1	
563 107 Mehdi Abaakouk
-4	1		host g3
564 195 Mehdi Abaakouk
2	1			osd.2	up	1
565 195 Mehdi Abaakouk
566 195 Mehdi Abaakouk
Puis recalculer les poids des OSD:
567 195 Mehdi Abaakouk
$ /root/tools/ceph-reweight-osds.sh
568 107 Mehdi Abaakouk
</pre>
569 107 Mehdi Abaakouk
570 107 Mehdi Abaakouk
h3. Definition de la crushmap de ttnn
571 107 Mehdi Abaakouk
572 107 Mehdi Abaakouk
573 107 Mehdi Abaakouk
Une fois la crushmap modifié on créée et applique la règle sur le pool ssds:
574 107 Mehdi Abaakouk
575 107 Mehdi Abaakouk
<pre>
576 107 Mehdi Abaakouk
$ ceph osd crush rule create-simple ssd_replicated_ruleset ssd host firstn
577 107 Mehdi Abaakouk
$ ceph osd crush rule dump
578 107 Mehdi Abaakouk
[
579 107 Mehdi Abaakouk
    { "rule_id": 0,
580 107 Mehdi Abaakouk
      "rule_name": "replicated_ruleset",
581 1 Mehdi Abaakouk
      "ruleset": 0,
582 107 Mehdi Abaakouk
      "type": 1,
583 107 Mehdi Abaakouk
      "min_size": 1,
584 107 Mehdi Abaakouk
      "max_size": 10,
585 107 Mehdi Abaakouk
      "steps": [
586 107 Mehdi Abaakouk
            { "op": "take",
587 107 Mehdi Abaakouk
              "item": -1,
588 1 Mehdi Abaakouk
              "item_name": "default"},
589 121 Mehdi Abaakouk
            { "op": "chooseleaf_firstn",
590 1 Mehdi Abaakouk
              "num": 0,
591 1 Mehdi Abaakouk
              "type": "host"},
592 107 Mehdi Abaakouk
            { "op": "emit"}]},
593 1 Mehdi Abaakouk
    { "rule_id": 1,
594 1 Mehdi Abaakouk
      "rule_name": "ssd_replicated_ruleset",
595 107 Mehdi Abaakouk
      "ruleset": 1,
596 1 Mehdi Abaakouk
      "type": 1,
597 1 Mehdi Abaakouk
      "min_size": 1,
598 1 Mehdi Abaakouk
      "max_size": 10,
599 113 Mehdi Abaakouk
      "steps": [
600 114 Mehdi Abaakouk
            { "op": "take",
601 1 Mehdi Abaakouk
              "item": -5,
602 114 Mehdi Abaakouk
              "item_name": "ssd"},
603 113 Mehdi Abaakouk
            { "op": "chooseleaf_firstn",
604 113 Mehdi Abaakouk
              "num": 0,
605 113 Mehdi Abaakouk
              "type": "host"},
606 113 Mehdi Abaakouk
            { "op": "emit"}]}]
607 113 Mehdi Abaakouk
608 113 Mehdi Abaakouk
$ ceph osd pool set ssds crush_ruleset 1
609 113 Mehdi Abaakouk
</pre>
610 1 Mehdi Abaakouk
611 114 Mehdi Abaakouk
Il faut ensuite attendre que ceph redistribue les data comme on lui a demandé, on peut suivre l'avancement avec :
612 114 Mehdi Abaakouk
613 114 Mehdi Abaakouk
<pre>
614 114 Mehdi Abaakouk
ceph -s
615 114 Mehdi Abaakouk
</pre>
616 115 Mehdi Abaakouk
617 232 Laurent GUERBY
h2. Pool ceph replicated
618 232 Laurent GUERBY
619 233 Laurent GUERBY
Creation via ceph :
620 233 Laurent GUERBY
621 233 Laurent GUERBY
<pre>
622 233 Laurent GUERBY
ceph osd pool create r2 12 12 replicated
623 233 Laurent GUERBY
ceph osd pool set r2 size 2
624 233 Laurent GUERBY
ceph osd pool set r2 min_size 1
625 233 Laurent GUERBY
</pre>
626 233 Laurent GUERBY
627 233 Laurent GUERBY
628 233 Laurent GUERBY
Puis ajout des pools via puppet
629 232 Laurent GUERBY
https://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster/revisions/master/entry/manifests/nodes/openstack.pp#L21
630 232 Laurent GUERBY
<pre>
631 232 Laurent GUERBY
$os_cinder_ceph_pools = ...
632 232 Laurent GUERBY
"ceph-r2" => "r2",
633 232 Laurent GUERBY
...
634 232 Laurent GUERBY
</pre>
635 1 Mehdi Abaakouk
636 233 Laurent GUERBY
Sur openstack ou attendre le cron ou "puppet agent -vt"
637 233 Laurent GUERBY
638 233 Laurent GUERBY
Puis :
639 233 Laurent GUERBY
640 232 Laurent GUERBY
<pre>
641 233 Laurent GUERBY
cinder create --volume-type ceph-r2 --display-name utopialab.tetaneutral.net-disk-2 4096
642 233 Laurent GUERBY
nova volume-attach utopialab.tetaneutral.net xxxVolumeIDxxx
643 214 Laurent GUERBY
</pre>
644 214 Laurent GUERBY
645 219 Laurent GUERBY
h2. Pool ceph erasure coding
646 214 Laurent GUERBY
647 215 Laurent GUERBY
h3. Creation erasure coded pool
648 215 Laurent GUERBY
649 218 Laurent GUERBY
En pratique on a 5 machines avec chacune au moins un rotationnel (le plus petit = 2 TB sur g3), on va creer un 4+1 qui devrait permettre le fonctionnement continu malgré la perte d'une machine :
650 218 Laurent GUERBY
651 215 Laurent GUERBY
Ajout des deux pools via puppet
652 218 Laurent GUERBY
https://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster/revisions/master/entry/manifests/nodes/openstack.pp#L21
653 218 Laurent GUERBY
<pre>
654 218 Laurent GUERBY
$os_cinder_ceph_pools = ...
655 218 Laurent GUERBY
"ceph-ec4p1" => "ec4p1",
656 1 Mehdi Abaakouk
...
657 229 Laurent GUERBY
</pre>
658 229 Laurent GUERBY
659 1 Mehdi Abaakouk
Apres sur la VM openstack
660 229 Laurent GUERBY
661 229 Laurent GUERBY
<pre>
662 229 Laurent GUERBY
puppet agent -vt
663 229 Laurent GUERBY
cinder type-list
664 229 Laurent GUERBY
# verifier que ceph-ec4p1 est bien present
665 229 Laurent GUERBY
</pre>
666 218 Laurent GUERBY
667 227 Laurent GUERBY
<pre>
668 227 Laurent GUERBY
# pool erasure code
669 215 Laurent GUERBY
ceph osd erasure-code-profile set ec4p1profile k=4 m=1 ruleset-failure-domain=host
670 215 Laurent GUERBY
# Note: ruleset-failure-domain cannot be changed after creation, host will choose only one disk per host, other option is osd whith no such constraint
671 223 Laurent GUERBY
ceph osd pool create ec4p1 12 12 erasure ec4p1profile
672 1 Mehdi Abaakouk
673 1 Mehdi Abaakouk
# cache avec ec4p1c pool "normal" car le pool erasure code n'implémente pas les write partiels.
674 229 Laurent GUERBY
ceph osd pool create ec4p1c 12 12 replicated
675 229 Laurent GUERBY
676 229 Laurent GUERBY
# mise en place du cache tier writeback overlay
677 229 Laurent GUERBY
ceph osd tier add ec4p1 ec4p1c
678 229 Laurent GUERBY
ceph osd tier cache-mode ec4p1c writeback
679 1 Mehdi Abaakouk
ceph osd tier set-overlay ec4p1 ec4p1c
680 223 Laurent GUERBY
681 222 Mehdi Abaakouk
# tuning du pool cache
682 1 Mehdi Abaakouk
ceph osd pool set ec4p1c size 3 
683 1 Mehdi Abaakouk
ceph osd pool set ec4p1c min_size 2
684 1 Mehdi Abaakouk
ceph osd pool set ec4p1c cache_target_dirty_ratio 0.4 # begin flushing modified (dirty) objects when they reach 40% of the cache pool’s capacity
685 225 Laurent GUERBY
ceph osd pool set ec4p1c cache_target_full_ratio 0.8 # begin flushing unmodified (clean) objects when they reach 80% of the cache pool’s capacity
686 225 Laurent GUERBY
ceph osd pool set ec4p1c target_max_bytes 1000000000 # to flush or evict at 1 GB = 1e9 bytes
687 225 Laurent GUERBY
ceph osd pool set ec4p1c target_max_objects 1000000000 # ?
688 225 Laurent GUERBY
ceph osd pool set ec4p1c hit_set_type bloom
689 225 Laurent GUERBY
ceph osd pool set ec4p1c hit_set_count 1
690 225 Laurent GUERBY
ceph osd pool set ec4p1c hit_set_period 3600
691 225 Laurent GUERBY
692 225 Laurent GUERBY
# creation et attach d'un disque sur une VM
693 1 Mehdi Abaakouk
cinder create --volume-type ceph-ec4p1 --display-name apt.tetaneutral.net-disk-1 1024
694 1 Mehdi Abaakouk
nova volume-attach apt.tetaneutral.net 4663c1c1-e5e9-4684-9e55-bb2d9cc18ac8
695 1 Mehdi Abaakouk
</pre>
696 1 Mehdi Abaakouk
697 1 Mehdi Abaakouk
Exemple de creation de ec3p1 avec cache 500G ec3p1c
698 1 Mehdi Abaakouk
699 228 Laurent GUERBY
<pre>
700 228 Laurent GUERBY
ceph osd erasure-code-profile set ec3p1profile k=3 m=1 ruleset-failure-domain=host
701 229 Laurent GUERBY
ceph osd pool create ec3p1 12 12 erasure ec3p1profile
702 229 Laurent GUERBY
703 229 Laurent GUERBY
ceph osd tier add ec3p1 ec3p1c
704 229 Laurent GUERBY
ceph osd tier cache-mode ec3p1c writeback
705 228 Laurent GUERBY
ceph osd tier set-overlay ec3p1 ec3p1c
706 228 Laurent GUERBY
707 228 Laurent GUERBY
ceph osd pool create ec3p1c 12 12 replicated
708 228 Laurent GUERBY
ceph osd pool set ec3p1c size 3 
709 228 Laurent GUERBY
ceph osd pool set ec3p1c min_size 2
710 228 Laurent GUERBY
ceph osd pool set ec3p1c cache_target_dirty_ratio 0.4 
711 228 Laurent GUERBY
ceph osd pool set ec3p1c cache_target_full_ratio 0.8 
712 228 Laurent GUERBY
ceph osd pool set ec3p1c target_max_bytes 500000000000 
713 228 Laurent GUERBY
ceph osd pool set ec3p1c target_max_objects 500000000000 
714 228 Laurent GUERBY
ceph osd pool set ec3p1c hit_set_type bloom
715 228 Laurent GUERBY
ceph osd pool set ec3p1c hit_set_count 1
716 228 Laurent GUERBY
ceph osd pool set ec3p1c hit_set_period 3600
717 230 Laurent GUERBY
718 231 Laurent GUERBY
cinder create --volume-type ceph-ec3p1 --display-name utopialab.tetaneutral.net-disk-1 8192
719 228 Laurent GUERBY
nova volume-attach utopialab.tetaneutral.net xxxVolumeIDxxx
720 219 Laurent GUERBY
</pre>
721 219 Laurent GUERBY
722 1 Mehdi Abaakouk
h3. Erasure URL
723 1 Mehdi Abaakouk
724 1 Mehdi Abaakouk
http://www.spinics.net/lists/ceph-devel/msg20920.html
725 1 Mehdi Abaakouk
http://ceph.com/docs/master/rados/operations/cache-tiering/
726 1 Mehdi Abaakouk
727 1 Mehdi Abaakouk
An erasure encoded pool cannot be accessed directly using rbd. For this
728 219 Laurent GUERBY
reason we need a cache pool and an erasure pool. This not only allows
729 219 Laurent GUERBY
supporting rbd but increases performance.
730 219 Laurent GUERBY
731 219 Laurent GUERBY
http://ceph.com/docs/master/dev/erasure-coded-pool/#interface
732 219 Laurent GUERBY
733 219 Laurent GUERBY
Creation "ecpool" "ecruleset" "myprofile"
734 219 Laurent GUERBY
735 219 Laurent GUERBY
<pre>
736 219 Laurent GUERBY
ceph osd pool create ecpool 12 12 erasure
737 219 Laurent GUERBY
ceph osd crush rule create-erasure ecruleset
738 219 Laurent GUERBY
ceph osd pool create ecpool 12 12 erasure default ecruleset
739 219 Laurent GUERBY
ceph osd erasure-code-profile set myprofile ruleset-failure-domain=osd
740 219 Laurent GUERBY
ceph osd erasure-code-profile get myprofile
741 219 Laurent GUERBY
ceph osd pool create ecpool 12 12 erasure myprofile
742 219 Laurent GUERBY
ceph osd erasure-code-profile set myprofile k=3 m=1
743 219 Laurent GUERBY
ceph osd erasure-code-profile get myprofile
744 219 Laurent GUERBY
ceph osd pool create ecpool 12 12 erasure myprofile
745 219 Laurent GUERBY
746 219 Laurent GUERBY
ceph osd erasure-code-profile ls
747 219 Laurent GUERBY
ceph osd erasure-code-profile get default
748 219 Laurent GUERBY
ceph osd erasure-code-profile rm myprofile
749 217 Laurent GUERBY
ceph osd erasure-code-profile set myprofile ruleset-root=ssd
750 205 Mehdi Abaakouk
</pre>
751 167 Mehdi Abaakouk
752 234 Laurent GUERBY
h3. Remove erasure coded pool
753 234 Laurent GUERBY
754 234 Laurent GUERBY
<pre>
755 234 Laurent GUERBY
root@g1:~# ceph osd tier remove-overlay ec3p1c
756 234 Laurent GUERBY
there is now (or already was) no overlay for 'ec3p1c'
757 234 Laurent GUERBY
root@g1:~# ceph osd tier remove-overlay ec3p1
758 234 Laurent GUERBY
there is now (or already was) no overlay for 'ec3p1'
759 234 Laurent GUERBY
root@g1:~# ceph osd tier remove ec3p1 ec3p1c
760 234 Laurent GUERBY
pool 'ec3p1c' is now (or already was) not a tier of 'ec3p1'
761 234 Laurent GUERBY
root@g1:~# ceph osd pool delete ec3p1c ec3p1c --yes-i-really-really-mean-it
762 234 Laurent GUERBY
pool 'ec3p1c' removed
763 234 Laurent GUERBY
root@g1:~# ceph osd pool delete ec3p1 ec3p1 --yes-i-really-really-mean-it
764 234 Laurent GUERBY
pool 'ec3p1' removed
765 234 Laurent GUERBY
</pre>
766 234 Laurent GUERBY
767 167 Mehdi Abaakouk
h2. Activer le cache-tiering  /!\/!\ Plus utilisé pas encore assez stable /!\/!\ 
768 167 Mehdi Abaakouk
769 210 Mehdi Abaakouk
http://ceph.com/docs/master/rados/operations/cache-tiering/
770 210 Mehdi Abaakouk
771 167 Mehdi Abaakouk
h3. Preparation
772 167 Mehdi Abaakouk
773 175 Mehdi Abaakouk
<pre>
774 175 Mehdi Abaakouk
ceph mkpool ssd-cache
775 175 Mehdi Abaakouk
ceph osd pool set ssd-cache pg_num 128
776 167 Mehdi Abaakouk
ceph osd pool set ssd-cache pgp_num 128
777 167 Mehdi Abaakouk
ceph osd pool set ssds crush_ruleset 1
778 167 Mehdi Abaakouk
ceph osd tier add disks ssd-cache
779 173 Mehdi Abaakouk
ceph osd tier cache-mode ssd-cache writeback
780 221 Mehdi Abaakouk
ceph osd tier set-overlay disks ssd-cache
781 1 Mehdi Abaakouk
ceph osd pool set ssd-cache target_max_bytes $[15 * 1024 * 1024 * 1024]
782 173 Mehdi Abaakouk
ceph osd pool set ssd-cache target_max_objects 3000000
783 173 Mehdi Abaakouk
784 173 Mehdi Abaakouk
# http://lists.ceph.com/pipermail/ceph-users-ceph.com/2014-August/042174.html
785 173 Mehdi Abaakouk
ceph osd pool set ssd-cache cache_target_dirty_ratio 0.4
786 176 Mehdi Abaakouk
ceph osd pool set ssd-cache cache_target_full_ratio 0.8
787 173 Mehdi Abaakouk
ceph osd pool set ssd-cache hit_set_type bloom
788 174 Mehdi Abaakouk
ceph osd pool set ssd-cache hit_set_count 1
789 174 Mehdi Abaakouk
ceph osd pool set ssd-cache hit_set_period 3600
790 210 Mehdi Abaakouk
791 210 Mehdi Abaakouk
ceph osd dump -f json-pretty | grep ssd-cache -A40 -B1
792 210 Mehdi Abaakouk
</pre>
793 210 Mehdi Abaakouk
794 210 Mehdi Abaakouk
h3. Gestion du cache
795 210 Mehdi Abaakouk
796 210 Mehdi Abaakouk
http://lists.ceph.com/pipermail/ceph-users-ceph.com/2014-August/042018.html
797 210 Mehdi Abaakouk
798 210 Mehdi Abaakouk
<pre>
799 210 Mehdi Abaakouk
rados -p ssd-cache cache-flush-evict-all
800 173 Mehdi Abaakouk
# puis control-c
801 167 Mehdi Abaakouk
ceph df|grep ssd-cache
802 179 Laurent GUERBY
</pre>
803 179 Laurent GUERBY
804 179 Laurent GUERBY
h2. Optimisations
805 179 Laurent GUERBY
806 179 Laurent GUERBY
via Loic :
807 200 Loic Dachary
http://ceph.com/docs/giant/rados/configuration/osd-config-ref/
808 200 Loic Dachary
dans /etc/ceph/ceph.conf
809 179 Laurent GUERBY
osd-disk-thread-ioprio-class = idle
810 179 Laurent GUERBY
osd-disk-thread-ioprio-priority = 7   
811 154 Laurent GUERBY
de façon hebdomadaire ceph va examiner l'etat des objets (scrub) et faire plein d'IO pour ça. Ce parametre dit que ces IO passent en dernier. Ca n'affecte pas les IO normales faites via rbd.
812 154 Laurent GUERBY
813 154 Laurent GUERBY
h2. Migration IP ceph
814 154 Laurent GUERBY
815 1 Mehdi Abaakouk
Au besoin pour passer cluster de test a dev
816 184 Mehdi Abaakouk
* http://ceph.com/docs/master/rados/operations/add-or-rm-mons/#changing-a-monitor-s-ip-address-the-messy-way
817 184 Mehdi Abaakouk
* http://ceph.com/docs/master/rados/operations/add-or-rm-mons/#changing-a-monitor-s-ip-address-the-right-way
818 184 Mehdi Abaakouk
819 237 Laurent GUERBY
h2. Configuration des Policies
820 184 Mehdi Abaakouk
821 196 Mehdi Abaakouk
Les rules modifiées /etc/{nova,cinder,neutron,glance}/policy.json sont ici:
822 1 Mehdi Abaakouk
823 1 Mehdi Abaakouk
http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/openstack-tools/revisions/master/show/policy