Project

General

Profile

Openstack Installation TTNN » History » Version 247

Mehdi Abaakouk, 11/04/2015 12:14 PM

1 43 Laurent GUERBY
{{>toc}}
2 43 Laurent GUERBY
3 159 Laurent GUERBY
h1. Openstack Installation tetaneutral.net
4 1 Mehdi Abaakouk
5 236 Mehdi Abaakouk
h2. A FIXER
6 236 Mehdi Abaakouk
7 236 Mehdi Abaakouk
Le virsh secret-set-value bla bla, n'est pas fait par libvirt
8 236 Mehdi Abaakouk
9 236 Mehdi Abaakouk
10 44 Laurent GUERBY
h2. Liens
11 44 Laurent GUERBY
12 204 Mehdi Abaakouk
* [[Openstack Management TTNN]]
13 204 Mehdi Abaakouk
* [[Openstack Setup VM pas dans openstack]]
14 242 Mehdi Abaakouk
* [[Openstack Installation nouvelle node du cluster]]
15 44 Laurent GUERBY
* http://ceph.com/docs/master/rados/operations/cache-tiering/
16 44 Laurent GUERBY
* http://ceph.com/docs/master/rados/operations/crush-map/
17 44 Laurent GUERBY
18 3 Mehdi Abaakouk
h2. Pending upstream fixes:
19 3 Mehdi Abaakouk
20 143 Mehdi Abaakouk
La liste à jour est ici: 
21 143 Mehdi Abaakouk
http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster/revisions/master/entry/manifests/nodes/openstack.pp#L27
22 1 Mehdi Abaakouk
23 4 Mehdi Abaakouk
h2. Installation
24 4 Mehdi Abaakouk
25 213 Laurent GUERBY
L'installation initiale est composée de :
26 4 Mehdi Abaakouk
27 4 Mehdi Abaakouk
* 3 hyperviseurs (compute node) qui contiendront 1 ceph-mon, N ceph-osd, nova-compute (qui lance les VM), neutron-openvswitch-agent (qui configure le réseau des vms)
28 4 Mehdi Abaakouk
* 1 VM (controler node), qui contient tous les services de management d'openstack (nova, cinder, glance, neutron)
29 4 Mehdi Abaakouk
30 4 Mehdi Abaakouk
Les étapes d'installation sont les suivantes:
31 4 Mehdi Abaakouk
* Préparation manuelle de la VM de management sur un des hyperviseurs
32 4 Mehdi Abaakouk
* Installation de ceph et openstack sur toutes les machines avec puppet
33 4 Mehdi Abaakouk
* Déplacement de la VM de management d'openstack dans openstack.
34 4 Mehdi Abaakouk
35 33 Mehdi Abaakouk
h3. Information sur le puppet master:
36 33 Mehdi Abaakouk
37 213 Laurent GUERBY
La configuration et les modules puppet utilisés par tetaneutral.net se trouvent la:
38 33 Mehdi Abaakouk
39 33 Mehdi Abaakouk
> http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster
40 33 Mehdi Abaakouk
> http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster/revisions/master/entry/manifests/nodes/openstack.pp
41 33 Mehdi Abaakouk
42 213 Laurent GUERBY
Seulement les 3 classes suivantes sont spécifique à http://tetaneutral.net, le reste est réutilisable à condition de changer les ip, hostname, uuid et password :
43 33 Mehdi Abaakouk
44 36 Mehdi Abaakouk
> class { 'ttnn::server': }
45 36 Mehdi Abaakouk
> class { 'backup::client': }
46 36 Mehdi Abaakouk
> class { 'sexymotd': }
47 33 Mehdi Abaakouk
48 213 Laurent GUERBY
Les modules qui sont nécessaire pour openstack pour le reste du fichier sont :
49 33 Mehdi Abaakouk
50 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-apache.git 
51 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-apt 
52 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-ceph.git 
53 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-cinder.git 
54 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-concat.git 
55 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-glance.git 
56 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-horizon.git 
57 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-inifile.git 
58 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-keystone.git 
59 33 Mehdi Abaakouk
> https://github.com/camptocamp/puppet-kmod.git 
60 33 Mehdi Abaakouk
> https://github.com/saz/puppet-memcached.git 
61 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-mysql.git 
62 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-neutron.git 
63 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-nova.git 
64 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-rabbitmq.git 
65 33 Mehdi Abaakouk
> https://github.com/nanliu/puppet-staging.git 
66 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-stdlib.git 
67 33 Mehdi Abaakouk
> https://github.com/duritong/puppet-sysctl.git 
68 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-vcsrepo.git 
69 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-vswitch.git 
70 36 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-xinetd.git
71 33 Mehdi Abaakouk
72 33 Mehdi Abaakouk
h3. Préparation réseaux des hosts:
73 29 Mehdi Abaakouk
74 1 Mehdi Abaakouk
75 126 Mehdi Abaakouk
Preparation des bridges openvswitch:
76 126 Mehdi Abaakouk
77 1 Mehdi Abaakouk
<pre>
78 130 Mehdi Abaakouk
$ apt-get install openvswitch-switch 
79 126 Mehdi Abaakouk
$ modprobe vhost-net
80 126 Mehdi Abaakouk
$ modprobe tun
81 126 Mehdi Abaakouk
$ modprobe loop
82 148 Mehdi Abaakouk
83 148 Mehdi Abaakouk
# On créé un switch br-eth0
84 151 Mehdi Abaakouk
ovs-vsctl add-br br-eth0
85 148 Mehdi Abaakouk
# On rajoute une petite bricole pour openstack 
86 151 Mehdi Abaakouk
ovs-vsctl br-set-external-id br-eth0 bridge-id br-eth0
87 148 Mehdi Abaakouk
# On ajoute le port eth0 dans le switch
88 151 Mehdi Abaakouk
ovs-vsctl add-port br-eth0 eth0  # Si aucun trunk vlan n'est spécifié, c'est un trunk avec tous les vlans 
89 148 Mehdi Abaakouk
90 148 Mehdi Abaakouk
# On créé des interfaces réseau utilisable sur la machine avec des vlans:
91 155 Mehdi Abaakouk
ovs-vsctl add-br vlan3132 br-eth0 3132
92 151 Mehdi Abaakouk
ovs-vsctl add-br vlan3175 br-eth0 3175
93 151 Mehdi Abaakouk
ovs-vsctl add-br vlan3199 br-eth0 3199
94 148 Mehdi Abaakouk
95 150 Mehdi Abaakouk
# On s'assure que eth0 sera toujours up
96 151 Mehdi Abaakouk
ovs-ofctl mod-port br-eth0 eth0 up
97 150 Mehdi Abaakouk
98 126 Mehdi Abaakouk
</pre>
99 1 Mehdi Abaakouk
100 126 Mehdi Abaakouk
_note: Les bridges openvswitch sont mémorisés et recréés automatiquement par le service openvswitch-switch_
101 126 Mehdi Abaakouk
102 133 Mehdi Abaakouk
On install le fichier attachment:rc.local dans /etc/
103 1 Mehdi Abaakouk
104 1 Mehdi Abaakouk
On re-charge le fichier attachment:rc.local
105 133 Mehdi Abaakouk
106 133 Mehdi Abaakouk
<pre>
107 126 Mehdi Abaakouk
bash -x /etc/rc.local
108 1 Mehdi Abaakouk
</pre>
109 126 Mehdi Abaakouk
110 126 Mehdi Abaakouk
111 126 Mehdi Abaakouk
Sur h7.tetaneutral.net le routage est le suivant
112 73 Mehdi Abaakouk
113 73 Mehdi Abaakouk
<pre>
114 155 Mehdi Abaakouk
ip route add 89.234.156.249/32 dev eth0.3132
115 155 Mehdi Abaakouk
ip route add 89.234.156.251/32 dev eth0.3132
116 155 Mehdi Abaakouk
ip route add 89.234.156.252/32 dev eth0.3132
117 155 Mehdi Abaakouk
ip route add 89.234.156.253/32 dev eth0.3132
118 155 Mehdi Abaakouk
ip route add 2a01:6600:8083:f900::/56 dev eth0.3132
119 155 Mehdi Abaakouk
ip route add 2a01:6600:8083:fb00::/56 dev eth0.3132
120 155 Mehdi Abaakouk
ip route add 2a01:6600:8083:fc00::/56 dev eth0.3132
121 155 Mehdi Abaakouk
ip route add 2a01:6600:8083:fd00::/56 dev eth0.3132
122 16 Mehdi Abaakouk
</pre>
123 1 Mehdi Abaakouk
124 20 Mehdi Abaakouk
h3. Preparation de la VM de management, le controlleur
125 6 Mehdi Abaakouk
126 6 Mehdi Abaakouk
h4. Installation des prérequis
127 6 Mehdi Abaakouk
128 1 Mehdi Abaakouk
<pre>
129 129 Mehdi Abaakouk
$ apt-get install libvirt-bin openstack-debian-images virtinst
130 131 Mehdi Abaakouk
#NOTE(sileht): temporairement récupérer la dernière version:
131 131 Mehdi Abaakouk
$ curl -# http://anonscm.debian.org/cgit/openstack/openstack-debian-images.git/plain/build-openstack-debian-image > /usr/sbin/build-openstack-debian-image
132 20 Mehdi Abaakouk
</pre>
133 1 Mehdi Abaakouk
134 1 Mehdi Abaakouk
h4. Preparation de l'image de la VM
135 92 Mehdi Abaakouk
136 20 Mehdi Abaakouk
<pre>
137 20 Mehdi Abaakouk
$ vim hook.sh
138 1 Mehdi Abaakouk
set -xv
139 20 Mehdi Abaakouk
140 92 Mehdi Abaakouk
echo "openstack" > $BODI_CHROOT_PATH/etc/hostname
141 40 Mehdi Abaakouk
142 46 Mehdi Abaakouk
cat > $BODI_CHROOT_PATH/etc/resolv.conf <<EOF
143 46 Mehdi Abaakouk
domain tetaneutral.net
144 46 Mehdi Abaakouk
search tetaneutral.net
145 1 Mehdi Abaakouk
nameserver 8.8.8.8
146 46 Mehdi Abaakouk
EOF
147 46 Mehdi Abaakouk
148 92 Mehdi Abaakouk
cat > $BODI_CHROOT_PATH/etc/network/interfaces <<EOF
149 6 Mehdi Abaakouk
auto lo
150 20 Mehdi Abaakouk
iface lo inet loopback
151 1 Mehdi Abaakouk
auto eth0
152 6 Mehdi Abaakouk
iface eth0 inet manual
153 4 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth0.accept_ra=0
154 1 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth0.autoconf=0
155 4 Mehdi Abaakouk
  up ip link set eth0 up
156 10 Mehdi Abaakouk
  up ip addr add 89.234.156.249/32 dev eth0
157 152 Mehdi Abaakouk
  up ip route add 91.224.149.0/24 dev eth0
158 152 Mehdi Abaakouk
  up ip route add default via 91.224.149.254
159 20 Mehdi Abaakouk
160 1 Mehdi Abaakouk
iface eth0 inet6 static
161 7 Mehdi Abaakouk
    pre-up /sbin/sysctl -w net.ipv6.conf.eth0.accept_ra=0
162 4 Mehdi Abaakouk
    pre-up /sbin/sysctl -w net.ipv6.conf.eth0.autoconf=0
163 21 Mehdi Abaakouk
    address 2a01:6600:8083:f900::1
164 12 Mehdi Abaakouk
    netmask 56
165 4 Mehdi Abaakouk
    gateway fe80::31
166 4 Mehdi Abaakouk
167 4 Mehdi Abaakouk
auto eth1
168 5 Mehdi Abaakouk
iface eth1 inet static
169 13 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth1.accept_ra=0
170 18 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth1.autoconf=0
171 18 Mehdi Abaakouk
  address 192.168.3.100
172 18 Mehdi Abaakouk
  netmask 255.255.255.0
173 18 Mehdi Abaakouk
EOF
174 18 Mehdi Abaakouk
175 18 Mehdi Abaakouk
mkdir -p $BODI_CHROOT_PATH/root/.ssh
176 59 Mehdi Abaakouk
chmod 600 $BODI_CHROOT_PATH/root/.ssh
177 59 Mehdi Abaakouk
cat >> $BODI_CHROOT_PATH/root/.ssh/authorized_keys <<EOF
178 11 Mehdi Abaakouk
ssh-dss AAAAB3NzaC1kc3MAAACBAJtnGLvuz4uVD6fnERDxDi/C0UyzwCiKmgNtEessopREYasAX4Gu6Fg10jAyIL5Nuc7YDnqj//pOfxNjD7hp99a2ZmkRQgh/ltClxYML9fqhBHgsUCpVse9nOYDHDnDgvXIPRSDUHat2UFpdchHVrFURNLIlZnBztsr+GCDURTV/AAAAFQD9SrBcH49ltaKOm6V5ssCPmgs1SwAAAIAbAvkQ3/tMzzdACO5B9s5Yb3ZuM7XImm0iqufivVf2Xy39g8HOBulUsN7eKEGPhVriqNolgIO7q7tVgYAff4/NE4yDP0Kp0SPg4tjt2yFJuL31Y3wzwHjnKrjgNlDSLl3uZnRXSipwUMwGKbdHB6NZSqlq192VKbHilQ00pbiMlAAAAIB5dfB1lVHkJ0o5CcaVQRPbca9DvbbRwnoTSmKHc5DUcqsPqDhS07CkM9ZcJuY1Nh4wGl4Q9kArj7Tnsvvygf/HReSUcIk4+nbDytJ8/pca/Qx4fzQQyppa94TylN62LSFT6MIJKLoMwYa0dQURT7Mv5+9Qj2vk5pZ38w2iQ9zVCg== root@h1
179 4 Mehdi Abaakouk
EOF
180 4 Mehdi Abaakouk
181 6 Mehdi Abaakouk
sed -i -e 's/^.*Port.*$/Port 2222/' -e 's/^[# ]*PasswordAuthentication.*$/PasswordAuthentication no/' $BODI_CHROOT_PATH/etc/ssh/sshd_config
182 4 Mehdi Abaakouk
chroot $BODI_CHROOT_PATH dpkg-reconfigure openssh-server
183 4 Mehdi Abaakouk
chroot $BODI_CHROOT_PATH apt-get purge -y cloud-init*
184 8 Mehdi Abaakouk
</pre>
185 1 Mehdi Abaakouk
186 90 Mehdi Abaakouk
<pre>
187 90 Mehdi Abaakouk
$ chmod +x hook.sh
188 156 Mehdi Abaakouk
$ build-openstack-debian-image --image-size 20  --release jessie -u http://apt.tetaneutral.net/debian/ -s http://apt.tetaneutral.net/debian/ --hook-script $(pwd)/hook.sh -e acpi-support
189 90 Mehdi Abaakouk
$ mv debian-jessie-7.0.0-3-amd64.raw /openstack.raw 
190 90 Mehdi Abaakouk
$ rm debian-jessie-7.0.0-3-amd64.qcow2
191 90 Mehdi Abaakouk
</pre>
192 90 Mehdi Abaakouk
193 90 Mehdi Abaakouk
_note: la derniere commande lancée par le script doit être 'qemu-img convert -c -f raw .... , sinon l'image de bootera pas_
194 90 Mehdi Abaakouk
_note(jessie): si l'erreur est celle ci-dessous, relancer manuellement 'kpartx -d debian-jessie-7.0.0-3-amd64.raw' jusqu'a ce que l'erreur disparaissent et le .raw est utilisable:_
195 90 Mehdi Abaakouk
<pre>
196 6 Mehdi Abaakouk
+ 'kpartx -d debian-jessie-7.0.0-3-amd64.raw'
197 1 Mehdi Abaakouk
device-mapper: remove ioctl on loop0p1 failed: Device or resource busy
198 1 Mehdi Abaakouk
loop deleted : /dev/loop0
199 4 Mehdi Abaakouk
</pre>
200 93 Mehdi Abaakouk
_note: si parted freeze -> lancer /etc/init.d/udev restart_
201 19 Mehdi Abaakouk
202 128 Mehdi Abaakouk
203 128 Mehdi Abaakouk
On garde l'image raw qui sera importable dans ceph plus tard et on la mets à la racine pour qui l'utilisateur libvirt puisse y accéder.
204 19 Mehdi Abaakouk
205 24 Mehdi Abaakouk
h4. Installation de la VM
206 19 Mehdi Abaakouk
207 1 Mehdi Abaakouk
<pre>
208 1 Mehdi Abaakouk
$
209 153 Mehdi Abaakouk
$ virt-install --name openstack --ram 2048 --network bridge=br-eth0,model=virtio --network bridge=br-eth0,model=virtio --network bridge=br-eth0,model=virtio --nographics --serial pty --wait -1 --noreboot --autostart --disk /openstack.raw,bus=virtio,cache=none,io=native --import
210 153 Mehdi Abaakouk
211 153 Mehdi Abaakouk
$ virsh edit openstack
212 153 Mehdi Abaakouk
 
213 153 Mehdi Abaakouk
# Pour chaque bridge ajouter, le vlan et openvswitch comme ceci:
214 157 Mehdi Abaakouk
#    <vlan><tag id='3132'/></vlan><virtualport type='openvswitch'/>
215 153 Mehdi Abaakouk
216 144 Mehdi Abaakouk
$ virsh  start openstack
217 1 Mehdi Abaakouk
$ ssh root@89.234.156.249 -p 2222
218 19 Mehdi Abaakouk
</pre>
219 19 Mehdi Abaakouk
220 24 Mehdi Abaakouk
Une fois connecté à la VM:
221 26 Mehdi Abaakouk
222 26 Mehdi Abaakouk
<pre>
223 4 Mehdi Abaakouk
$ apt-get install puppet
224 26 Mehdi Abaakouk
$ puppet agent --enable
225 32 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
226 26 Mehdi Abaakouk
Info: Caching certificate for ca
227 34 Mehdi Abaakouk
Info: csr_attributes file loading from /etc/puppet/csr_attributes.yaml
228 34 Mehdi Abaakouk
Info: Creating a new SSL certificate request for openstack.tetaneutral.net
229 35 Mehdi Abaakouk
Info: Certificate Request fingerprint (SHA256): AE:72:47:40:A0:E2:F4:59:BA:39:FA:3D:C2:A7:C9:1B:9F:87:A5:B7:65:3A:F9:D4:DE:AF:E2:A3:02:41:0F:2E
230 94 Mehdi Abaakouk
Info: Caching certificate for ca
231 35 Mehdi Abaakouk
Exiting; no certificate found and waitforcert is disabled
232 35 Mehdi Abaakouk
</pre>
233 35 Mehdi Abaakouk
234 35 Mehdi Abaakouk
Sur le puppetmaster:
235 35 Mehdi Abaakouk
236 35 Mehdi Abaakouk
<pre>
237 35 Mehdi Abaakouk
$ puppet ca sign openstack.tetaneutral.net 
238 35 Mehdi Abaakouk
</pre>
239 35 Mehdi Abaakouk
_note: si un vieux cert existe: puppet ca revoke openstack.tetaneutral.net ; puppet cert clean openstack.tetaneutral.net; puppet node clean openstack.tetaneutral.net_
240 35 Mehdi Abaakouk
241 35 Mehdi Abaakouk
De nouveau sur la VM:
242 35 Mehdi Abaakouk
243 35 Mehdi Abaakouk
<pre>
244 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
245 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
246 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
247 35 Mehdi Abaakouk
</pre>
248 64 Mehdi Abaakouk
249 35 Mehdi Abaakouk
Il ne doit plus y avoir d'erreur la 3°/4° fois.
250 35 Mehdi Abaakouk
251 35 Mehdi Abaakouk
h3. Configuration des hyperviseurs
252 35 Mehdi Abaakouk
253 35 Mehdi Abaakouk
Une fois la configuration réseau faite, tout ce fait avec puppet:
254 35 Mehdi Abaakouk
255 35 Mehdi Abaakouk
<pre>
256 35 Mehdi Abaakouk
$ apt-get install puppet
257 35 Mehdi Abaakouk
$ puppet agent --enable
258 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
259 35 Mehdi Abaakouk
Info: Caching certificate for ca
260 35 Mehdi Abaakouk
Info: csr_attributes file loading from /etc/puppet/csr_attributes.yaml
261 35 Mehdi Abaakouk
Info: Creating a new SSL certificate request for openstack.tetaneutral.net
262 35 Mehdi Abaakouk
Info: Certificate Request fingerprint (SHA256): AE:72:47:40:A0:E2:F4:59:BA:39:FA:3D:C2:A7:C9:1B:9F:87:A5:B7:65:3A:F9:D4:DE:AF:E2:A3:02:41:0F:2E
263 35 Mehdi Abaakouk
Info: Caching certificate for ca
264 35 Mehdi Abaakouk
Exiting; no certificate found and waitforcert is disabled
265 35 Mehdi Abaakouk
</pre>
266 35 Mehdi Abaakouk
267 101 Mehdi Abaakouk
Sur le puppetmaster:
268 35 Mehdi Abaakouk
269 35 Mehdi Abaakouk
<pre>
270 35 Mehdi Abaakouk
$ puppet ca sign openstack.tetaneutral.net 
271 35 Mehdi Abaakouk
</pre>
272 35 Mehdi Abaakouk
_note: si un vieux cert existe: puppet ca revoke openstack.tetaneutral.net ; puppet cert clean openstack.tetaneutral.net; puppet node clean openstack.tetaneutral.net_
273 35 Mehdi Abaakouk
274 35 Mehdi Abaakouk
De nouveau sur la VM:
275 35 Mehdi Abaakouk
276 35 Mehdi Abaakouk
<pre>
277 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
278 100 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
279 100 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
280 100 Mehdi Abaakouk
</pre>
281 100 Mehdi Abaakouk
282 35 Mehdi Abaakouk
Il ne doit plus y avoir d'erreur la 3°/4° fois.
283 1 Mehdi Abaakouk
284 187 Mehdi Abaakouk
h3. Information sur la configuration d'un hyperviseur sur le puppet master
285 37 Mehdi Abaakouk
286 38 Mehdi Abaakouk
La configuration puppet ressemble à :
287 38 Mehdi Abaakouk
288 109 Mehdi Abaakouk
<pre>
289 1 Mehdi Abaakouk
node "gX.tetaneutral.net" inherits openstack_node_common {
290 120 Mehdi Abaakouk
  # Configuration du routerid et de l'AS number de cette machine
291 1 Mehdi Abaakouk
  # Il faut aussi mettre la conf bgp de h7 ainsi que les fichiers 
292 1 Mehdi Abaakouk
  # /etc/puppet/manifests/files/openstack-bird.conf.erb et
293 125 Mehdi Abaakouk
  # /etc/puppet/manifests/files/openstack-bird6.conf.erb
294 125 Mehdi Abaakouk
  # pour ajouter cette AS interne
295 97 Mehdi Abaakouk
  ttnn_os_bird {'198.51.100.1': asnum => "65001"}
296 109 Mehdi Abaakouk
297 120 Mehdi Abaakouk
  # Dans le cas d'une moniteur ceph, mais uniquement 3 suffissent, on a déjà g1,g2,g3
298 109 Mehdi Abaakouk
  ttnn_ceph_mon {$::hostname:}
299 88 Mehdi Abaakouk
  # Sinon utilisait:
300 88 Mehdi Abaakouk
  # class{"ttnn_ceph_osd_only": }
301 109 Mehdi Abaakouk
302 88 Mehdi Abaakouk
  # La partie Openstack, l'uuid doit être unique par machine (générer avec uuid-gen)
303 109 Mehdi Abaakouk
  ttnn_os_compute {"9d26ec10-a48b-4f0f-a122-f10ed16d270f": }
304 109 Mehdi Abaakouk
}
305 109 Mehdi Abaakouk
</pre>
306 109 Mehdi Abaakouk
307 109 Mehdi Abaakouk
h3. Déplacement du disk du controlleur dans le cluster ceph
308 109 Mehdi Abaakouk
309 97 Mehdi Abaakouk
Les recettes puppet on créé un pool disks pour les mettres les VMs et volumes de VM
310 97 Mehdi Abaakouk
311 109 Mehdi Abaakouk
312 97 Mehdi Abaakouk
Sur g1, on import le disque de la VM dans ceph et on modifie la conf libvirt:
313 97 Mehdi Abaakouk
314 109 Mehdi Abaakouk
<pre>
315 111 Mehdi Abaakouk
$ virsh shutdown openstack
316 1 Mehdi Abaakouk
$ rbd -p disks import /var/lib/ceph/osd/ceph-0/openstack.raw  openstack-disk
317 1 Mehdi Abaakouk
$ virsh edit openstack
318 1 Mehdi Abaakouk
</pre>
319 120 Mehdi Abaakouk
320 109 Mehdi Abaakouk
Remplacer: 
321 112 Mehdi Abaakouk
<pre>
322 109 Mehdi Abaakouk
    <disk type='file' device='disk'>
323 109 Mehdi Abaakouk
      <driver name='qemu' type='raw' cache='none' io='native'/>
324 109 Mehdi Abaakouk
      <source file='/var/lib/ceph/osd/ceph-0/openstack.raw'/>
325 110 Mehdi Abaakouk
      <target dev='vda' bus='virtio'/>
326 109 Mehdi Abaakouk
      <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
327 97 Mehdi Abaakouk
    </disk>
328 97 Mehdi Abaakouk
</pre>
329 109 Mehdi Abaakouk
330 97 Mehdi Abaakouk
Par:
331 97 Mehdi Abaakouk
332 109 Mehdi Abaakouk
<pre>
333 109 Mehdi Abaakouk
    <disk type='network' device='disk'>
334 109 Mehdi Abaakouk
        <driver name='qemu' type='raw'/>
335 212 Mehdi Abaakouk
        <source protocol='rbd' name='disks/openstack-disk' />
336 97 Mehdi Abaakouk
        </source>
337 97 Mehdi Abaakouk
        <auth username='openstack-service'>
338 109 Mehdi Abaakouk
            <secret type='ceph' uuid='1fe74663-8dfa-486c-bb80-3bd94c90c967'/>
339 97 Mehdi Abaakouk
        </auth>
340 97 Mehdi Abaakouk
        <target dev='vda' bus='virtio'/>
341 97 Mehdi Abaakouk
        <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
342 97 Mehdi Abaakouk
    </disk>
343 97 Mehdi Abaakouk
</pre>
344 97 Mehdi Abaakouk
345 97 Mehdi Abaakouk
La clé ceph pour libvirt a déjà été installé par puppet pour avoir sont uuid:
346 97 Mehdi Abaakouk
347 97 Mehdi Abaakouk
<pre>
348 97 Mehdi Abaakouk
$ virsh secret-list
349 97 Mehdi Abaakouk
 UUID                                  Usage
350 97 Mehdi Abaakouk
--------------------------------------------------------------------------------
351 97 Mehdi Abaakouk
 1fe74663-8dfa-486c-bb80-3bd94c90c967  ceph client.openstack-service secret
352 97 Mehdi Abaakouk
</pre>
353 97 Mehdi Abaakouk
354 97 Mehdi Abaakouk
Puis on démarre
355 97 Mehdi Abaakouk
356 97 Mehdi Abaakouk
<pre>
357 97 Mehdi Abaakouk
$ virsh start openstack
358 97 Mehdi Abaakouk
</pre>
359 97 Mehdi Abaakouk
360 97 Mehdi Abaakouk
361 97 Mehdi Abaakouk
Ca marche !
362 97 Mehdi Abaakouk
363 97 Mehdi Abaakouk
<pre>
364 68 Mehdi Abaakouk
$ ssh openstack.t
365 68 Mehdi Abaakouk
X11 forwarding request failed on channel 0
366 68 Mehdi Abaakouk
367 68 Mehdi Abaakouk
  server: openstack.tetaneutral.net
368 102 Mehdi Abaakouk
  system: Debian jessie/sid, kernel 3.14-2-amd64, puppet 3.6.1
369 1 Mehdi Abaakouk
     cpu: 1/1 (QEMU Virtual CPU version 2.1.0)
370 102 Mehdi Abaakouk
  memory: 1.96 GB
371 1 Mehdi Abaakouk
372 102 Mehdi Abaakouk
    eth0: 52:54:00:90:d8:c7 / 89.234.156.249 / 2a01:6600:8083:f900::1
373 102 Mehdi Abaakouk
    eth1: 52:54:00:13:fa:13 / 192.168.3.100
374 68 Mehdi Abaakouk
375 68 Mehdi Abaakouk
 modules: openstack_node_common ttnn::server resolver checkmk::agent checkmk::client rsyslog::client rsyslog apt apt::update puppet nullmailer backup::client sexymotd 
376 68 Mehdi Abaakouk
                            _             _    
377 68 Mehdi Abaakouk
  ___  _ __   ___ _ __  ___| |_ __ _  ___| | __
378 68 Mehdi Abaakouk
 / _ \| '_ \ / _ \ '_ \/ __| __/ _` |/ __| |/ /
379 68 Mehdi Abaakouk
| (_) | |_) |  __/ | | \__ \ || (_| | (__|   < 
380 68 Mehdi Abaakouk
 \___/| .__/ \___|_| |_|___/\__\__,_|\___|_|\_\
381 68 Mehdi Abaakouk
      |_|                                      
382 68 Mehdi Abaakouk
Last login: Wed Aug 27 08:10:02 2014 from atoulouse-652-1-119-50.w2-6.abo.wanadoo.fr
383 68 Mehdi Abaakouk
root@openstack:~# 
384 68 Mehdi Abaakouk
385 68 Mehdi Abaakouk
</pre>
386 68 Mehdi Abaakouk
387 116 Mehdi Abaakouk
h2. Configuration des Placements Groups des pools:
388 116 Mehdi Abaakouk
389 142 Mehdi Abaakouk
Par défaut les pools sont créés avec des placements groups à 8 (pg_num=8), 3 replicats, avec un tolérance à 2, si il manque des OSDs" 
390 116 Mehdi Abaakouk
391 116 Mehdi Abaakouk
Mais cette valeur (pg_num) défini le bon fonctionnement de ceph. Dans le cas standard (ie: 1 seul pool) la recette est facile: 
392 116 Mehdi Abaakouk
393 116 Mehdi Abaakouk
<pre>
394 116 Mehdi Abaakouk
               (OSDs * 100)
395 116 Mehdi Abaakouk
Total PGs = (  ------------  )
396 116 Mehdi Abaakouk
              OSD per object
397 116 Mehdi Abaakouk
</pre>
398 116 Mehdi Abaakouk
399 142 Mehdi Abaakouk
On arrondi à la puissance de 2 supérieurs. Mais dans notre cas 3 pools ce n'est pas si simple, les pools auront des cas d'utilisation différent:
400 116 Mehdi Abaakouk
401 116 Mehdi Abaakouk
Ma proposition de configuration:
402 107 Mehdi Abaakouk
* Pool ssds: il a 3 OSDs pour lui tout seul, on applique la recette magique: 3*100/3 ~= 128 pgs
403 1 Mehdi Abaakouk
* Pools images et disks: ils ont 3 OSDs à ce partager donc il faut répartir les 128 pgs. soit 32pgs et 96pgs (PS: il faut au moins 20pgs pour 3 réplicats)
404 69 Mehdi Abaakouk
405 1 Mehdi Abaakouk
Soit:
406 1 Mehdi Abaakouk
<pre>
407 79 Mehdi Abaakouk
ceph osd pool set ssds pg_num 128
408 1 Mehdi Abaakouk
ceph osd pool set images pg_num 32
409 1 Mehdi Abaakouk
ceph osd pool set disks pg_num 96
410 1 Mehdi Abaakouk
411 1 Mehdi Abaakouk
# attendre un peu qu'il y est plus de pg_create dans 'ceph -s'
412 121 Mehdi Abaakouk
ceph osd pool set ssds pgp_num 128  
413 121 Mehdi Abaakouk
ceph osd pool set images pgp_num 32
414 121 Mehdi Abaakouk
ceph osd pool set disks pgp_num 96
415 121 Mehdi Abaakouk
</pre>
416 1 Mehdi Abaakouk
417 107 Mehdi Abaakouk
418 1 Mehdi Abaakouk
419 107 Mehdi Abaakouk
_ref: http://ceph.com/docs/master/rados/operations/placement-groups/_
420 107 Mehdi Abaakouk
421 1 Mehdi Abaakouk
h2. Preparation du Pool SSD pour ceph 
422 107 Mehdi Abaakouk
423 107 Mehdi Abaakouk
Chaque machine se trouve dans 2 hosts, un host SSD et un host HARDDISK (même si en réalité les deux sont sur la même machine physique),
424 107 Mehdi Abaakouk
425 107 Mehdi Abaakouk
Ensuite on créé 2 object root un pour les hosts SSD et un autre pour les host HARDDISK
426 107 Mehdi Abaakouk
427 107 Mehdi Abaakouk
On créé ensuite 2 règles de stockage une qui envoie les objects vers le root SSD et l'autre vers le root HARDDISK
428 107 Mehdi Abaakouk
429 107 Mehdi Abaakouk
Cela permettra d'avoir de définir une règle différente suivant les pools ceph.
430 107 Mehdi Abaakouk
431 107 Mehdi Abaakouk
Niveau Openstack nous avons 3 pools:
432 107 Mehdi Abaakouk
* disks: Ce pool aura les disques de VM et les volumes attaché
433 107 Mehdi Abaakouk
* ssds: Ce pool contiendra les volumes sur ssd
434 107 Mehdi Abaakouk
* images: c'est la que seront stocké les images de VMs (glance).
435 122 Mehdi Abaakouk
436 122 Mehdi Abaakouk
h3. Configuration de la crushmap de ceph:
437 122 Mehdi Abaakouk
438 135 Mehdi Abaakouk
Il faut s'assurer que la crushmap n'est pas en mode automatique (c'est déjà configuré par puppet):
439 122 Mehdi Abaakouk
440 1 Mehdi Abaakouk
<pre>
441 135 Mehdi Abaakouk
[global]
442 135 Mehdi Abaakouk
osd crush update on start = false
443 135 Mehdi Abaakouk
</pre>
444 135 Mehdi Abaakouk
445 135 Mehdi Abaakouk
Création de l'arbre de rangement physique des SSD, l'arbre nommé 'default' sera donc celui des disques durs
446 135 Mehdi Abaakouk
447 135 Mehdi Abaakouk
<pre>
448 122 Mehdi Abaakouk
$ ceph osd crush add-bucket ssd root
449 122 Mehdi Abaakouk
$ ceph osd crush add-bucket g1-ssd host
450 122 Mehdi Abaakouk
$ ceph osd crush add-bucket g2-ssd host
451 122 Mehdi Abaakouk
$ ceph osd crush add-bucket g3-ssd host
452 1 Mehdi Abaakouk
$ ceph osd crush move g1-ssd root=ssd
453 1 Mehdi Abaakouk
$ ceph osd crush move g2-ssd root=ssd
454 1 Mehdi Abaakouk
$ ceph osd crush move g3-ssd root=ssd
455 107 Mehdi Abaakouk
$ ceph osd tree
456 107 Mehdi Abaakouk
# id	weight	type name	up/down	reweight
457 1 Mehdi Abaakouk
-5	0	root ssd
458 118 Mehdi Abaakouk
-6	0		host g1-ssd
459 118 Mehdi Abaakouk
-7	0		host g2-ssd
460 118 Mehdi Abaakouk
-8	0		host g3-ssd
461 118 Mehdi Abaakouk
-1	3	root default
462 117 Mehdi Abaakouk
-2	1		host g1
463 117 Mehdi Abaakouk
0	1			osd.0	up	1	
464 117 Mehdi Abaakouk
3	1			osd.3	up	1	
465 118 Mehdi Abaakouk
-3	1		host g2
466 118 Mehdi Abaakouk
1	1			osd.1	up	1	
467 107 Mehdi Abaakouk
4	1			osd.4	up	1	
468 107 Mehdi Abaakouk
-4	1		host g3
469 122 Mehdi Abaakouk
2	1			osd.2	up	1	
470 122 Mehdi Abaakouk
5	1			osd.5	up	1	
471 122 Mehdi Abaakouk
</pre>
472 122 Mehdi Abaakouk
473 122 Mehdi Abaakouk
474 122 Mehdi Abaakouk
On range les osd qui ont des disques SSD dans ce nouvel arbre.
475 122 Mehdi Abaakouk
476 122 Mehdi Abaakouk
<pre>
477 195 Mehdi Abaakouk
$ ceph osd crush add osd.3 0  root=ssd host=g1-ssd
478 195 Mehdi Abaakouk
$ ceph osd crush add osd.4 0  root=ssd host=g2-ssd
479 195 Mehdi Abaakouk
$ ceph osd crush add osd.5 0  root=ssd host=g3-ssd
480 195 Mehdi Abaakouk
481 122 Mehdi Abaakouk
# Ou si l'osd a déjà éte positionné une fois
482 195 Mehdi Abaakouk
$ ceph osd crush set osd.3 0  root=ssd host=g1-ssd
483 195 Mehdi Abaakouk
$ ceph osd crush set osd.4 0  root=ssd host=g2-ssd
484 195 Mehdi Abaakouk
$ ceph osd crush set osd.5 0  root=ssd host=g3-ssd
485 96 Mehdi Abaakouk
486 108 Mehdi Abaakouk
# Vérifier le résultat
487 107 Mehdi Abaakouk
$ ceph osd tree
488 96 Mehdi Abaakouk
# id	weight	type name	up/down	reweight
489 96 Mehdi Abaakouk
-5	3	root ssd
490 121 Mehdi Abaakouk
-6	1		host g1-ssd
491 96 Mehdi Abaakouk
3	1			osd.3	up	1	
492 107 Mehdi Abaakouk
-7	1		host g2-ssd
493 107 Mehdi Abaakouk
4	1			osd.4	up	1	
494 107 Mehdi Abaakouk
-8	1		host g3-ssd
495 1 Mehdi Abaakouk
5	1			osd.5	up	1	
496 1 Mehdi Abaakouk
-1	3	root default
497 1 Mehdi Abaakouk
-2	1		host g1
498 1 Mehdi Abaakouk
0	1			osd.0	up	1	
499 107 Mehdi Abaakouk
-3	1		host g2
500 107 Mehdi Abaakouk
1	1			osd.1	up	1	
501 107 Mehdi Abaakouk
-4	1		host g3
502 195 Mehdi Abaakouk
2	1			osd.2	up	1
503 195 Mehdi Abaakouk
504 195 Mehdi Abaakouk
Puis recalculer les poids des OSD:
505 195 Mehdi Abaakouk
$ /root/tools/ceph-reweight-osds.sh
506 107 Mehdi Abaakouk
</pre>
507 107 Mehdi Abaakouk
508 107 Mehdi Abaakouk
h3. Definition de la crushmap de ttnn
509 107 Mehdi Abaakouk
510 107 Mehdi Abaakouk
511 107 Mehdi Abaakouk
Une fois la crushmap modifié on créée et applique la règle sur le pool ssds:
512 107 Mehdi Abaakouk
513 107 Mehdi Abaakouk
<pre>
514 107 Mehdi Abaakouk
$ ceph osd crush rule create-simple ssd_replicated_ruleset ssd host firstn
515 107 Mehdi Abaakouk
$ ceph osd crush rule dump
516 107 Mehdi Abaakouk
[
517 107 Mehdi Abaakouk
    { "rule_id": 0,
518 107 Mehdi Abaakouk
      "rule_name": "replicated_ruleset",
519 1 Mehdi Abaakouk
      "ruleset": 0,
520 107 Mehdi Abaakouk
      "type": 1,
521 107 Mehdi Abaakouk
      "min_size": 1,
522 107 Mehdi Abaakouk
      "max_size": 10,
523 107 Mehdi Abaakouk
      "steps": [
524 107 Mehdi Abaakouk
            { "op": "take",
525 107 Mehdi Abaakouk
              "item": -1,
526 1 Mehdi Abaakouk
              "item_name": "default"},
527 121 Mehdi Abaakouk
            { "op": "chooseleaf_firstn",
528 1 Mehdi Abaakouk
              "num": 0,
529 1 Mehdi Abaakouk
              "type": "host"},
530 107 Mehdi Abaakouk
            { "op": "emit"}]},
531 1 Mehdi Abaakouk
    { "rule_id": 1,
532 1 Mehdi Abaakouk
      "rule_name": "ssd_replicated_ruleset",
533 107 Mehdi Abaakouk
      "ruleset": 1,
534 1 Mehdi Abaakouk
      "type": 1,
535 1 Mehdi Abaakouk
      "min_size": 1,
536 1 Mehdi Abaakouk
      "max_size": 10,
537 113 Mehdi Abaakouk
      "steps": [
538 114 Mehdi Abaakouk
            { "op": "take",
539 1 Mehdi Abaakouk
              "item": -5,
540 114 Mehdi Abaakouk
              "item_name": "ssd"},
541 113 Mehdi Abaakouk
            { "op": "chooseleaf_firstn",
542 113 Mehdi Abaakouk
              "num": 0,
543 113 Mehdi Abaakouk
              "type": "host"},
544 113 Mehdi Abaakouk
            { "op": "emit"}]}]
545 113 Mehdi Abaakouk
546 113 Mehdi Abaakouk
$ ceph osd pool set ssds crush_ruleset 1
547 113 Mehdi Abaakouk
</pre>
548 1 Mehdi Abaakouk
549 114 Mehdi Abaakouk
Il faut ensuite attendre que ceph redistribue les data comme on lui a demandé, on peut suivre l'avancement avec :
550 114 Mehdi Abaakouk
551 114 Mehdi Abaakouk
<pre>
552 114 Mehdi Abaakouk
ceph -s
553 114 Mehdi Abaakouk
</pre>
554 115 Mehdi Abaakouk
555 232 Laurent GUERBY
h2. Pool ceph replicated
556 232 Laurent GUERBY
557 233 Laurent GUERBY
Creation via ceph :
558 233 Laurent GUERBY
559 233 Laurent GUERBY
<pre>
560 233 Laurent GUERBY
ceph osd pool create r2 12 12 replicated
561 233 Laurent GUERBY
ceph osd pool set r2 size 2
562 233 Laurent GUERBY
ceph osd pool set r2 min_size 1
563 233 Laurent GUERBY
</pre>
564 233 Laurent GUERBY
565 233 Laurent GUERBY
566 233 Laurent GUERBY
Puis ajout des pools via puppet
567 232 Laurent GUERBY
https://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster/revisions/master/entry/manifests/nodes/openstack.pp#L21
568 232 Laurent GUERBY
<pre>
569 232 Laurent GUERBY
$os_cinder_ceph_pools = ...
570 232 Laurent GUERBY
"ceph-r2" => "r2",
571 232 Laurent GUERBY
...
572 232 Laurent GUERBY
</pre>
573 1 Mehdi Abaakouk
574 233 Laurent GUERBY
Sur openstack ou attendre le cron ou "puppet agent -vt"
575 233 Laurent GUERBY
576 233 Laurent GUERBY
Puis :
577 233 Laurent GUERBY
578 232 Laurent GUERBY
<pre>
579 233 Laurent GUERBY
cinder create --volume-type ceph-r2 --display-name utopialab.tetaneutral.net-disk-2 4096
580 233 Laurent GUERBY
nova volume-attach utopialab.tetaneutral.net xxxVolumeIDxxx
581 214 Laurent GUERBY
</pre>
582 214 Laurent GUERBY
583 219 Laurent GUERBY
h2. Pool ceph erasure coding
584 214 Laurent GUERBY
585 215 Laurent GUERBY
h3. Creation erasure coded pool
586 215 Laurent GUERBY
587 218 Laurent GUERBY
En pratique on a 5 machines avec chacune au moins un rotationnel (le plus petit = 2 TB sur g3), on va creer un 4+1 qui devrait permettre le fonctionnement continu malgré la perte d'une machine :
588 218 Laurent GUERBY
589 239 Laurent GUERBY
Ajout des pools via puppet
590 218 Laurent GUERBY
https://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster/revisions/master/entry/manifests/nodes/openstack.pp#L21
591 218 Laurent GUERBY
<pre>
592 218 Laurent GUERBY
$os_cinder_ceph_pools = ...
593 218 Laurent GUERBY
"ceph-ec4p1" => "ec4p1",
594 1 Mehdi Abaakouk
...
595 229 Laurent GUERBY
</pre>
596 229 Laurent GUERBY
597 1 Mehdi Abaakouk
Apres sur la VM openstack
598 229 Laurent GUERBY
599 229 Laurent GUERBY
<pre>
600 229 Laurent GUERBY
puppet agent -vt
601 229 Laurent GUERBY
cinder type-list
602 229 Laurent GUERBY
# verifier que ceph-ec4p1 est bien present
603 229 Laurent GUERBY
</pre>
604 218 Laurent GUERBY
605 227 Laurent GUERBY
<pre>
606 227 Laurent GUERBY
# pool erasure code
607 215 Laurent GUERBY
ceph osd erasure-code-profile set ec4p1profile k=4 m=1 ruleset-failure-domain=host
608 215 Laurent GUERBY
# Note: ruleset-failure-domain cannot be changed after creation, host will choose only one disk per host, other option is osd whith no such constraint
609 239 Laurent GUERBY
ceph osd pool create ec4p1 4096 4096 erasure ec4p1profile
610 1 Mehdi Abaakouk
611 1 Mehdi Abaakouk
# cache avec ec4p1c pool "normal" car le pool erasure code n'implémente pas les write partiels.
612 239 Laurent GUERBY
ceph osd pool create ec4p1c 4096 4096 replicated
613 229 Laurent GUERBY
614 229 Laurent GUERBY
# mise en place du cache tier writeback overlay
615 229 Laurent GUERBY
ceph osd tier add ec4p1 ec4p1c
616 229 Laurent GUERBY
ceph osd tier cache-mode ec4p1c writeback
617 1 Mehdi Abaakouk
ceph osd tier set-overlay ec4p1 ec4p1c
618 223 Laurent GUERBY
619 222 Mehdi Abaakouk
# tuning du pool cache
620 1 Mehdi Abaakouk
ceph osd pool set ec4p1c size 3 
621 1 Mehdi Abaakouk
ceph osd pool set ec4p1c min_size 2
622 1 Mehdi Abaakouk
ceph osd pool set ec4p1c cache_target_dirty_ratio 0.4 # begin flushing modified (dirty) objects when they reach 40% of the cache pool’s capacity
623 225 Laurent GUERBY
ceph osd pool set ec4p1c cache_target_full_ratio 0.8 # begin flushing unmodified (clean) objects when they reach 80% of the cache pool’s capacity
624 239 Laurent GUERBY
ceph osd pool set ec4p1c target_max_bytes 100000000000 # to flush or evict at 100 GB = 100e9 bytes
625 239 Laurent GUERBY
ceph osd pool set ec4p1c target_max_objects 100000000000 # ?
626 225 Laurent GUERBY
ceph osd pool set ec4p1c hit_set_type bloom
627 225 Laurent GUERBY
ceph osd pool set ec4p1c hit_set_count 1
628 225 Laurent GUERBY
ceph osd pool set ec4p1c hit_set_period 3600
629 225 Laurent GUERBY
630 225 Laurent GUERBY
# creation et attach d'un disque sur une VM
631 1 Mehdi Abaakouk
cinder create --volume-type ceph-ec4p1 --display-name apt.tetaneutral.net-disk-1 1024
632 1 Mehdi Abaakouk
nova volume-attach apt.tetaneutral.net 4663c1c1-e5e9-4684-9e55-bb2d9cc18ac8
633 1 Mehdi Abaakouk
</pre>
634 1 Mehdi Abaakouk
635 1 Mehdi Abaakouk
Exemple de creation de ec3p1 avec cache 500G ec3p1c
636 1 Mehdi Abaakouk
637 228 Laurent GUERBY
<pre>
638 228 Laurent GUERBY
ceph osd erasure-code-profile set ec3p1profile k=3 m=1 ruleset-failure-domain=host
639 229 Laurent GUERBY
ceph osd pool create ec3p1 12 12 erasure ec3p1profile
640 229 Laurent GUERBY
641 229 Laurent GUERBY
ceph osd tier add ec3p1 ec3p1c
642 229 Laurent GUERBY
ceph osd tier cache-mode ec3p1c writeback
643 228 Laurent GUERBY
ceph osd tier set-overlay ec3p1 ec3p1c
644 228 Laurent GUERBY
645 228 Laurent GUERBY
ceph osd pool create ec3p1c 12 12 replicated
646 228 Laurent GUERBY
ceph osd pool set ec3p1c size 3 
647 228 Laurent GUERBY
ceph osd pool set ec3p1c min_size 2
648 228 Laurent GUERBY
ceph osd pool set ec3p1c cache_target_dirty_ratio 0.4 
649 228 Laurent GUERBY
ceph osd pool set ec3p1c cache_target_full_ratio 0.8 
650 228 Laurent GUERBY
ceph osd pool set ec3p1c target_max_bytes 500000000000 
651 228 Laurent GUERBY
ceph osd pool set ec3p1c target_max_objects 500000000000 
652 228 Laurent GUERBY
ceph osd pool set ec3p1c hit_set_type bloom
653 228 Laurent GUERBY
ceph osd pool set ec3p1c hit_set_count 1
654 228 Laurent GUERBY
ceph osd pool set ec3p1c hit_set_period 3600
655 230 Laurent GUERBY
656 231 Laurent GUERBY
cinder create --volume-type ceph-ec3p1 --display-name utopialab.tetaneutral.net-disk-1 8192
657 228 Laurent GUERBY
nova volume-attach utopialab.tetaneutral.net xxxVolumeIDxxx
658 219 Laurent GUERBY
</pre>
659 219 Laurent GUERBY
660 240 Laurent GUERBY
Effacer des profiles
661 240 Laurent GUERBY
662 240 Laurent GUERBY
<pre>
663 240 Laurent GUERBY
# ceph osd erasure-code-profile ls
664 240 Laurent GUERBY
default
665 240 Laurent GUERBY
ec3p1profile
666 240 Laurent GUERBY
ec4p1profile
667 240 Laurent GUERBY
# ceph osd erasure-code-profile get ec4p1profile
668 240 Laurent GUERBY
directory=/usr/lib/x86_64-linux-gnu/ceph/erasure-code
669 240 Laurent GUERBY
k=4
670 240 Laurent GUERBY
m=1
671 240 Laurent GUERBY
plugin=jerasure
672 240 Laurent GUERBY
ruleset-failure-domain=osd
673 240 Laurent GUERBY
technique=reed_sol_van
674 240 Laurent GUERBY
# ceph osd erasure-code-profile rm ec3p1profile
675 240 Laurent GUERBY
# ceph osd erasure-code-profile rm ec4p1profile
676 240 Laurent GUERBY
</pre>
677 240 Laurent GUERBY
678 240 Laurent GUERBY
679 1 Mehdi Abaakouk
h3. Erasure URL
680 1 Mehdi Abaakouk
681 1 Mehdi Abaakouk
http://www.spinics.net/lists/ceph-devel/msg20920.html
682 1 Mehdi Abaakouk
http://ceph.com/docs/master/rados/operations/cache-tiering/
683 1 Mehdi Abaakouk
684 1 Mehdi Abaakouk
An erasure encoded pool cannot be accessed directly using rbd. For this
685 219 Laurent GUERBY
reason we need a cache pool and an erasure pool. This not only allows
686 219 Laurent GUERBY
supporting rbd but increases performance.
687 219 Laurent GUERBY
688 219 Laurent GUERBY
http://ceph.com/docs/master/dev/erasure-coded-pool/#interface
689 219 Laurent GUERBY
690 219 Laurent GUERBY
Creation "ecpool" "ecruleset" "myprofile"
691 219 Laurent GUERBY
692 219 Laurent GUERBY
<pre>
693 219 Laurent GUERBY
ceph osd pool create ecpool 12 12 erasure
694 219 Laurent GUERBY
ceph osd crush rule create-erasure ecruleset
695 219 Laurent GUERBY
ceph osd pool create ecpool 12 12 erasure default ecruleset
696 219 Laurent GUERBY
ceph osd erasure-code-profile set myprofile ruleset-failure-domain=osd
697 219 Laurent GUERBY
ceph osd erasure-code-profile get myprofile
698 219 Laurent GUERBY
ceph osd pool create ecpool 12 12 erasure myprofile
699 219 Laurent GUERBY
ceph osd erasure-code-profile set myprofile k=3 m=1
700 219 Laurent GUERBY
ceph osd erasure-code-profile get myprofile
701 219 Laurent GUERBY
ceph osd pool create ecpool 12 12 erasure myprofile
702 219 Laurent GUERBY
703 219 Laurent GUERBY
ceph osd erasure-code-profile ls
704 219 Laurent GUERBY
ceph osd erasure-code-profile get default
705 219 Laurent GUERBY
ceph osd erasure-code-profile rm myprofile
706 217 Laurent GUERBY
ceph osd erasure-code-profile set myprofile ruleset-root=ssd
707 205 Mehdi Abaakouk
</pre>
708 167 Mehdi Abaakouk
709 234 Laurent GUERBY
h3. Remove erasure coded pool
710 234 Laurent GUERBY
711 234 Laurent GUERBY
<pre>
712 234 Laurent GUERBY
root@g1:~# ceph osd tier remove-overlay ec3p1c
713 234 Laurent GUERBY
there is now (or already was) no overlay for 'ec3p1c'
714 234 Laurent GUERBY
root@g1:~# ceph osd tier remove-overlay ec3p1
715 234 Laurent GUERBY
there is now (or already was) no overlay for 'ec3p1'
716 234 Laurent GUERBY
root@g1:~# ceph osd tier remove ec3p1 ec3p1c
717 234 Laurent GUERBY
pool 'ec3p1c' is now (or already was) not a tier of 'ec3p1'
718 234 Laurent GUERBY
root@g1:~# ceph osd pool delete ec3p1c ec3p1c --yes-i-really-really-mean-it
719 234 Laurent GUERBY
pool 'ec3p1c' removed
720 234 Laurent GUERBY
root@g1:~# ceph osd pool delete ec3p1 ec3p1 --yes-i-really-really-mean-it
721 234 Laurent GUERBY
pool 'ec3p1' removed
722 234 Laurent GUERBY
</pre>
723 234 Laurent GUERBY
724 167 Mehdi Abaakouk
h2. Activer le cache-tiering  /!\/!\ Plus utilisé pas encore assez stable /!\/!\ 
725 167 Mehdi Abaakouk
726 210 Mehdi Abaakouk
http://ceph.com/docs/master/rados/operations/cache-tiering/
727 210 Mehdi Abaakouk
728 167 Mehdi Abaakouk
h3. Preparation
729 167 Mehdi Abaakouk
730 175 Mehdi Abaakouk
<pre>
731 175 Mehdi Abaakouk
ceph mkpool ssd-cache
732 175 Mehdi Abaakouk
ceph osd pool set ssd-cache pg_num 128
733 167 Mehdi Abaakouk
ceph osd pool set ssd-cache pgp_num 128
734 167 Mehdi Abaakouk
ceph osd pool set ssds crush_ruleset 1
735 167 Mehdi Abaakouk
ceph osd tier add disks ssd-cache
736 173 Mehdi Abaakouk
ceph osd tier cache-mode ssd-cache writeback
737 221 Mehdi Abaakouk
ceph osd tier set-overlay disks ssd-cache
738 1 Mehdi Abaakouk
ceph osd pool set ssd-cache target_max_bytes $[15 * 1024 * 1024 * 1024]
739 173 Mehdi Abaakouk
ceph osd pool set ssd-cache target_max_objects 3000000
740 173 Mehdi Abaakouk
741 173 Mehdi Abaakouk
# http://lists.ceph.com/pipermail/ceph-users-ceph.com/2014-August/042174.html
742 173 Mehdi Abaakouk
ceph osd pool set ssd-cache cache_target_dirty_ratio 0.4
743 176 Mehdi Abaakouk
ceph osd pool set ssd-cache cache_target_full_ratio 0.8
744 173 Mehdi Abaakouk
ceph osd pool set ssd-cache hit_set_type bloom
745 174 Mehdi Abaakouk
ceph osd pool set ssd-cache hit_set_count 1
746 174 Mehdi Abaakouk
ceph osd pool set ssd-cache hit_set_period 3600
747 210 Mehdi Abaakouk
748 210 Mehdi Abaakouk
ceph osd dump -f json-pretty | grep ssd-cache -A40 -B1
749 210 Mehdi Abaakouk
</pre>
750 210 Mehdi Abaakouk
751 210 Mehdi Abaakouk
h3. Gestion du cache
752 210 Mehdi Abaakouk
753 210 Mehdi Abaakouk
http://lists.ceph.com/pipermail/ceph-users-ceph.com/2014-August/042018.html
754 210 Mehdi Abaakouk
755 210 Mehdi Abaakouk
<pre>
756 210 Mehdi Abaakouk
rados -p ssd-cache cache-flush-evict-all
757 173 Mehdi Abaakouk
# puis control-c
758 167 Mehdi Abaakouk
ceph df|grep ssd-cache
759 179 Laurent GUERBY
</pre>
760 179 Laurent GUERBY
761 179 Laurent GUERBY
h2. Optimisations
762 179 Laurent GUERBY
763 179 Laurent GUERBY
via Loic :
764 200 Loic Dachary
http://ceph.com/docs/giant/rados/configuration/osd-config-ref/
765 200 Loic Dachary
dans /etc/ceph/ceph.conf
766 179 Laurent GUERBY
osd-disk-thread-ioprio-class = idle
767 179 Laurent GUERBY
osd-disk-thread-ioprio-priority = 7   
768 154 Laurent GUERBY
de façon hebdomadaire ceph va examiner l'etat des objets (scrub) et faire plein d'IO pour ça. Ce parametre dit que ces IO passent en dernier. Ca n'affecte pas les IO normales faites via rbd.
769 154 Laurent GUERBY
770 154 Laurent GUERBY
h2. Migration IP ceph
771 154 Laurent GUERBY
772 1 Mehdi Abaakouk
Au besoin pour passer cluster de test a dev
773 184 Mehdi Abaakouk
* http://ceph.com/docs/master/rados/operations/add-or-rm-mons/#changing-a-monitor-s-ip-address-the-messy-way
774 184 Mehdi Abaakouk
* http://ceph.com/docs/master/rados/operations/add-or-rm-mons/#changing-a-monitor-s-ip-address-the-right-way
775 184 Mehdi Abaakouk
776 237 Laurent GUERBY
h2. Configuration des Policies
777 184 Mehdi Abaakouk
778 196 Mehdi Abaakouk
Les rules modifiées /etc/{nova,cinder,neutron,glance}/policy.json sont ici:
779 1 Mehdi Abaakouk
780 1 Mehdi Abaakouk
http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/openstack-tools/revisions/master/show/policy