Project

General

Profile

Openstack Installation TTNN » History » Version 248

Mehdi Abaakouk, 11/04/2015 12:15 PM

1 43 Laurent GUERBY
{{>toc}}
2 43 Laurent GUERBY
3 159 Laurent GUERBY
h1. Openstack Installation tetaneutral.net
4 1 Mehdi Abaakouk
5 236 Mehdi Abaakouk
h2. A FIXER
6 236 Mehdi Abaakouk
7 236 Mehdi Abaakouk
Le virsh secret-set-value bla bla, n'est pas fait par libvirt
8 236 Mehdi Abaakouk
9 236 Mehdi Abaakouk
10 44 Laurent GUERBY
h2. Liens
11 44 Laurent GUERBY
12 204 Mehdi Abaakouk
* [[Openstack Management TTNN]]
13 204 Mehdi Abaakouk
* [[Openstack Setup VM pas dans openstack]]
14 242 Mehdi Abaakouk
* [[Openstack Installation nouvelle node du cluster]]
15 44 Laurent GUERBY
* http://ceph.com/docs/master/rados/operations/cache-tiering/
16 44 Laurent GUERBY
* http://ceph.com/docs/master/rados/operations/crush-map/
17 44 Laurent GUERBY
18 4 Mehdi Abaakouk
h2. Installation
19 4 Mehdi Abaakouk
20 213 Laurent GUERBY
L'installation initiale est composée de :
21 4 Mehdi Abaakouk
22 4 Mehdi Abaakouk
* 3 hyperviseurs (compute node) qui contiendront 1 ceph-mon, N ceph-osd, nova-compute (qui lance les VM), neutron-openvswitch-agent (qui configure le réseau des vms)
23 4 Mehdi Abaakouk
* 1 VM (controler node), qui contient tous les services de management d'openstack (nova, cinder, glance, neutron)
24 4 Mehdi Abaakouk
25 4 Mehdi Abaakouk
Les étapes d'installation sont les suivantes:
26 4 Mehdi Abaakouk
* Préparation manuelle de la VM de management sur un des hyperviseurs
27 4 Mehdi Abaakouk
* Installation de ceph et openstack sur toutes les machines avec puppet
28 4 Mehdi Abaakouk
* Déplacement de la VM de management d'openstack dans openstack.
29 4 Mehdi Abaakouk
30 33 Mehdi Abaakouk
h3. Information sur le puppet master:
31 33 Mehdi Abaakouk
32 213 Laurent GUERBY
La configuration et les modules puppet utilisés par tetaneutral.net se trouvent la:
33 33 Mehdi Abaakouk
34 33 Mehdi Abaakouk
> http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster
35 33 Mehdi Abaakouk
> http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster/revisions/master/entry/manifests/nodes/openstack.pp
36 33 Mehdi Abaakouk
37 213 Laurent GUERBY
Seulement les 3 classes suivantes sont spécifique à http://tetaneutral.net, le reste est réutilisable à condition de changer les ip, hostname, uuid et password :
38 33 Mehdi Abaakouk
39 36 Mehdi Abaakouk
> class { 'ttnn::server': }
40 36 Mehdi Abaakouk
> class { 'backup::client': }
41 36 Mehdi Abaakouk
> class { 'sexymotd': }
42 33 Mehdi Abaakouk
43 213 Laurent GUERBY
Les modules qui sont nécessaire pour openstack pour le reste du fichier sont :
44 33 Mehdi Abaakouk
45 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-apache.git 
46 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-apt 
47 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-ceph.git 
48 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-cinder.git 
49 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-concat.git 
50 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-glance.git 
51 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-horizon.git 
52 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-inifile.git 
53 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-keystone.git 
54 33 Mehdi Abaakouk
> https://github.com/camptocamp/puppet-kmod.git 
55 33 Mehdi Abaakouk
> https://github.com/saz/puppet-memcached.git 
56 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-mysql.git 
57 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-neutron.git 
58 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-nova.git 
59 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-rabbitmq.git 
60 33 Mehdi Abaakouk
> https://github.com/nanliu/puppet-staging.git 
61 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-stdlib.git 
62 33 Mehdi Abaakouk
> https://github.com/duritong/puppet-sysctl.git 
63 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-vcsrepo.git 
64 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-vswitch.git 
65 36 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-xinetd.git
66 33 Mehdi Abaakouk
67 33 Mehdi Abaakouk
h3. Préparation réseaux des hosts:
68 29 Mehdi Abaakouk
69 1 Mehdi Abaakouk
70 126 Mehdi Abaakouk
Preparation des bridges openvswitch:
71 126 Mehdi Abaakouk
72 1 Mehdi Abaakouk
<pre>
73 130 Mehdi Abaakouk
$ apt-get install openvswitch-switch 
74 126 Mehdi Abaakouk
$ modprobe vhost-net
75 126 Mehdi Abaakouk
$ modprobe tun
76 126 Mehdi Abaakouk
$ modprobe loop
77 148 Mehdi Abaakouk
78 148 Mehdi Abaakouk
# On créé un switch br-eth0
79 151 Mehdi Abaakouk
ovs-vsctl add-br br-eth0
80 148 Mehdi Abaakouk
# On rajoute une petite bricole pour openstack 
81 151 Mehdi Abaakouk
ovs-vsctl br-set-external-id br-eth0 bridge-id br-eth0
82 148 Mehdi Abaakouk
# On ajoute le port eth0 dans le switch
83 151 Mehdi Abaakouk
ovs-vsctl add-port br-eth0 eth0  # Si aucun trunk vlan n'est spécifié, c'est un trunk avec tous les vlans 
84 148 Mehdi Abaakouk
85 148 Mehdi Abaakouk
# On créé des interfaces réseau utilisable sur la machine avec des vlans:
86 155 Mehdi Abaakouk
ovs-vsctl add-br vlan3132 br-eth0 3132
87 151 Mehdi Abaakouk
ovs-vsctl add-br vlan3175 br-eth0 3175
88 151 Mehdi Abaakouk
ovs-vsctl add-br vlan3199 br-eth0 3199
89 148 Mehdi Abaakouk
90 150 Mehdi Abaakouk
# On s'assure que eth0 sera toujours up
91 151 Mehdi Abaakouk
ovs-ofctl mod-port br-eth0 eth0 up
92 150 Mehdi Abaakouk
93 126 Mehdi Abaakouk
</pre>
94 1 Mehdi Abaakouk
95 126 Mehdi Abaakouk
_note: Les bridges openvswitch sont mémorisés et recréés automatiquement par le service openvswitch-switch_
96 126 Mehdi Abaakouk
97 133 Mehdi Abaakouk
On install le fichier attachment:rc.local dans /etc/
98 1 Mehdi Abaakouk
99 1 Mehdi Abaakouk
On re-charge le fichier attachment:rc.local
100 133 Mehdi Abaakouk
101 133 Mehdi Abaakouk
<pre>
102 126 Mehdi Abaakouk
bash -x /etc/rc.local
103 1 Mehdi Abaakouk
</pre>
104 126 Mehdi Abaakouk
105 126 Mehdi Abaakouk
106 126 Mehdi Abaakouk
Sur h7.tetaneutral.net le routage est le suivant
107 73 Mehdi Abaakouk
108 73 Mehdi Abaakouk
<pre>
109 155 Mehdi Abaakouk
ip route add 89.234.156.249/32 dev eth0.3132
110 155 Mehdi Abaakouk
ip route add 89.234.156.251/32 dev eth0.3132
111 155 Mehdi Abaakouk
ip route add 89.234.156.252/32 dev eth0.3132
112 155 Mehdi Abaakouk
ip route add 89.234.156.253/32 dev eth0.3132
113 155 Mehdi Abaakouk
ip route add 2a01:6600:8083:f900::/56 dev eth0.3132
114 155 Mehdi Abaakouk
ip route add 2a01:6600:8083:fb00::/56 dev eth0.3132
115 155 Mehdi Abaakouk
ip route add 2a01:6600:8083:fc00::/56 dev eth0.3132
116 155 Mehdi Abaakouk
ip route add 2a01:6600:8083:fd00::/56 dev eth0.3132
117 16 Mehdi Abaakouk
</pre>
118 1 Mehdi Abaakouk
119 20 Mehdi Abaakouk
h3. Preparation de la VM de management, le controlleur
120 6 Mehdi Abaakouk
121 6 Mehdi Abaakouk
h4. Installation des prérequis
122 6 Mehdi Abaakouk
123 1 Mehdi Abaakouk
<pre>
124 129 Mehdi Abaakouk
$ apt-get install libvirt-bin openstack-debian-images virtinst
125 131 Mehdi Abaakouk
#NOTE(sileht): temporairement récupérer la dernière version:
126 131 Mehdi Abaakouk
$ curl -# http://anonscm.debian.org/cgit/openstack/openstack-debian-images.git/plain/build-openstack-debian-image > /usr/sbin/build-openstack-debian-image
127 20 Mehdi Abaakouk
</pre>
128 1 Mehdi Abaakouk
129 1 Mehdi Abaakouk
h4. Preparation de l'image de la VM
130 92 Mehdi Abaakouk
131 20 Mehdi Abaakouk
<pre>
132 20 Mehdi Abaakouk
$ vim hook.sh
133 1 Mehdi Abaakouk
set -xv
134 20 Mehdi Abaakouk
135 92 Mehdi Abaakouk
echo "openstack" > $BODI_CHROOT_PATH/etc/hostname
136 40 Mehdi Abaakouk
137 46 Mehdi Abaakouk
cat > $BODI_CHROOT_PATH/etc/resolv.conf <<EOF
138 46 Mehdi Abaakouk
domain tetaneutral.net
139 46 Mehdi Abaakouk
search tetaneutral.net
140 1 Mehdi Abaakouk
nameserver 8.8.8.8
141 46 Mehdi Abaakouk
EOF
142 46 Mehdi Abaakouk
143 92 Mehdi Abaakouk
cat > $BODI_CHROOT_PATH/etc/network/interfaces <<EOF
144 6 Mehdi Abaakouk
auto lo
145 20 Mehdi Abaakouk
iface lo inet loopback
146 1 Mehdi Abaakouk
auto eth0
147 6 Mehdi Abaakouk
iface eth0 inet manual
148 4 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth0.accept_ra=0
149 1 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth0.autoconf=0
150 4 Mehdi Abaakouk
  up ip link set eth0 up
151 10 Mehdi Abaakouk
  up ip addr add 89.234.156.249/32 dev eth0
152 152 Mehdi Abaakouk
  up ip route add 91.224.149.0/24 dev eth0
153 152 Mehdi Abaakouk
  up ip route add default via 91.224.149.254
154 20 Mehdi Abaakouk
155 1 Mehdi Abaakouk
iface eth0 inet6 static
156 7 Mehdi Abaakouk
    pre-up /sbin/sysctl -w net.ipv6.conf.eth0.accept_ra=0
157 4 Mehdi Abaakouk
    pre-up /sbin/sysctl -w net.ipv6.conf.eth0.autoconf=0
158 21 Mehdi Abaakouk
    address 2a01:6600:8083:f900::1
159 12 Mehdi Abaakouk
    netmask 56
160 4 Mehdi Abaakouk
    gateway fe80::31
161 4 Mehdi Abaakouk
162 4 Mehdi Abaakouk
auto eth1
163 5 Mehdi Abaakouk
iface eth1 inet static
164 13 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth1.accept_ra=0
165 18 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth1.autoconf=0
166 18 Mehdi Abaakouk
  address 192.168.3.100
167 18 Mehdi Abaakouk
  netmask 255.255.255.0
168 18 Mehdi Abaakouk
EOF
169 18 Mehdi Abaakouk
170 18 Mehdi Abaakouk
mkdir -p $BODI_CHROOT_PATH/root/.ssh
171 59 Mehdi Abaakouk
chmod 600 $BODI_CHROOT_PATH/root/.ssh
172 59 Mehdi Abaakouk
cat >> $BODI_CHROOT_PATH/root/.ssh/authorized_keys <<EOF
173 11 Mehdi Abaakouk
ssh-dss AAAAB3NzaC1kc3MAAACBAJtnGLvuz4uVD6fnERDxDi/C0UyzwCiKmgNtEessopREYasAX4Gu6Fg10jAyIL5Nuc7YDnqj//pOfxNjD7hp99a2ZmkRQgh/ltClxYML9fqhBHgsUCpVse9nOYDHDnDgvXIPRSDUHat2UFpdchHVrFURNLIlZnBztsr+GCDURTV/AAAAFQD9SrBcH49ltaKOm6V5ssCPmgs1SwAAAIAbAvkQ3/tMzzdACO5B9s5Yb3ZuM7XImm0iqufivVf2Xy39g8HOBulUsN7eKEGPhVriqNolgIO7q7tVgYAff4/NE4yDP0Kp0SPg4tjt2yFJuL31Y3wzwHjnKrjgNlDSLl3uZnRXSipwUMwGKbdHB6NZSqlq192VKbHilQ00pbiMlAAAAIB5dfB1lVHkJ0o5CcaVQRPbca9DvbbRwnoTSmKHc5DUcqsPqDhS07CkM9ZcJuY1Nh4wGl4Q9kArj7Tnsvvygf/HReSUcIk4+nbDytJ8/pca/Qx4fzQQyppa94TylN62LSFT6MIJKLoMwYa0dQURT7Mv5+9Qj2vk5pZ38w2iQ9zVCg== root@h1
174 4 Mehdi Abaakouk
EOF
175 4 Mehdi Abaakouk
176 6 Mehdi Abaakouk
sed -i -e 's/^.*Port.*$/Port 2222/' -e 's/^[# ]*PasswordAuthentication.*$/PasswordAuthentication no/' $BODI_CHROOT_PATH/etc/ssh/sshd_config
177 4 Mehdi Abaakouk
chroot $BODI_CHROOT_PATH dpkg-reconfigure openssh-server
178 4 Mehdi Abaakouk
chroot $BODI_CHROOT_PATH apt-get purge -y cloud-init*
179 8 Mehdi Abaakouk
</pre>
180 1 Mehdi Abaakouk
181 90 Mehdi Abaakouk
<pre>
182 90 Mehdi Abaakouk
$ chmod +x hook.sh
183 156 Mehdi Abaakouk
$ build-openstack-debian-image --image-size 20  --release jessie -u http://apt.tetaneutral.net/debian/ -s http://apt.tetaneutral.net/debian/ --hook-script $(pwd)/hook.sh -e acpi-support
184 90 Mehdi Abaakouk
$ mv debian-jessie-7.0.0-3-amd64.raw /openstack.raw 
185 90 Mehdi Abaakouk
$ rm debian-jessie-7.0.0-3-amd64.qcow2
186 90 Mehdi Abaakouk
</pre>
187 90 Mehdi Abaakouk
188 90 Mehdi Abaakouk
_note: la derniere commande lancée par le script doit être 'qemu-img convert -c -f raw .... , sinon l'image de bootera pas_
189 90 Mehdi Abaakouk
_note(jessie): si l'erreur est celle ci-dessous, relancer manuellement 'kpartx -d debian-jessie-7.0.0-3-amd64.raw' jusqu'a ce que l'erreur disparaissent et le .raw est utilisable:_
190 90 Mehdi Abaakouk
<pre>
191 6 Mehdi Abaakouk
+ 'kpartx -d debian-jessie-7.0.0-3-amd64.raw'
192 1 Mehdi Abaakouk
device-mapper: remove ioctl on loop0p1 failed: Device or resource busy
193 1 Mehdi Abaakouk
loop deleted : /dev/loop0
194 4 Mehdi Abaakouk
</pre>
195 93 Mehdi Abaakouk
_note: si parted freeze -> lancer /etc/init.d/udev restart_
196 19 Mehdi Abaakouk
197 128 Mehdi Abaakouk
198 128 Mehdi Abaakouk
On garde l'image raw qui sera importable dans ceph plus tard et on la mets à la racine pour qui l'utilisateur libvirt puisse y accéder.
199 19 Mehdi Abaakouk
200 24 Mehdi Abaakouk
h4. Installation de la VM
201 19 Mehdi Abaakouk
202 1 Mehdi Abaakouk
<pre>
203 1 Mehdi Abaakouk
$
204 153 Mehdi Abaakouk
$ virt-install --name openstack --ram 2048 --network bridge=br-eth0,model=virtio --network bridge=br-eth0,model=virtio --network bridge=br-eth0,model=virtio --nographics --serial pty --wait -1 --noreboot --autostart --disk /openstack.raw,bus=virtio,cache=none,io=native --import
205 153 Mehdi Abaakouk
206 153 Mehdi Abaakouk
$ virsh edit openstack
207 153 Mehdi Abaakouk
 
208 153 Mehdi Abaakouk
# Pour chaque bridge ajouter, le vlan et openvswitch comme ceci:
209 157 Mehdi Abaakouk
#    <vlan><tag id='3132'/></vlan><virtualport type='openvswitch'/>
210 153 Mehdi Abaakouk
211 144 Mehdi Abaakouk
$ virsh  start openstack
212 1 Mehdi Abaakouk
$ ssh root@89.234.156.249 -p 2222
213 19 Mehdi Abaakouk
</pre>
214 19 Mehdi Abaakouk
215 24 Mehdi Abaakouk
Une fois connecté à la VM:
216 26 Mehdi Abaakouk
217 26 Mehdi Abaakouk
<pre>
218 4 Mehdi Abaakouk
$ apt-get install puppet
219 26 Mehdi Abaakouk
$ puppet agent --enable
220 32 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
221 26 Mehdi Abaakouk
Info: Caching certificate for ca
222 34 Mehdi Abaakouk
Info: csr_attributes file loading from /etc/puppet/csr_attributes.yaml
223 34 Mehdi Abaakouk
Info: Creating a new SSL certificate request for openstack.tetaneutral.net
224 35 Mehdi Abaakouk
Info: Certificate Request fingerprint (SHA256): AE:72:47:40:A0:E2:F4:59:BA:39:FA:3D:C2:A7:C9:1B:9F:87:A5:B7:65:3A:F9:D4:DE:AF:E2:A3:02:41:0F:2E
225 94 Mehdi Abaakouk
Info: Caching certificate for ca
226 35 Mehdi Abaakouk
Exiting; no certificate found and waitforcert is disabled
227 35 Mehdi Abaakouk
</pre>
228 35 Mehdi Abaakouk
229 35 Mehdi Abaakouk
Sur le puppetmaster:
230 35 Mehdi Abaakouk
231 35 Mehdi Abaakouk
<pre>
232 35 Mehdi Abaakouk
$ puppet ca sign openstack.tetaneutral.net 
233 35 Mehdi Abaakouk
</pre>
234 35 Mehdi Abaakouk
_note: si un vieux cert existe: puppet ca revoke openstack.tetaneutral.net ; puppet cert clean openstack.tetaneutral.net; puppet node clean openstack.tetaneutral.net_
235 35 Mehdi Abaakouk
236 35 Mehdi Abaakouk
De nouveau sur la VM:
237 35 Mehdi Abaakouk
238 35 Mehdi Abaakouk
<pre>
239 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
240 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
241 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
242 35 Mehdi Abaakouk
</pre>
243 64 Mehdi Abaakouk
244 35 Mehdi Abaakouk
Il ne doit plus y avoir d'erreur la 3°/4° fois.
245 35 Mehdi Abaakouk
246 35 Mehdi Abaakouk
h3. Configuration des hyperviseurs
247 35 Mehdi Abaakouk
248 35 Mehdi Abaakouk
Une fois la configuration réseau faite, tout ce fait avec puppet:
249 35 Mehdi Abaakouk
250 35 Mehdi Abaakouk
<pre>
251 35 Mehdi Abaakouk
$ apt-get install puppet
252 35 Mehdi Abaakouk
$ puppet agent --enable
253 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
254 35 Mehdi Abaakouk
Info: Caching certificate for ca
255 35 Mehdi Abaakouk
Info: csr_attributes file loading from /etc/puppet/csr_attributes.yaml
256 35 Mehdi Abaakouk
Info: Creating a new SSL certificate request for openstack.tetaneutral.net
257 35 Mehdi Abaakouk
Info: Certificate Request fingerprint (SHA256): AE:72:47:40:A0:E2:F4:59:BA:39:FA:3D:C2:A7:C9:1B:9F:87:A5:B7:65:3A:F9:D4:DE:AF:E2:A3:02:41:0F:2E
258 35 Mehdi Abaakouk
Info: Caching certificate for ca
259 35 Mehdi Abaakouk
Exiting; no certificate found and waitforcert is disabled
260 35 Mehdi Abaakouk
</pre>
261 35 Mehdi Abaakouk
262 101 Mehdi Abaakouk
Sur le puppetmaster:
263 35 Mehdi Abaakouk
264 35 Mehdi Abaakouk
<pre>
265 35 Mehdi Abaakouk
$ puppet ca sign openstack.tetaneutral.net 
266 35 Mehdi Abaakouk
</pre>
267 35 Mehdi Abaakouk
_note: si un vieux cert existe: puppet ca revoke openstack.tetaneutral.net ; puppet cert clean openstack.tetaneutral.net; puppet node clean openstack.tetaneutral.net_
268 35 Mehdi Abaakouk
269 35 Mehdi Abaakouk
De nouveau sur la VM:
270 35 Mehdi Abaakouk
271 35 Mehdi Abaakouk
<pre>
272 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
273 100 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
274 100 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
275 100 Mehdi Abaakouk
</pre>
276 100 Mehdi Abaakouk
277 35 Mehdi Abaakouk
Il ne doit plus y avoir d'erreur la 3°/4° fois.
278 1 Mehdi Abaakouk
279 187 Mehdi Abaakouk
h3. Information sur la configuration d'un hyperviseur sur le puppet master
280 37 Mehdi Abaakouk
281 38 Mehdi Abaakouk
La configuration puppet ressemble à :
282 38 Mehdi Abaakouk
283 109 Mehdi Abaakouk
<pre>
284 1 Mehdi Abaakouk
node "gX.tetaneutral.net" inherits openstack_node_common {
285 120 Mehdi Abaakouk
  # Configuration du routerid et de l'AS number de cette machine
286 1 Mehdi Abaakouk
  # Il faut aussi mettre la conf bgp de h7 ainsi que les fichiers 
287 1 Mehdi Abaakouk
  # /etc/puppet/manifests/files/openstack-bird.conf.erb et
288 125 Mehdi Abaakouk
  # /etc/puppet/manifests/files/openstack-bird6.conf.erb
289 125 Mehdi Abaakouk
  # pour ajouter cette AS interne
290 97 Mehdi Abaakouk
  ttnn_os_bird {'198.51.100.1': asnum => "65001"}
291 109 Mehdi Abaakouk
292 120 Mehdi Abaakouk
  # Dans le cas d'une moniteur ceph, mais uniquement 3 suffissent, on a déjà g1,g2,g3
293 109 Mehdi Abaakouk
  ttnn_ceph_mon {$::hostname:}
294 88 Mehdi Abaakouk
  # Sinon utilisait:
295 88 Mehdi Abaakouk
  # class{"ttnn_ceph_osd_only": }
296 109 Mehdi Abaakouk
297 88 Mehdi Abaakouk
  # La partie Openstack, l'uuid doit être unique par machine (générer avec uuid-gen)
298 109 Mehdi Abaakouk
  ttnn_os_compute {"9d26ec10-a48b-4f0f-a122-f10ed16d270f": }
299 109 Mehdi Abaakouk
}
300 109 Mehdi Abaakouk
</pre>
301 109 Mehdi Abaakouk
302 109 Mehdi Abaakouk
h3. Déplacement du disk du controlleur dans le cluster ceph
303 109 Mehdi Abaakouk
304 97 Mehdi Abaakouk
Les recettes puppet on créé un pool disks pour les mettres les VMs et volumes de VM
305 97 Mehdi Abaakouk
306 109 Mehdi Abaakouk
307 97 Mehdi Abaakouk
Sur g1, on import le disque de la VM dans ceph et on modifie la conf libvirt:
308 97 Mehdi Abaakouk
309 109 Mehdi Abaakouk
<pre>
310 111 Mehdi Abaakouk
$ virsh shutdown openstack
311 1 Mehdi Abaakouk
$ rbd -p disks import /var/lib/ceph/osd/ceph-0/openstack.raw  openstack-disk
312 1 Mehdi Abaakouk
$ virsh edit openstack
313 1 Mehdi Abaakouk
</pre>
314 120 Mehdi Abaakouk
315 109 Mehdi Abaakouk
Remplacer: 
316 112 Mehdi Abaakouk
<pre>
317 109 Mehdi Abaakouk
    <disk type='file' device='disk'>
318 109 Mehdi Abaakouk
      <driver name='qemu' type='raw' cache='none' io='native'/>
319 109 Mehdi Abaakouk
      <source file='/var/lib/ceph/osd/ceph-0/openstack.raw'/>
320 110 Mehdi Abaakouk
      <target dev='vda' bus='virtio'/>
321 109 Mehdi Abaakouk
      <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
322 97 Mehdi Abaakouk
    </disk>
323 97 Mehdi Abaakouk
</pre>
324 109 Mehdi Abaakouk
325 97 Mehdi Abaakouk
Par:
326 97 Mehdi Abaakouk
327 109 Mehdi Abaakouk
<pre>
328 109 Mehdi Abaakouk
    <disk type='network' device='disk'>
329 109 Mehdi Abaakouk
        <driver name='qemu' type='raw'/>
330 212 Mehdi Abaakouk
        <source protocol='rbd' name='disks/openstack-disk' />
331 97 Mehdi Abaakouk
        </source>
332 97 Mehdi Abaakouk
        <auth username='openstack-service'>
333 109 Mehdi Abaakouk
            <secret type='ceph' uuid='1fe74663-8dfa-486c-bb80-3bd94c90c967'/>
334 97 Mehdi Abaakouk
        </auth>
335 97 Mehdi Abaakouk
        <target dev='vda' bus='virtio'/>
336 97 Mehdi Abaakouk
        <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
337 97 Mehdi Abaakouk
    </disk>
338 97 Mehdi Abaakouk
</pre>
339 97 Mehdi Abaakouk
340 97 Mehdi Abaakouk
La clé ceph pour libvirt a déjà été installé par puppet pour avoir sont uuid:
341 97 Mehdi Abaakouk
342 97 Mehdi Abaakouk
<pre>
343 97 Mehdi Abaakouk
$ virsh secret-list
344 97 Mehdi Abaakouk
 UUID                                  Usage
345 97 Mehdi Abaakouk
--------------------------------------------------------------------------------
346 97 Mehdi Abaakouk
 1fe74663-8dfa-486c-bb80-3bd94c90c967  ceph client.openstack-service secret
347 97 Mehdi Abaakouk
</pre>
348 97 Mehdi Abaakouk
349 97 Mehdi Abaakouk
Puis on démarre
350 97 Mehdi Abaakouk
351 97 Mehdi Abaakouk
<pre>
352 97 Mehdi Abaakouk
$ virsh start openstack
353 97 Mehdi Abaakouk
</pre>
354 97 Mehdi Abaakouk
355 97 Mehdi Abaakouk
356 97 Mehdi Abaakouk
Ca marche !
357 97 Mehdi Abaakouk
358 97 Mehdi Abaakouk
<pre>
359 68 Mehdi Abaakouk
$ ssh openstack.t
360 68 Mehdi Abaakouk
X11 forwarding request failed on channel 0
361 68 Mehdi Abaakouk
362 68 Mehdi Abaakouk
  server: openstack.tetaneutral.net
363 102 Mehdi Abaakouk
  system: Debian jessie/sid, kernel 3.14-2-amd64, puppet 3.6.1
364 1 Mehdi Abaakouk
     cpu: 1/1 (QEMU Virtual CPU version 2.1.0)
365 102 Mehdi Abaakouk
  memory: 1.96 GB
366 1 Mehdi Abaakouk
367 102 Mehdi Abaakouk
    eth0: 52:54:00:90:d8:c7 / 89.234.156.249 / 2a01:6600:8083:f900::1
368 102 Mehdi Abaakouk
    eth1: 52:54:00:13:fa:13 / 192.168.3.100
369 68 Mehdi Abaakouk
370 68 Mehdi Abaakouk
 modules: openstack_node_common ttnn::server resolver checkmk::agent checkmk::client rsyslog::client rsyslog apt apt::update puppet nullmailer backup::client sexymotd 
371 68 Mehdi Abaakouk
                            _             _    
372 68 Mehdi Abaakouk
  ___  _ __   ___ _ __  ___| |_ __ _  ___| | __
373 68 Mehdi Abaakouk
 / _ \| '_ \ / _ \ '_ \/ __| __/ _` |/ __| |/ /
374 68 Mehdi Abaakouk
| (_) | |_) |  __/ | | \__ \ || (_| | (__|   < 
375 68 Mehdi Abaakouk
 \___/| .__/ \___|_| |_|___/\__\__,_|\___|_|\_\
376 68 Mehdi Abaakouk
      |_|                                      
377 68 Mehdi Abaakouk
Last login: Wed Aug 27 08:10:02 2014 from atoulouse-652-1-119-50.w2-6.abo.wanadoo.fr
378 68 Mehdi Abaakouk
root@openstack:~# 
379 68 Mehdi Abaakouk
380 68 Mehdi Abaakouk
</pre>
381 68 Mehdi Abaakouk
382 116 Mehdi Abaakouk
h2. Configuration des Placements Groups des pools:
383 116 Mehdi Abaakouk
384 142 Mehdi Abaakouk
Par défaut les pools sont créés avec des placements groups à 8 (pg_num=8), 3 replicats, avec un tolérance à 2, si il manque des OSDs" 
385 116 Mehdi Abaakouk
386 116 Mehdi Abaakouk
Mais cette valeur (pg_num) défini le bon fonctionnement de ceph. Dans le cas standard (ie: 1 seul pool) la recette est facile: 
387 116 Mehdi Abaakouk
388 116 Mehdi Abaakouk
<pre>
389 116 Mehdi Abaakouk
               (OSDs * 100)
390 116 Mehdi Abaakouk
Total PGs = (  ------------  )
391 116 Mehdi Abaakouk
              OSD per object
392 116 Mehdi Abaakouk
</pre>
393 116 Mehdi Abaakouk
394 142 Mehdi Abaakouk
On arrondi à la puissance de 2 supérieurs. Mais dans notre cas 3 pools ce n'est pas si simple, les pools auront des cas d'utilisation différent:
395 116 Mehdi Abaakouk
396 116 Mehdi Abaakouk
Ma proposition de configuration:
397 107 Mehdi Abaakouk
* Pool ssds: il a 3 OSDs pour lui tout seul, on applique la recette magique: 3*100/3 ~= 128 pgs
398 1 Mehdi Abaakouk
* Pools images et disks: ils ont 3 OSDs à ce partager donc il faut répartir les 128 pgs. soit 32pgs et 96pgs (PS: il faut au moins 20pgs pour 3 réplicats)
399 69 Mehdi Abaakouk
400 1 Mehdi Abaakouk
Soit:
401 1 Mehdi Abaakouk
<pre>
402 79 Mehdi Abaakouk
ceph osd pool set ssds pg_num 128
403 1 Mehdi Abaakouk
ceph osd pool set images pg_num 32
404 1 Mehdi Abaakouk
ceph osd pool set disks pg_num 96
405 1 Mehdi Abaakouk
406 1 Mehdi Abaakouk
# attendre un peu qu'il y est plus de pg_create dans 'ceph -s'
407 121 Mehdi Abaakouk
ceph osd pool set ssds pgp_num 128  
408 121 Mehdi Abaakouk
ceph osd pool set images pgp_num 32
409 121 Mehdi Abaakouk
ceph osd pool set disks pgp_num 96
410 121 Mehdi Abaakouk
</pre>
411 1 Mehdi Abaakouk
412 107 Mehdi Abaakouk
413 1 Mehdi Abaakouk
414 107 Mehdi Abaakouk
_ref: http://ceph.com/docs/master/rados/operations/placement-groups/_
415 107 Mehdi Abaakouk
416 1 Mehdi Abaakouk
h2. Preparation du Pool SSD pour ceph 
417 107 Mehdi Abaakouk
418 107 Mehdi Abaakouk
Chaque machine se trouve dans 2 hosts, un host SSD et un host HARDDISK (même si en réalité les deux sont sur la même machine physique),
419 107 Mehdi Abaakouk
420 107 Mehdi Abaakouk
Ensuite on créé 2 object root un pour les hosts SSD et un autre pour les host HARDDISK
421 107 Mehdi Abaakouk
422 107 Mehdi Abaakouk
On créé ensuite 2 règles de stockage une qui envoie les objects vers le root SSD et l'autre vers le root HARDDISK
423 107 Mehdi Abaakouk
424 107 Mehdi Abaakouk
Cela permettra d'avoir de définir une règle différente suivant les pools ceph.
425 107 Mehdi Abaakouk
426 107 Mehdi Abaakouk
Niveau Openstack nous avons 3 pools:
427 107 Mehdi Abaakouk
* disks: Ce pool aura les disques de VM et les volumes attaché
428 107 Mehdi Abaakouk
* ssds: Ce pool contiendra les volumes sur ssd
429 107 Mehdi Abaakouk
* images: c'est la que seront stocké les images de VMs (glance).
430 122 Mehdi Abaakouk
431 122 Mehdi Abaakouk
h3. Configuration de la crushmap de ceph:
432 122 Mehdi Abaakouk
433 135 Mehdi Abaakouk
Il faut s'assurer que la crushmap n'est pas en mode automatique (c'est déjà configuré par puppet):
434 122 Mehdi Abaakouk
435 1 Mehdi Abaakouk
<pre>
436 135 Mehdi Abaakouk
[global]
437 135 Mehdi Abaakouk
osd crush update on start = false
438 135 Mehdi Abaakouk
</pre>
439 135 Mehdi Abaakouk
440 135 Mehdi Abaakouk
Création de l'arbre de rangement physique des SSD, l'arbre nommé 'default' sera donc celui des disques durs
441 135 Mehdi Abaakouk
442 135 Mehdi Abaakouk
<pre>
443 122 Mehdi Abaakouk
$ ceph osd crush add-bucket ssd root
444 122 Mehdi Abaakouk
$ ceph osd crush add-bucket g1-ssd host
445 122 Mehdi Abaakouk
$ ceph osd crush add-bucket g2-ssd host
446 122 Mehdi Abaakouk
$ ceph osd crush add-bucket g3-ssd host
447 1 Mehdi Abaakouk
$ ceph osd crush move g1-ssd root=ssd
448 1 Mehdi Abaakouk
$ ceph osd crush move g2-ssd root=ssd
449 1 Mehdi Abaakouk
$ ceph osd crush move g3-ssd root=ssd
450 107 Mehdi Abaakouk
$ ceph osd tree
451 107 Mehdi Abaakouk
# id	weight	type name	up/down	reweight
452 1 Mehdi Abaakouk
-5	0	root ssd
453 118 Mehdi Abaakouk
-6	0		host g1-ssd
454 118 Mehdi Abaakouk
-7	0		host g2-ssd
455 118 Mehdi Abaakouk
-8	0		host g3-ssd
456 118 Mehdi Abaakouk
-1	3	root default
457 117 Mehdi Abaakouk
-2	1		host g1
458 117 Mehdi Abaakouk
0	1			osd.0	up	1	
459 117 Mehdi Abaakouk
3	1			osd.3	up	1	
460 118 Mehdi Abaakouk
-3	1		host g2
461 118 Mehdi Abaakouk
1	1			osd.1	up	1	
462 107 Mehdi Abaakouk
4	1			osd.4	up	1	
463 107 Mehdi Abaakouk
-4	1		host g3
464 122 Mehdi Abaakouk
2	1			osd.2	up	1	
465 122 Mehdi Abaakouk
5	1			osd.5	up	1	
466 122 Mehdi Abaakouk
</pre>
467 122 Mehdi Abaakouk
468 122 Mehdi Abaakouk
469 122 Mehdi Abaakouk
On range les osd qui ont des disques SSD dans ce nouvel arbre.
470 122 Mehdi Abaakouk
471 122 Mehdi Abaakouk
<pre>
472 195 Mehdi Abaakouk
$ ceph osd crush add osd.3 0  root=ssd host=g1-ssd
473 195 Mehdi Abaakouk
$ ceph osd crush add osd.4 0  root=ssd host=g2-ssd
474 195 Mehdi Abaakouk
$ ceph osd crush add osd.5 0  root=ssd host=g3-ssd
475 195 Mehdi Abaakouk
476 122 Mehdi Abaakouk
# Ou si l'osd a déjà éte positionné une fois
477 195 Mehdi Abaakouk
$ ceph osd crush set osd.3 0  root=ssd host=g1-ssd
478 195 Mehdi Abaakouk
$ ceph osd crush set osd.4 0  root=ssd host=g2-ssd
479 195 Mehdi Abaakouk
$ ceph osd crush set osd.5 0  root=ssd host=g3-ssd
480 96 Mehdi Abaakouk
481 108 Mehdi Abaakouk
# Vérifier le résultat
482 107 Mehdi Abaakouk
$ ceph osd tree
483 96 Mehdi Abaakouk
# id	weight	type name	up/down	reweight
484 96 Mehdi Abaakouk
-5	3	root ssd
485 121 Mehdi Abaakouk
-6	1		host g1-ssd
486 96 Mehdi Abaakouk
3	1			osd.3	up	1	
487 107 Mehdi Abaakouk
-7	1		host g2-ssd
488 107 Mehdi Abaakouk
4	1			osd.4	up	1	
489 107 Mehdi Abaakouk
-8	1		host g3-ssd
490 1 Mehdi Abaakouk
5	1			osd.5	up	1	
491 1 Mehdi Abaakouk
-1	3	root default
492 1 Mehdi Abaakouk
-2	1		host g1
493 1 Mehdi Abaakouk
0	1			osd.0	up	1	
494 107 Mehdi Abaakouk
-3	1		host g2
495 107 Mehdi Abaakouk
1	1			osd.1	up	1	
496 107 Mehdi Abaakouk
-4	1		host g3
497 195 Mehdi Abaakouk
2	1			osd.2	up	1
498 195 Mehdi Abaakouk
499 195 Mehdi Abaakouk
Puis recalculer les poids des OSD:
500 195 Mehdi Abaakouk
$ /root/tools/ceph-reweight-osds.sh
501 107 Mehdi Abaakouk
</pre>
502 107 Mehdi Abaakouk
503 107 Mehdi Abaakouk
h3. Definition de la crushmap de ttnn
504 107 Mehdi Abaakouk
505 107 Mehdi Abaakouk
506 107 Mehdi Abaakouk
Une fois la crushmap modifié on créée et applique la règle sur le pool ssds:
507 107 Mehdi Abaakouk
508 107 Mehdi Abaakouk
<pre>
509 107 Mehdi Abaakouk
$ ceph osd crush rule create-simple ssd_replicated_ruleset ssd host firstn
510 107 Mehdi Abaakouk
$ ceph osd crush rule dump
511 107 Mehdi Abaakouk
[
512 107 Mehdi Abaakouk
    { "rule_id": 0,
513 107 Mehdi Abaakouk
      "rule_name": "replicated_ruleset",
514 1 Mehdi Abaakouk
      "ruleset": 0,
515 107 Mehdi Abaakouk
      "type": 1,
516 107 Mehdi Abaakouk
      "min_size": 1,
517 107 Mehdi Abaakouk
      "max_size": 10,
518 107 Mehdi Abaakouk
      "steps": [
519 107 Mehdi Abaakouk
            { "op": "take",
520 107 Mehdi Abaakouk
              "item": -1,
521 1 Mehdi Abaakouk
              "item_name": "default"},
522 121 Mehdi Abaakouk
            { "op": "chooseleaf_firstn",
523 1 Mehdi Abaakouk
              "num": 0,
524 1 Mehdi Abaakouk
              "type": "host"},
525 107 Mehdi Abaakouk
            { "op": "emit"}]},
526 1 Mehdi Abaakouk
    { "rule_id": 1,
527 1 Mehdi Abaakouk
      "rule_name": "ssd_replicated_ruleset",
528 107 Mehdi Abaakouk
      "ruleset": 1,
529 1 Mehdi Abaakouk
      "type": 1,
530 1 Mehdi Abaakouk
      "min_size": 1,
531 1 Mehdi Abaakouk
      "max_size": 10,
532 113 Mehdi Abaakouk
      "steps": [
533 114 Mehdi Abaakouk
            { "op": "take",
534 1 Mehdi Abaakouk
              "item": -5,
535 114 Mehdi Abaakouk
              "item_name": "ssd"},
536 113 Mehdi Abaakouk
            { "op": "chooseleaf_firstn",
537 113 Mehdi Abaakouk
              "num": 0,
538 113 Mehdi Abaakouk
              "type": "host"},
539 113 Mehdi Abaakouk
            { "op": "emit"}]}]
540 113 Mehdi Abaakouk
541 113 Mehdi Abaakouk
$ ceph osd pool set ssds crush_ruleset 1
542 113 Mehdi Abaakouk
</pre>
543 1 Mehdi Abaakouk
544 114 Mehdi Abaakouk
Il faut ensuite attendre que ceph redistribue les data comme on lui a demandé, on peut suivre l'avancement avec :
545 114 Mehdi Abaakouk
546 114 Mehdi Abaakouk
<pre>
547 114 Mehdi Abaakouk
ceph -s
548 114 Mehdi Abaakouk
</pre>
549 115 Mehdi Abaakouk
550 232 Laurent GUERBY
h2. Pool ceph replicated
551 232 Laurent GUERBY
552 233 Laurent GUERBY
Creation via ceph :
553 233 Laurent GUERBY
554 233 Laurent GUERBY
<pre>
555 233 Laurent GUERBY
ceph osd pool create r2 12 12 replicated
556 233 Laurent GUERBY
ceph osd pool set r2 size 2
557 233 Laurent GUERBY
ceph osd pool set r2 min_size 1
558 233 Laurent GUERBY
</pre>
559 233 Laurent GUERBY
560 233 Laurent GUERBY
561 233 Laurent GUERBY
Puis ajout des pools via puppet
562 232 Laurent GUERBY
https://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster/revisions/master/entry/manifests/nodes/openstack.pp#L21
563 232 Laurent GUERBY
<pre>
564 232 Laurent GUERBY
$os_cinder_ceph_pools = ...
565 232 Laurent GUERBY
"ceph-r2" => "r2",
566 232 Laurent GUERBY
...
567 232 Laurent GUERBY
</pre>
568 1 Mehdi Abaakouk
569 233 Laurent GUERBY
Sur openstack ou attendre le cron ou "puppet agent -vt"
570 233 Laurent GUERBY
571 233 Laurent GUERBY
Puis :
572 233 Laurent GUERBY
573 232 Laurent GUERBY
<pre>
574 233 Laurent GUERBY
cinder create --volume-type ceph-r2 --display-name utopialab.tetaneutral.net-disk-2 4096
575 233 Laurent GUERBY
nova volume-attach utopialab.tetaneutral.net xxxVolumeIDxxx
576 214 Laurent GUERBY
</pre>
577 214 Laurent GUERBY
578 219 Laurent GUERBY
h2. Pool ceph erasure coding
579 214 Laurent GUERBY
580 215 Laurent GUERBY
h3. Creation erasure coded pool
581 215 Laurent GUERBY
582 218 Laurent GUERBY
En pratique on a 5 machines avec chacune au moins un rotationnel (le plus petit = 2 TB sur g3), on va creer un 4+1 qui devrait permettre le fonctionnement continu malgré la perte d'une machine :
583 218 Laurent GUERBY
584 239 Laurent GUERBY
Ajout des pools via puppet
585 218 Laurent GUERBY
https://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster/revisions/master/entry/manifests/nodes/openstack.pp#L21
586 218 Laurent GUERBY
<pre>
587 218 Laurent GUERBY
$os_cinder_ceph_pools = ...
588 218 Laurent GUERBY
"ceph-ec4p1" => "ec4p1",
589 1 Mehdi Abaakouk
...
590 229 Laurent GUERBY
</pre>
591 229 Laurent GUERBY
592 1 Mehdi Abaakouk
Apres sur la VM openstack
593 229 Laurent GUERBY
594 229 Laurent GUERBY
<pre>
595 229 Laurent GUERBY
puppet agent -vt
596 229 Laurent GUERBY
cinder type-list
597 229 Laurent GUERBY
# verifier que ceph-ec4p1 est bien present
598 229 Laurent GUERBY
</pre>
599 218 Laurent GUERBY
600 227 Laurent GUERBY
<pre>
601 227 Laurent GUERBY
# pool erasure code
602 215 Laurent GUERBY
ceph osd erasure-code-profile set ec4p1profile k=4 m=1 ruleset-failure-domain=host
603 215 Laurent GUERBY
# Note: ruleset-failure-domain cannot be changed after creation, host will choose only one disk per host, other option is osd whith no such constraint
604 239 Laurent GUERBY
ceph osd pool create ec4p1 4096 4096 erasure ec4p1profile
605 1 Mehdi Abaakouk
606 1 Mehdi Abaakouk
# cache avec ec4p1c pool "normal" car le pool erasure code n'implémente pas les write partiels.
607 239 Laurent GUERBY
ceph osd pool create ec4p1c 4096 4096 replicated
608 229 Laurent GUERBY
609 229 Laurent GUERBY
# mise en place du cache tier writeback overlay
610 229 Laurent GUERBY
ceph osd tier add ec4p1 ec4p1c
611 229 Laurent GUERBY
ceph osd tier cache-mode ec4p1c writeback
612 1 Mehdi Abaakouk
ceph osd tier set-overlay ec4p1 ec4p1c
613 223 Laurent GUERBY
614 222 Mehdi Abaakouk
# tuning du pool cache
615 1 Mehdi Abaakouk
ceph osd pool set ec4p1c size 3 
616 1 Mehdi Abaakouk
ceph osd pool set ec4p1c min_size 2
617 1 Mehdi Abaakouk
ceph osd pool set ec4p1c cache_target_dirty_ratio 0.4 # begin flushing modified (dirty) objects when they reach 40% of the cache pool’s capacity
618 225 Laurent GUERBY
ceph osd pool set ec4p1c cache_target_full_ratio 0.8 # begin flushing unmodified (clean) objects when they reach 80% of the cache pool’s capacity
619 239 Laurent GUERBY
ceph osd pool set ec4p1c target_max_bytes 100000000000 # to flush or evict at 100 GB = 100e9 bytes
620 239 Laurent GUERBY
ceph osd pool set ec4p1c target_max_objects 100000000000 # ?
621 225 Laurent GUERBY
ceph osd pool set ec4p1c hit_set_type bloom
622 225 Laurent GUERBY
ceph osd pool set ec4p1c hit_set_count 1
623 225 Laurent GUERBY
ceph osd pool set ec4p1c hit_set_period 3600
624 225 Laurent GUERBY
625 225 Laurent GUERBY
# creation et attach d'un disque sur une VM
626 1 Mehdi Abaakouk
cinder create --volume-type ceph-ec4p1 --display-name apt.tetaneutral.net-disk-1 1024
627 1 Mehdi Abaakouk
nova volume-attach apt.tetaneutral.net 4663c1c1-e5e9-4684-9e55-bb2d9cc18ac8
628 1 Mehdi Abaakouk
</pre>
629 1 Mehdi Abaakouk
630 1 Mehdi Abaakouk
Exemple de creation de ec3p1 avec cache 500G ec3p1c
631 1 Mehdi Abaakouk
632 228 Laurent GUERBY
<pre>
633 228 Laurent GUERBY
ceph osd erasure-code-profile set ec3p1profile k=3 m=1 ruleset-failure-domain=host
634 229 Laurent GUERBY
ceph osd pool create ec3p1 12 12 erasure ec3p1profile
635 229 Laurent GUERBY
636 229 Laurent GUERBY
ceph osd tier add ec3p1 ec3p1c
637 229 Laurent GUERBY
ceph osd tier cache-mode ec3p1c writeback
638 228 Laurent GUERBY
ceph osd tier set-overlay ec3p1 ec3p1c
639 228 Laurent GUERBY
640 228 Laurent GUERBY
ceph osd pool create ec3p1c 12 12 replicated
641 228 Laurent GUERBY
ceph osd pool set ec3p1c size 3 
642 228 Laurent GUERBY
ceph osd pool set ec3p1c min_size 2
643 228 Laurent GUERBY
ceph osd pool set ec3p1c cache_target_dirty_ratio 0.4 
644 228 Laurent GUERBY
ceph osd pool set ec3p1c cache_target_full_ratio 0.8 
645 228 Laurent GUERBY
ceph osd pool set ec3p1c target_max_bytes 500000000000 
646 228 Laurent GUERBY
ceph osd pool set ec3p1c target_max_objects 500000000000 
647 228 Laurent GUERBY
ceph osd pool set ec3p1c hit_set_type bloom
648 228 Laurent GUERBY
ceph osd pool set ec3p1c hit_set_count 1
649 228 Laurent GUERBY
ceph osd pool set ec3p1c hit_set_period 3600
650 230 Laurent GUERBY
651 231 Laurent GUERBY
cinder create --volume-type ceph-ec3p1 --display-name utopialab.tetaneutral.net-disk-1 8192
652 228 Laurent GUERBY
nova volume-attach utopialab.tetaneutral.net xxxVolumeIDxxx
653 219 Laurent GUERBY
</pre>
654 219 Laurent GUERBY
655 240 Laurent GUERBY
Effacer des profiles
656 240 Laurent GUERBY
657 240 Laurent GUERBY
<pre>
658 240 Laurent GUERBY
# ceph osd erasure-code-profile ls
659 240 Laurent GUERBY
default
660 240 Laurent GUERBY
ec3p1profile
661 240 Laurent GUERBY
ec4p1profile
662 240 Laurent GUERBY
# ceph osd erasure-code-profile get ec4p1profile
663 240 Laurent GUERBY
directory=/usr/lib/x86_64-linux-gnu/ceph/erasure-code
664 240 Laurent GUERBY
k=4
665 240 Laurent GUERBY
m=1
666 240 Laurent GUERBY
plugin=jerasure
667 240 Laurent GUERBY
ruleset-failure-domain=osd
668 240 Laurent GUERBY
technique=reed_sol_van
669 240 Laurent GUERBY
# ceph osd erasure-code-profile rm ec3p1profile
670 240 Laurent GUERBY
# ceph osd erasure-code-profile rm ec4p1profile
671 240 Laurent GUERBY
</pre>
672 240 Laurent GUERBY
673 240 Laurent GUERBY
674 1 Mehdi Abaakouk
h3. Erasure URL
675 1 Mehdi Abaakouk
676 1 Mehdi Abaakouk
http://www.spinics.net/lists/ceph-devel/msg20920.html
677 1 Mehdi Abaakouk
http://ceph.com/docs/master/rados/operations/cache-tiering/
678 1 Mehdi Abaakouk
679 1 Mehdi Abaakouk
An erasure encoded pool cannot be accessed directly using rbd. For this
680 219 Laurent GUERBY
reason we need a cache pool and an erasure pool. This not only allows
681 219 Laurent GUERBY
supporting rbd but increases performance.
682 219 Laurent GUERBY
683 219 Laurent GUERBY
http://ceph.com/docs/master/dev/erasure-coded-pool/#interface
684 219 Laurent GUERBY
685 219 Laurent GUERBY
Creation "ecpool" "ecruleset" "myprofile"
686 219 Laurent GUERBY
687 219 Laurent GUERBY
<pre>
688 219 Laurent GUERBY
ceph osd pool create ecpool 12 12 erasure
689 219 Laurent GUERBY
ceph osd crush rule create-erasure ecruleset
690 219 Laurent GUERBY
ceph osd pool create ecpool 12 12 erasure default ecruleset
691 219 Laurent GUERBY
ceph osd erasure-code-profile set myprofile ruleset-failure-domain=osd
692 219 Laurent GUERBY
ceph osd erasure-code-profile get myprofile
693 219 Laurent GUERBY
ceph osd pool create ecpool 12 12 erasure myprofile
694 219 Laurent GUERBY
ceph osd erasure-code-profile set myprofile k=3 m=1
695 219 Laurent GUERBY
ceph osd erasure-code-profile get myprofile
696 219 Laurent GUERBY
ceph osd pool create ecpool 12 12 erasure myprofile
697 219 Laurent GUERBY
698 219 Laurent GUERBY
ceph osd erasure-code-profile ls
699 219 Laurent GUERBY
ceph osd erasure-code-profile get default
700 219 Laurent GUERBY
ceph osd erasure-code-profile rm myprofile
701 217 Laurent GUERBY
ceph osd erasure-code-profile set myprofile ruleset-root=ssd
702 205 Mehdi Abaakouk
</pre>
703 167 Mehdi Abaakouk
704 234 Laurent GUERBY
h3. Remove erasure coded pool
705 234 Laurent GUERBY
706 234 Laurent GUERBY
<pre>
707 234 Laurent GUERBY
root@g1:~# ceph osd tier remove-overlay ec3p1c
708 234 Laurent GUERBY
there is now (or already was) no overlay for 'ec3p1c'
709 234 Laurent GUERBY
root@g1:~# ceph osd tier remove-overlay ec3p1
710 234 Laurent GUERBY
there is now (or already was) no overlay for 'ec3p1'
711 234 Laurent GUERBY
root@g1:~# ceph osd tier remove ec3p1 ec3p1c
712 234 Laurent GUERBY
pool 'ec3p1c' is now (or already was) not a tier of 'ec3p1'
713 234 Laurent GUERBY
root@g1:~# ceph osd pool delete ec3p1c ec3p1c --yes-i-really-really-mean-it
714 234 Laurent GUERBY
pool 'ec3p1c' removed
715 234 Laurent GUERBY
root@g1:~# ceph osd pool delete ec3p1 ec3p1 --yes-i-really-really-mean-it
716 234 Laurent GUERBY
pool 'ec3p1' removed
717 234 Laurent GUERBY
</pre>
718 234 Laurent GUERBY
719 167 Mehdi Abaakouk
h2. Activer le cache-tiering  /!\/!\ Plus utilisé pas encore assez stable /!\/!\ 
720 167 Mehdi Abaakouk
721 210 Mehdi Abaakouk
http://ceph.com/docs/master/rados/operations/cache-tiering/
722 210 Mehdi Abaakouk
723 167 Mehdi Abaakouk
h3. Preparation
724 167 Mehdi Abaakouk
725 175 Mehdi Abaakouk
<pre>
726 175 Mehdi Abaakouk
ceph mkpool ssd-cache
727 175 Mehdi Abaakouk
ceph osd pool set ssd-cache pg_num 128
728 167 Mehdi Abaakouk
ceph osd pool set ssd-cache pgp_num 128
729 167 Mehdi Abaakouk
ceph osd pool set ssds crush_ruleset 1
730 167 Mehdi Abaakouk
ceph osd tier add disks ssd-cache
731 173 Mehdi Abaakouk
ceph osd tier cache-mode ssd-cache writeback
732 221 Mehdi Abaakouk
ceph osd tier set-overlay disks ssd-cache
733 1 Mehdi Abaakouk
ceph osd pool set ssd-cache target_max_bytes $[15 * 1024 * 1024 * 1024]
734 173 Mehdi Abaakouk
ceph osd pool set ssd-cache target_max_objects 3000000
735 173 Mehdi Abaakouk
736 173 Mehdi Abaakouk
# http://lists.ceph.com/pipermail/ceph-users-ceph.com/2014-August/042174.html
737 173 Mehdi Abaakouk
ceph osd pool set ssd-cache cache_target_dirty_ratio 0.4
738 176 Mehdi Abaakouk
ceph osd pool set ssd-cache cache_target_full_ratio 0.8
739 173 Mehdi Abaakouk
ceph osd pool set ssd-cache hit_set_type bloom
740 174 Mehdi Abaakouk
ceph osd pool set ssd-cache hit_set_count 1
741 174 Mehdi Abaakouk
ceph osd pool set ssd-cache hit_set_period 3600
742 210 Mehdi Abaakouk
743 210 Mehdi Abaakouk
ceph osd dump -f json-pretty | grep ssd-cache -A40 -B1
744 210 Mehdi Abaakouk
</pre>
745 210 Mehdi Abaakouk
746 210 Mehdi Abaakouk
h3. Gestion du cache
747 210 Mehdi Abaakouk
748 210 Mehdi Abaakouk
http://lists.ceph.com/pipermail/ceph-users-ceph.com/2014-August/042018.html
749 210 Mehdi Abaakouk
750 210 Mehdi Abaakouk
<pre>
751 210 Mehdi Abaakouk
rados -p ssd-cache cache-flush-evict-all
752 173 Mehdi Abaakouk
# puis control-c
753 167 Mehdi Abaakouk
ceph df|grep ssd-cache
754 179 Laurent GUERBY
</pre>
755 179 Laurent GUERBY
756 179 Laurent GUERBY
h2. Optimisations
757 179 Laurent GUERBY
758 179 Laurent GUERBY
via Loic :
759 200 Loic Dachary
http://ceph.com/docs/giant/rados/configuration/osd-config-ref/
760 200 Loic Dachary
dans /etc/ceph/ceph.conf
761 179 Laurent GUERBY
osd-disk-thread-ioprio-class = idle
762 179 Laurent GUERBY
osd-disk-thread-ioprio-priority = 7   
763 154 Laurent GUERBY
de façon hebdomadaire ceph va examiner l'etat des objets (scrub) et faire plein d'IO pour ça. Ce parametre dit que ces IO passent en dernier. Ca n'affecte pas les IO normales faites via rbd.
764 154 Laurent GUERBY
765 154 Laurent GUERBY
h2. Migration IP ceph
766 154 Laurent GUERBY
767 1 Mehdi Abaakouk
Au besoin pour passer cluster de test a dev
768 184 Mehdi Abaakouk
* http://ceph.com/docs/master/rados/operations/add-or-rm-mons/#changing-a-monitor-s-ip-address-the-messy-way
769 184 Mehdi Abaakouk
* http://ceph.com/docs/master/rados/operations/add-or-rm-mons/#changing-a-monitor-s-ip-address-the-right-way
770 184 Mehdi Abaakouk
771 237 Laurent GUERBY
h2. Configuration des Policies
772 184 Mehdi Abaakouk
773 196 Mehdi Abaakouk
Les rules modifiées /etc/{nova,cinder,neutron,glance}/policy.json sont ici:
774 1 Mehdi Abaakouk
775 1 Mehdi Abaakouk
http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/openstack-tools/revisions/master/show/policy