Project

General

Profile

Openstack Installation TTNN » History » Version 241

Mehdi Abaakouk, 03/24/2015 11:16 AM

1 43 Laurent GUERBY
{{>toc}}
2 43 Laurent GUERBY
3 159 Laurent GUERBY
h1. Openstack Installation tetaneutral.net
4 1 Mehdi Abaakouk
5 236 Mehdi Abaakouk
h2. A FIXER
6 236 Mehdi Abaakouk
7 236 Mehdi Abaakouk
Le virsh secret-set-value bla bla, n'est pas fait par libvirt
8 236 Mehdi Abaakouk
9 236 Mehdi Abaakouk
10 44 Laurent GUERBY
h2. Liens
11 44 Laurent GUERBY
12 204 Mehdi Abaakouk
* [[Openstack Management TTNN]]
13 204 Mehdi Abaakouk
* [[Openstack Setup VM pas dans openstack]]
14 44 Laurent GUERBY
* http://ceph.com/docs/master/rados/operations/cache-tiering/
15 44 Laurent GUERBY
* http://ceph.com/docs/master/rados/operations/crush-map/
16 44 Laurent GUERBY
17 3 Mehdi Abaakouk
h2. Pending upstream fixes:
18 3 Mehdi Abaakouk
19 143 Mehdi Abaakouk
La liste à jour est ici: 
20 143 Mehdi Abaakouk
http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster/revisions/master/entry/manifests/nodes/openstack.pp#L27
21 1 Mehdi Abaakouk
22 4 Mehdi Abaakouk
h2. Installation
23 4 Mehdi Abaakouk
24 213 Laurent GUERBY
L'installation initiale est composée de :
25 4 Mehdi Abaakouk
26 4 Mehdi Abaakouk
* 3 hyperviseurs (compute node) qui contiendront 1 ceph-mon, N ceph-osd, nova-compute (qui lance les VM), neutron-openvswitch-agent (qui configure le réseau des vms)
27 4 Mehdi Abaakouk
* 1 VM (controler node), qui contient tous les services de management d'openstack (nova, cinder, glance, neutron)
28 4 Mehdi Abaakouk
29 4 Mehdi Abaakouk
Les étapes d'installation sont les suivantes:
30 4 Mehdi Abaakouk
* Préparation manuelle de la VM de management sur un des hyperviseurs
31 4 Mehdi Abaakouk
* Installation de ceph et openstack sur toutes les machines avec puppet
32 4 Mehdi Abaakouk
* Déplacement de la VM de management d'openstack dans openstack.
33 4 Mehdi Abaakouk
34 33 Mehdi Abaakouk
h3. Information sur le puppet master:
35 33 Mehdi Abaakouk
36 213 Laurent GUERBY
La configuration et les modules puppet utilisés par tetaneutral.net se trouvent la:
37 33 Mehdi Abaakouk
38 33 Mehdi Abaakouk
> http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster
39 33 Mehdi Abaakouk
> http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster/revisions/master/entry/manifests/nodes/openstack.pp
40 33 Mehdi Abaakouk
41 213 Laurent GUERBY
Seulement les 3 classes suivantes sont spécifique à http://tetaneutral.net, le reste est réutilisable à condition de changer les ip, hostname, uuid et password :
42 33 Mehdi Abaakouk
43 36 Mehdi Abaakouk
> class { 'ttnn::server': }
44 36 Mehdi Abaakouk
> class { 'backup::client': }
45 36 Mehdi Abaakouk
> class { 'sexymotd': }
46 33 Mehdi Abaakouk
47 213 Laurent GUERBY
Les modules qui sont nécessaire pour openstack pour le reste du fichier sont :
48 33 Mehdi Abaakouk
49 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-apache.git 
50 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-apt 
51 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-ceph.git 
52 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-cinder.git 
53 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-concat.git 
54 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-glance.git 
55 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-horizon.git 
56 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-inifile.git 
57 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-keystone.git 
58 33 Mehdi Abaakouk
> https://github.com/camptocamp/puppet-kmod.git 
59 33 Mehdi Abaakouk
> https://github.com/saz/puppet-memcached.git 
60 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-mysql.git 
61 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-neutron.git 
62 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-nova.git 
63 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-rabbitmq.git 
64 33 Mehdi Abaakouk
> https://github.com/nanliu/puppet-staging.git 
65 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-stdlib.git 
66 33 Mehdi Abaakouk
> https://github.com/duritong/puppet-sysctl.git 
67 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-vcsrepo.git 
68 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-vswitch.git 
69 36 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-xinetd.git
70 33 Mehdi Abaakouk
71 33 Mehdi Abaakouk
h3. Préparation réseaux des hosts:
72 29 Mehdi Abaakouk
73 1 Mehdi Abaakouk
74 126 Mehdi Abaakouk
Preparation des bridges openvswitch:
75 126 Mehdi Abaakouk
76 1 Mehdi Abaakouk
<pre>
77 130 Mehdi Abaakouk
$ apt-get install openvswitch-switch 
78 126 Mehdi Abaakouk
$ modprobe vhost-net
79 126 Mehdi Abaakouk
$ modprobe tun
80 126 Mehdi Abaakouk
$ modprobe loop
81 148 Mehdi Abaakouk
82 148 Mehdi Abaakouk
# On créé un switch br-eth0
83 151 Mehdi Abaakouk
ovs-vsctl add-br br-eth0
84 148 Mehdi Abaakouk
# On rajoute une petite bricole pour openstack 
85 151 Mehdi Abaakouk
ovs-vsctl br-set-external-id br-eth0 bridge-id br-eth0
86 148 Mehdi Abaakouk
# On ajoute le port eth0 dans le switch
87 151 Mehdi Abaakouk
ovs-vsctl add-port br-eth0 eth0  # Si aucun trunk vlan n'est spécifié, c'est un trunk avec tous les vlans 
88 148 Mehdi Abaakouk
89 148 Mehdi Abaakouk
# On créé des interfaces réseau utilisable sur la machine avec des vlans:
90 155 Mehdi Abaakouk
ovs-vsctl add-br vlan3132 br-eth0 3132
91 151 Mehdi Abaakouk
ovs-vsctl add-br vlan3175 br-eth0 3175
92 151 Mehdi Abaakouk
ovs-vsctl add-br vlan3199 br-eth0 3199
93 148 Mehdi Abaakouk
94 150 Mehdi Abaakouk
# On s'assure que eth0 sera toujours up
95 151 Mehdi Abaakouk
ovs-ofctl mod-port br-eth0 eth0 up
96 150 Mehdi Abaakouk
97 126 Mehdi Abaakouk
</pre>
98 1 Mehdi Abaakouk
99 126 Mehdi Abaakouk
_note: Les bridges openvswitch sont mémorisés et recréés automatiquement par le service openvswitch-switch_
100 126 Mehdi Abaakouk
101 133 Mehdi Abaakouk
On install le fichier attachment:rc.local dans /etc/
102 1 Mehdi Abaakouk
103 1 Mehdi Abaakouk
On re-charge le fichier attachment:rc.local
104 133 Mehdi Abaakouk
105 133 Mehdi Abaakouk
<pre>
106 126 Mehdi Abaakouk
bash -x /etc/rc.local
107 1 Mehdi Abaakouk
</pre>
108 126 Mehdi Abaakouk
109 126 Mehdi Abaakouk
110 126 Mehdi Abaakouk
Sur h7.tetaneutral.net le routage est le suivant
111 73 Mehdi Abaakouk
112 73 Mehdi Abaakouk
<pre>
113 155 Mehdi Abaakouk
ip route add 89.234.156.249/32 dev eth0.3132
114 155 Mehdi Abaakouk
ip route add 89.234.156.251/32 dev eth0.3132
115 155 Mehdi Abaakouk
ip route add 89.234.156.252/32 dev eth0.3132
116 155 Mehdi Abaakouk
ip route add 89.234.156.253/32 dev eth0.3132
117 155 Mehdi Abaakouk
ip route add 2a01:6600:8083:f900::/56 dev eth0.3132
118 155 Mehdi Abaakouk
ip route add 2a01:6600:8083:fb00::/56 dev eth0.3132
119 155 Mehdi Abaakouk
ip route add 2a01:6600:8083:fc00::/56 dev eth0.3132
120 155 Mehdi Abaakouk
ip route add 2a01:6600:8083:fd00::/56 dev eth0.3132
121 16 Mehdi Abaakouk
</pre>
122 1 Mehdi Abaakouk
123 20 Mehdi Abaakouk
h3. Preparation de la VM de management, le controlleur
124 6 Mehdi Abaakouk
125 6 Mehdi Abaakouk
h4. Installation des prérequis
126 6 Mehdi Abaakouk
127 1 Mehdi Abaakouk
<pre>
128 129 Mehdi Abaakouk
$ apt-get install libvirt-bin openstack-debian-images virtinst
129 131 Mehdi Abaakouk
#NOTE(sileht): temporairement récupérer la dernière version:
130 131 Mehdi Abaakouk
$ curl -# http://anonscm.debian.org/cgit/openstack/openstack-debian-images.git/plain/build-openstack-debian-image > /usr/sbin/build-openstack-debian-image
131 20 Mehdi Abaakouk
</pre>
132 1 Mehdi Abaakouk
133 1 Mehdi Abaakouk
h4. Preparation de l'image de la VM
134 92 Mehdi Abaakouk
135 20 Mehdi Abaakouk
<pre>
136 20 Mehdi Abaakouk
$ vim hook.sh
137 1 Mehdi Abaakouk
set -xv
138 20 Mehdi Abaakouk
139 92 Mehdi Abaakouk
echo "openstack" > $BODI_CHROOT_PATH/etc/hostname
140 40 Mehdi Abaakouk
141 46 Mehdi Abaakouk
cat > $BODI_CHROOT_PATH/etc/resolv.conf <<EOF
142 46 Mehdi Abaakouk
domain tetaneutral.net
143 46 Mehdi Abaakouk
search tetaneutral.net
144 1 Mehdi Abaakouk
nameserver 8.8.8.8
145 46 Mehdi Abaakouk
EOF
146 46 Mehdi Abaakouk
147 92 Mehdi Abaakouk
cat > $BODI_CHROOT_PATH/etc/network/interfaces <<EOF
148 6 Mehdi Abaakouk
auto lo
149 20 Mehdi Abaakouk
iface lo inet loopback
150 1 Mehdi Abaakouk
auto eth0
151 6 Mehdi Abaakouk
iface eth0 inet manual
152 4 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth0.accept_ra=0
153 1 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth0.autoconf=0
154 4 Mehdi Abaakouk
  up ip link set eth0 up
155 10 Mehdi Abaakouk
  up ip addr add 89.234.156.249/32 dev eth0
156 152 Mehdi Abaakouk
  up ip route add 91.224.149.0/24 dev eth0
157 152 Mehdi Abaakouk
  up ip route add default via 91.224.149.254
158 20 Mehdi Abaakouk
159 1 Mehdi Abaakouk
iface eth0 inet6 static
160 7 Mehdi Abaakouk
    pre-up /sbin/sysctl -w net.ipv6.conf.eth0.accept_ra=0
161 4 Mehdi Abaakouk
    pre-up /sbin/sysctl -w net.ipv6.conf.eth0.autoconf=0
162 21 Mehdi Abaakouk
    address 2a01:6600:8083:f900::1
163 12 Mehdi Abaakouk
    netmask 56
164 4 Mehdi Abaakouk
    gateway fe80::31
165 4 Mehdi Abaakouk
166 4 Mehdi Abaakouk
auto eth1
167 5 Mehdi Abaakouk
iface eth1 inet static
168 13 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth1.accept_ra=0
169 18 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth1.autoconf=0
170 18 Mehdi Abaakouk
  address 192.168.3.100
171 18 Mehdi Abaakouk
  netmask 255.255.255.0
172 18 Mehdi Abaakouk
EOF
173 18 Mehdi Abaakouk
174 18 Mehdi Abaakouk
mkdir -p $BODI_CHROOT_PATH/root/.ssh
175 59 Mehdi Abaakouk
chmod 600 $BODI_CHROOT_PATH/root/.ssh
176 59 Mehdi Abaakouk
cat >> $BODI_CHROOT_PATH/root/.ssh/authorized_keys <<EOF
177 11 Mehdi Abaakouk
ssh-dss AAAAB3NzaC1kc3MAAACBAJtnGLvuz4uVD6fnERDxDi/C0UyzwCiKmgNtEessopREYasAX4Gu6Fg10jAyIL5Nuc7YDnqj//pOfxNjD7hp99a2ZmkRQgh/ltClxYML9fqhBHgsUCpVse9nOYDHDnDgvXIPRSDUHat2UFpdchHVrFURNLIlZnBztsr+GCDURTV/AAAAFQD9SrBcH49ltaKOm6V5ssCPmgs1SwAAAIAbAvkQ3/tMzzdACO5B9s5Yb3ZuM7XImm0iqufivVf2Xy39g8HOBulUsN7eKEGPhVriqNolgIO7q7tVgYAff4/NE4yDP0Kp0SPg4tjt2yFJuL31Y3wzwHjnKrjgNlDSLl3uZnRXSipwUMwGKbdHB6NZSqlq192VKbHilQ00pbiMlAAAAIB5dfB1lVHkJ0o5CcaVQRPbca9DvbbRwnoTSmKHc5DUcqsPqDhS07CkM9ZcJuY1Nh4wGl4Q9kArj7Tnsvvygf/HReSUcIk4+nbDytJ8/pca/Qx4fzQQyppa94TylN62LSFT6MIJKLoMwYa0dQURT7Mv5+9Qj2vk5pZ38w2iQ9zVCg== root@h1
178 4 Mehdi Abaakouk
EOF
179 4 Mehdi Abaakouk
180 6 Mehdi Abaakouk
sed -i -e 's/^.*Port.*$/Port 2222/' -e 's/^[# ]*PasswordAuthentication.*$/PasswordAuthentication no/' $BODI_CHROOT_PATH/etc/ssh/sshd_config
181 4 Mehdi Abaakouk
chroot $BODI_CHROOT_PATH dpkg-reconfigure openssh-server
182 4 Mehdi Abaakouk
chroot $BODI_CHROOT_PATH apt-get purge -y cloud-init*
183 8 Mehdi Abaakouk
</pre>
184 1 Mehdi Abaakouk
185 90 Mehdi Abaakouk
<pre>
186 90 Mehdi Abaakouk
$ chmod +x hook.sh
187 156 Mehdi Abaakouk
$ build-openstack-debian-image --image-size 20  --release jessie -u http://apt.tetaneutral.net/debian/ -s http://apt.tetaneutral.net/debian/ --hook-script $(pwd)/hook.sh -e acpi-support
188 90 Mehdi Abaakouk
$ mv debian-jessie-7.0.0-3-amd64.raw /openstack.raw 
189 90 Mehdi Abaakouk
$ rm debian-jessie-7.0.0-3-amd64.qcow2
190 90 Mehdi Abaakouk
</pre>
191 90 Mehdi Abaakouk
192 90 Mehdi Abaakouk
_note: la derniere commande lancée par le script doit être 'qemu-img convert -c -f raw .... , sinon l'image de bootera pas_
193 90 Mehdi Abaakouk
_note(jessie): si l'erreur est celle ci-dessous, relancer manuellement 'kpartx -d debian-jessie-7.0.0-3-amd64.raw' jusqu'a ce que l'erreur disparaissent et le .raw est utilisable:_
194 90 Mehdi Abaakouk
<pre>
195 6 Mehdi Abaakouk
+ 'kpartx -d debian-jessie-7.0.0-3-amd64.raw'
196 1 Mehdi Abaakouk
device-mapper: remove ioctl on loop0p1 failed: Device or resource busy
197 1 Mehdi Abaakouk
loop deleted : /dev/loop0
198 4 Mehdi Abaakouk
</pre>
199 93 Mehdi Abaakouk
_note: si parted freeze -> lancer /etc/init.d/udev restart_
200 19 Mehdi Abaakouk
201 128 Mehdi Abaakouk
202 128 Mehdi Abaakouk
On garde l'image raw qui sera importable dans ceph plus tard et on la mets à la racine pour qui l'utilisateur libvirt puisse y accéder.
203 19 Mehdi Abaakouk
204 24 Mehdi Abaakouk
h4. Installation de la VM
205 19 Mehdi Abaakouk
206 1 Mehdi Abaakouk
<pre>
207 1 Mehdi Abaakouk
$
208 153 Mehdi Abaakouk
$ virt-install --name openstack --ram 2048 --network bridge=br-eth0,model=virtio --network bridge=br-eth0,model=virtio --network bridge=br-eth0,model=virtio --nographics --serial pty --wait -1 --noreboot --autostart --disk /openstack.raw,bus=virtio,cache=none,io=native --import
209 153 Mehdi Abaakouk
210 153 Mehdi Abaakouk
$ virsh edit openstack
211 153 Mehdi Abaakouk
 
212 153 Mehdi Abaakouk
# Pour chaque bridge ajouter, le vlan et openvswitch comme ceci:
213 157 Mehdi Abaakouk
#    <vlan><tag id='3132'/></vlan><virtualport type='openvswitch'/>
214 153 Mehdi Abaakouk
215 144 Mehdi Abaakouk
$ virsh  start openstack
216 1 Mehdi Abaakouk
$ ssh root@89.234.156.249 -p 2222
217 19 Mehdi Abaakouk
</pre>
218 19 Mehdi Abaakouk
219 24 Mehdi Abaakouk
Une fois connecté à la VM:
220 26 Mehdi Abaakouk
221 26 Mehdi Abaakouk
<pre>
222 4 Mehdi Abaakouk
$ apt-get install puppet
223 26 Mehdi Abaakouk
$ puppet agent --enable
224 32 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
225 26 Mehdi Abaakouk
Info: Caching certificate for ca
226 34 Mehdi Abaakouk
Info: csr_attributes file loading from /etc/puppet/csr_attributes.yaml
227 34 Mehdi Abaakouk
Info: Creating a new SSL certificate request for openstack.tetaneutral.net
228 35 Mehdi Abaakouk
Info: Certificate Request fingerprint (SHA256): AE:72:47:40:A0:E2:F4:59:BA:39:FA:3D:C2:A7:C9:1B:9F:87:A5:B7:65:3A:F9:D4:DE:AF:E2:A3:02:41:0F:2E
229 94 Mehdi Abaakouk
Info: Caching certificate for ca
230 35 Mehdi Abaakouk
Exiting; no certificate found and waitforcert is disabled
231 35 Mehdi Abaakouk
</pre>
232 35 Mehdi Abaakouk
233 35 Mehdi Abaakouk
Sur le puppetmaster:
234 35 Mehdi Abaakouk
235 35 Mehdi Abaakouk
<pre>
236 35 Mehdi Abaakouk
$ puppet ca sign openstack.tetaneutral.net 
237 35 Mehdi Abaakouk
</pre>
238 35 Mehdi Abaakouk
_note: si un vieux cert existe: puppet ca revoke openstack.tetaneutral.net ; puppet cert clean openstack.tetaneutral.net; puppet node clean openstack.tetaneutral.net_
239 35 Mehdi Abaakouk
240 35 Mehdi Abaakouk
De nouveau sur la VM:
241 35 Mehdi Abaakouk
242 35 Mehdi Abaakouk
<pre>
243 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
244 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
245 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
246 35 Mehdi Abaakouk
</pre>
247 64 Mehdi Abaakouk
248 35 Mehdi Abaakouk
Il ne doit plus y avoir d'erreur la 3°/4° fois.
249 35 Mehdi Abaakouk
250 35 Mehdi Abaakouk
h3. Configuration des hyperviseurs
251 35 Mehdi Abaakouk
252 35 Mehdi Abaakouk
Une fois la configuration réseau faite, tout ce fait avec puppet:
253 35 Mehdi Abaakouk
254 35 Mehdi Abaakouk
<pre>
255 35 Mehdi Abaakouk
$ apt-get install puppet
256 35 Mehdi Abaakouk
$ puppet agent --enable
257 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
258 35 Mehdi Abaakouk
Info: Caching certificate for ca
259 35 Mehdi Abaakouk
Info: csr_attributes file loading from /etc/puppet/csr_attributes.yaml
260 35 Mehdi Abaakouk
Info: Creating a new SSL certificate request for openstack.tetaneutral.net
261 35 Mehdi Abaakouk
Info: Certificate Request fingerprint (SHA256): AE:72:47:40:A0:E2:F4:59:BA:39:FA:3D:C2:A7:C9:1B:9F:87:A5:B7:65:3A:F9:D4:DE:AF:E2:A3:02:41:0F:2E
262 35 Mehdi Abaakouk
Info: Caching certificate for ca
263 35 Mehdi Abaakouk
Exiting; no certificate found and waitforcert is disabled
264 35 Mehdi Abaakouk
</pre>
265 35 Mehdi Abaakouk
266 101 Mehdi Abaakouk
Sur le puppetmaster:
267 35 Mehdi Abaakouk
268 35 Mehdi Abaakouk
<pre>
269 35 Mehdi Abaakouk
$ puppet ca sign openstack.tetaneutral.net 
270 35 Mehdi Abaakouk
</pre>
271 35 Mehdi Abaakouk
_note: si un vieux cert existe: puppet ca revoke openstack.tetaneutral.net ; puppet cert clean openstack.tetaneutral.net; puppet node clean openstack.tetaneutral.net_
272 35 Mehdi Abaakouk
273 35 Mehdi Abaakouk
De nouveau sur la VM:
274 35 Mehdi Abaakouk
275 35 Mehdi Abaakouk
<pre>
276 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
277 100 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
278 100 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
279 100 Mehdi Abaakouk
</pre>
280 100 Mehdi Abaakouk
281 35 Mehdi Abaakouk
Il ne doit plus y avoir d'erreur la 3°/4° fois.
282 1 Mehdi Abaakouk
283 187 Mehdi Abaakouk
h3. Information sur la configuration d'un hyperviseur sur le puppet master
284 37 Mehdi Abaakouk
285 38 Mehdi Abaakouk
La configuration puppet ressemble à :
286 38 Mehdi Abaakouk
287 109 Mehdi Abaakouk
<pre>
288 1 Mehdi Abaakouk
node "gX.tetaneutral.net" inherits openstack_node_common {
289 120 Mehdi Abaakouk
  # Configuration du routerid et de l'AS number de cette machine
290 1 Mehdi Abaakouk
  # Il faut aussi mettre la conf bgp de h7 ainsi que les fichiers 
291 1 Mehdi Abaakouk
  # /etc/puppet/manifests/files/openstack-bird.conf.erb et
292 125 Mehdi Abaakouk
  # /etc/puppet/manifests/files/openstack-bird6.conf.erb
293 125 Mehdi Abaakouk
  # pour ajouter cette AS interne
294 97 Mehdi Abaakouk
  ttnn_os_bird {'198.51.100.1': asnum => "65001"}
295 109 Mehdi Abaakouk
296 120 Mehdi Abaakouk
  # Dans le cas d'une moniteur ceph, mais uniquement 3 suffissent, on a déjà g1,g2,g3
297 109 Mehdi Abaakouk
  ttnn_ceph_mon {$::hostname:}
298 88 Mehdi Abaakouk
  # Sinon utilisait:
299 88 Mehdi Abaakouk
  # class{"ttnn_ceph_osd_only": }
300 109 Mehdi Abaakouk
301 88 Mehdi Abaakouk
  # La partie Openstack, l'uuid doit être unique par machine (générer avec uuid-gen)
302 109 Mehdi Abaakouk
  ttnn_os_compute {"9d26ec10-a48b-4f0f-a122-f10ed16d270f": }
303 109 Mehdi Abaakouk
}
304 109 Mehdi Abaakouk
</pre>
305 109 Mehdi Abaakouk
306 109 Mehdi Abaakouk
h3. Déplacement du disk du controlleur dans le cluster ceph
307 109 Mehdi Abaakouk
308 97 Mehdi Abaakouk
Les recettes puppet on créé un pool disks pour les mettres les VMs et volumes de VM
309 97 Mehdi Abaakouk
310 109 Mehdi Abaakouk
311 97 Mehdi Abaakouk
Sur g1, on import le disque de la VM dans ceph et on modifie la conf libvirt:
312 97 Mehdi Abaakouk
313 109 Mehdi Abaakouk
<pre>
314 111 Mehdi Abaakouk
$ virsh shutdown openstack
315 1 Mehdi Abaakouk
$ rbd -p disks import /var/lib/ceph/osd/ceph-0/openstack.raw  openstack-disk
316 1 Mehdi Abaakouk
$ virsh edit openstack
317 1 Mehdi Abaakouk
</pre>
318 120 Mehdi Abaakouk
319 109 Mehdi Abaakouk
Remplacer: 
320 112 Mehdi Abaakouk
<pre>
321 109 Mehdi Abaakouk
    <disk type='file' device='disk'>
322 109 Mehdi Abaakouk
      <driver name='qemu' type='raw' cache='none' io='native'/>
323 109 Mehdi Abaakouk
      <source file='/var/lib/ceph/osd/ceph-0/openstack.raw'/>
324 110 Mehdi Abaakouk
      <target dev='vda' bus='virtio'/>
325 109 Mehdi Abaakouk
      <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
326 97 Mehdi Abaakouk
    </disk>
327 97 Mehdi Abaakouk
</pre>
328 109 Mehdi Abaakouk
329 97 Mehdi Abaakouk
Par:
330 97 Mehdi Abaakouk
331 109 Mehdi Abaakouk
<pre>
332 109 Mehdi Abaakouk
    <disk type='network' device='disk'>
333 109 Mehdi Abaakouk
        <driver name='qemu' type='raw'/>
334 212 Mehdi Abaakouk
        <source protocol='rbd' name='disks/openstack-disk' />
335 97 Mehdi Abaakouk
        </source>
336 97 Mehdi Abaakouk
        <auth username='openstack-service'>
337 109 Mehdi Abaakouk
            <secret type='ceph' uuid='1fe74663-8dfa-486c-bb80-3bd94c90c967'/>
338 97 Mehdi Abaakouk
        </auth>
339 97 Mehdi Abaakouk
        <target dev='vda' bus='virtio'/>
340 97 Mehdi Abaakouk
        <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
341 97 Mehdi Abaakouk
    </disk>
342 97 Mehdi Abaakouk
</pre>
343 97 Mehdi Abaakouk
344 97 Mehdi Abaakouk
La clé ceph pour libvirt a déjà été installé par puppet pour avoir sont uuid:
345 97 Mehdi Abaakouk
346 97 Mehdi Abaakouk
<pre>
347 97 Mehdi Abaakouk
$ virsh secret-list
348 97 Mehdi Abaakouk
 UUID                                  Usage
349 97 Mehdi Abaakouk
--------------------------------------------------------------------------------
350 97 Mehdi Abaakouk
 1fe74663-8dfa-486c-bb80-3bd94c90c967  ceph client.openstack-service secret
351 97 Mehdi Abaakouk
</pre>
352 97 Mehdi Abaakouk
353 97 Mehdi Abaakouk
Puis on démarre
354 97 Mehdi Abaakouk
355 97 Mehdi Abaakouk
<pre>
356 97 Mehdi Abaakouk
$ virsh start openstack
357 97 Mehdi Abaakouk
</pre>
358 97 Mehdi Abaakouk
359 97 Mehdi Abaakouk
360 97 Mehdi Abaakouk
Ca marche !
361 97 Mehdi Abaakouk
362 97 Mehdi Abaakouk
<pre>
363 68 Mehdi Abaakouk
$ ssh openstack.t
364 68 Mehdi Abaakouk
X11 forwarding request failed on channel 0
365 68 Mehdi Abaakouk
366 68 Mehdi Abaakouk
  server: openstack.tetaneutral.net
367 102 Mehdi Abaakouk
  system: Debian jessie/sid, kernel 3.14-2-amd64, puppet 3.6.1
368 1 Mehdi Abaakouk
     cpu: 1/1 (QEMU Virtual CPU version 2.1.0)
369 102 Mehdi Abaakouk
  memory: 1.96 GB
370 1 Mehdi Abaakouk
371 102 Mehdi Abaakouk
    eth0: 52:54:00:90:d8:c7 / 89.234.156.249 / 2a01:6600:8083:f900::1
372 102 Mehdi Abaakouk
    eth1: 52:54:00:13:fa:13 / 192.168.3.100
373 68 Mehdi Abaakouk
374 68 Mehdi Abaakouk
 modules: openstack_node_common ttnn::server resolver checkmk::agent checkmk::client rsyslog::client rsyslog apt apt::update puppet nullmailer backup::client sexymotd 
375 68 Mehdi Abaakouk
                            _             _    
376 68 Mehdi Abaakouk
  ___  _ __   ___ _ __  ___| |_ __ _  ___| | __
377 68 Mehdi Abaakouk
 / _ \| '_ \ / _ \ '_ \/ __| __/ _` |/ __| |/ /
378 68 Mehdi Abaakouk
| (_) | |_) |  __/ | | \__ \ || (_| | (__|   < 
379 68 Mehdi Abaakouk
 \___/| .__/ \___|_| |_|___/\__\__,_|\___|_|\_\
380 68 Mehdi Abaakouk
      |_|                                      
381 68 Mehdi Abaakouk
Last login: Wed Aug 27 08:10:02 2014 from atoulouse-652-1-119-50.w2-6.abo.wanadoo.fr
382 68 Mehdi Abaakouk
root@openstack:~# 
383 68 Mehdi Abaakouk
384 68 Mehdi Abaakouk
</pre>
385 68 Mehdi Abaakouk
386 68 Mehdi Abaakouk
h2. Preparation des OSD pour ceph
387 68 Mehdi Abaakouk
388 68 Mehdi Abaakouk
h3. Cas général un disque entier:
389 68 Mehdi Abaakouk
390 158 Mehdi Abaakouk
<pre>
391 235 Mehdi Abaakouk
$ ceph-disk prepare --zap-disk --cluster-uuid 1fe74663-8dfa-486c-bb80-3bd94c90c967 --fs-type=ext4 /dev/sdX
392 199 Mehdi Abaakouk
$ smartctl --smart=on /dev/sdX  # Pour le monitoring.
393 194 Mehdi Abaakouk
$ ceph osd crush add osd.<ID> 0 root=default host=g3
394 194 Mehdi Abaakouk
ou pour les ssds:
395 1 Mehdi Abaakouk
$ ceph osd crush add osd.<ID> 0 root=ssd host=g3-ssd
396 194 Mehdi Abaakouk
397 197 Mehdi Abaakouk
$ /root/tools/ceph-reweight-osds.sh osd.<ID>
398 158 Mehdi Abaakouk
</pre>
399 68 Mehdi Abaakouk
400 1 Mehdi Abaakouk
h3. Cas particulier du SSD ou ce trouve l'OS
401 68 Mehdi Abaakouk
402 103 Mehdi Abaakouk
En général avec ceph, on donne un disque, ceph créé 2 partitions une pour le journal de l'OSD, l'autre pour les datas
403 1 Mehdi Abaakouk
mais pour le SSD de tetaneutral qui a aussi l'OS, voici la méthode
404 34 Mehdi Abaakouk
405 103 Mehdi Abaakouk
Création manuelle de la partition de data ceph /dev/sda2 ici
406 102 Mehdi Abaakouk
407 1 Mehdi Abaakouk
<pre>
408 1 Mehdi Abaakouk
$ fdisk /dev/sda
409 102 Mehdi Abaakouk
410 102 Mehdi Abaakouk
n
411 102 Mehdi Abaakouk
p
412 102 Mehdi Abaakouk
<enter>
413 102 Mehdi Abaakouk
<enter>
414 102 Mehdi Abaakouk
<enter>
415 102 Mehdi Abaakouk
<enter>
416 104 Mehdi Abaakouk
w
417 104 Mehdi Abaakouk
418 104 Mehdi Abaakouk
$ partprobe
419 104 Mehdi Abaakouk
</pre>
420 104 Mehdi Abaakouk
421 104 Mehdi Abaakouk
On prepare le disk comme normalement
422 105 Mehdi Abaakouk
423 104 Mehdi Abaakouk
<pre>
424 104 Mehdi Abaakouk
ceph-disk prepare /dev/sda2
425 207 Mehdi Abaakouk
ceph-disk activate --fs-type=ext4 /dev/sda2
426 104 Mehdi Abaakouk
</pre>
427 104 Mehdi Abaakouk
428 116 Mehdi Abaakouk
Le disque n'étant pas utilisé uniquement par ceph, le service ceph ne le chargera pas automatiquement:
429 207 Mehdi Abaakouk
Il faut ajouter le nom du device dans le /etc/rc.local pour qu'il lance:
430 116 Mehdi Abaakouk
431 116 Mehdi Abaakouk
<pre>
432 116 Mehdi Abaakouk
ceph-disk activate /dev/sda2
433 116 Mehdi Abaakouk
</pre>
434 116 Mehdi Abaakouk
435 170 Mehdi Abaakouk
h3. Suppression OSD:
436 116 Mehdi Abaakouk
437 116 Mehdi Abaakouk
<pre>
438 116 Mehdi Abaakouk
name="osd.2"
439 116 Mehdi Abaakouk
ceph osd out ${name}
440 116 Mehdi Abaakouk
/etc/init.d/ceph stop ${name}
441 116 Mehdi Abaakouk
ceph osd crush remove ${name}
442 116 Mehdi Abaakouk
ceph auth del ${name}
443 116 Mehdi Abaakouk
ceph osd rm ${name}
444 116 Mehdi Abaakouk
ceph osd tree
445 116 Mehdi Abaakouk
</pre>
446 116 Mehdi Abaakouk
447 116 Mehdi Abaakouk
h2. Configuration des Placements Groups des pools:
448 116 Mehdi Abaakouk
449 142 Mehdi Abaakouk
Par défaut les pools sont créés avec des placements groups à 8 (pg_num=8), 3 replicats, avec un tolérance à 2, si il manque des OSDs" 
450 116 Mehdi Abaakouk
451 116 Mehdi Abaakouk
Mais cette valeur (pg_num) défini le bon fonctionnement de ceph. Dans le cas standard (ie: 1 seul pool) la recette est facile: 
452 116 Mehdi Abaakouk
453 116 Mehdi Abaakouk
<pre>
454 116 Mehdi Abaakouk
               (OSDs * 100)
455 116 Mehdi Abaakouk
Total PGs = (  ------------  )
456 116 Mehdi Abaakouk
              OSD per object
457 116 Mehdi Abaakouk
</pre>
458 116 Mehdi Abaakouk
459 142 Mehdi Abaakouk
On arrondi à la puissance de 2 supérieurs. Mais dans notre cas 3 pools ce n'est pas si simple, les pools auront des cas d'utilisation différent:
460 116 Mehdi Abaakouk
461 116 Mehdi Abaakouk
Ma proposition de configuration:
462 107 Mehdi Abaakouk
* Pool ssds: il a 3 OSDs pour lui tout seul, on applique la recette magique: 3*100/3 ~= 128 pgs
463 1 Mehdi Abaakouk
* Pools images et disks: ils ont 3 OSDs à ce partager donc il faut répartir les 128 pgs. soit 32pgs et 96pgs (PS: il faut au moins 20pgs pour 3 réplicats)
464 69 Mehdi Abaakouk
465 1 Mehdi Abaakouk
Soit:
466 1 Mehdi Abaakouk
<pre>
467 79 Mehdi Abaakouk
ceph osd pool set ssds pg_num 128
468 1 Mehdi Abaakouk
ceph osd pool set images pg_num 32
469 1 Mehdi Abaakouk
ceph osd pool set disks pg_num 96
470 1 Mehdi Abaakouk
471 1 Mehdi Abaakouk
# attendre un peu qu'il y est plus de pg_create dans 'ceph -s'
472 121 Mehdi Abaakouk
ceph osd pool set ssds pgp_num 128  
473 121 Mehdi Abaakouk
ceph osd pool set images pgp_num 32
474 121 Mehdi Abaakouk
ceph osd pool set disks pgp_num 96
475 121 Mehdi Abaakouk
</pre>
476 1 Mehdi Abaakouk
477 107 Mehdi Abaakouk
478 1 Mehdi Abaakouk
479 107 Mehdi Abaakouk
_ref: http://ceph.com/docs/master/rados/operations/placement-groups/_
480 107 Mehdi Abaakouk
481 1 Mehdi Abaakouk
h2. Preparation du Pool SSD pour ceph 
482 107 Mehdi Abaakouk
483 107 Mehdi Abaakouk
Chaque machine se trouve dans 2 hosts, un host SSD et un host HARDDISK (même si en réalité les deux sont sur la même machine physique),
484 107 Mehdi Abaakouk
485 107 Mehdi Abaakouk
Ensuite on créé 2 object root un pour les hosts SSD et un autre pour les host HARDDISK
486 107 Mehdi Abaakouk
487 107 Mehdi Abaakouk
On créé ensuite 2 règles de stockage une qui envoie les objects vers le root SSD et l'autre vers le root HARDDISK
488 107 Mehdi Abaakouk
489 107 Mehdi Abaakouk
Cela permettra d'avoir de définir une règle différente suivant les pools ceph.
490 107 Mehdi Abaakouk
491 107 Mehdi Abaakouk
Niveau Openstack nous avons 3 pools:
492 107 Mehdi Abaakouk
* disks: Ce pool aura les disques de VM et les volumes attaché
493 107 Mehdi Abaakouk
* ssds: Ce pool contiendra les volumes sur ssd
494 107 Mehdi Abaakouk
* images: c'est la que seront stocké les images de VMs (glance).
495 122 Mehdi Abaakouk
496 122 Mehdi Abaakouk
h3. Configuration de la crushmap de ceph:
497 122 Mehdi Abaakouk
498 135 Mehdi Abaakouk
Il faut s'assurer que la crushmap n'est pas en mode automatique (c'est déjà configuré par puppet):
499 122 Mehdi Abaakouk
500 1 Mehdi Abaakouk
<pre>
501 135 Mehdi Abaakouk
[global]
502 135 Mehdi Abaakouk
osd crush update on start = false
503 135 Mehdi Abaakouk
</pre>
504 135 Mehdi Abaakouk
505 135 Mehdi Abaakouk
Création de l'arbre de rangement physique des SSD, l'arbre nommé 'default' sera donc celui des disques durs
506 135 Mehdi Abaakouk
507 135 Mehdi Abaakouk
<pre>
508 122 Mehdi Abaakouk
$ ceph osd crush add-bucket ssd root
509 122 Mehdi Abaakouk
$ ceph osd crush add-bucket g1-ssd host
510 122 Mehdi Abaakouk
$ ceph osd crush add-bucket g2-ssd host
511 122 Mehdi Abaakouk
$ ceph osd crush add-bucket g3-ssd host
512 1 Mehdi Abaakouk
$ ceph osd crush move g1-ssd root=ssd
513 1 Mehdi Abaakouk
$ ceph osd crush move g2-ssd root=ssd
514 1 Mehdi Abaakouk
$ ceph osd crush move g3-ssd root=ssd
515 107 Mehdi Abaakouk
$ ceph osd tree
516 107 Mehdi Abaakouk
# id	weight	type name	up/down	reweight
517 1 Mehdi Abaakouk
-5	0	root ssd
518 118 Mehdi Abaakouk
-6	0		host g1-ssd
519 118 Mehdi Abaakouk
-7	0		host g2-ssd
520 118 Mehdi Abaakouk
-8	0		host g3-ssd
521 118 Mehdi Abaakouk
-1	3	root default
522 117 Mehdi Abaakouk
-2	1		host g1
523 117 Mehdi Abaakouk
0	1			osd.0	up	1	
524 117 Mehdi Abaakouk
3	1			osd.3	up	1	
525 118 Mehdi Abaakouk
-3	1		host g2
526 118 Mehdi Abaakouk
1	1			osd.1	up	1	
527 107 Mehdi Abaakouk
4	1			osd.4	up	1	
528 107 Mehdi Abaakouk
-4	1		host g3
529 122 Mehdi Abaakouk
2	1			osd.2	up	1	
530 122 Mehdi Abaakouk
5	1			osd.5	up	1	
531 122 Mehdi Abaakouk
</pre>
532 122 Mehdi Abaakouk
533 122 Mehdi Abaakouk
534 122 Mehdi Abaakouk
On range les osd qui ont des disques SSD dans ce nouvel arbre.
535 122 Mehdi Abaakouk
536 122 Mehdi Abaakouk
<pre>
537 195 Mehdi Abaakouk
$ ceph osd crush add osd.3 0  root=ssd host=g1-ssd
538 195 Mehdi Abaakouk
$ ceph osd crush add osd.4 0  root=ssd host=g2-ssd
539 195 Mehdi Abaakouk
$ ceph osd crush add osd.5 0  root=ssd host=g3-ssd
540 195 Mehdi Abaakouk
541 122 Mehdi Abaakouk
# Ou si l'osd a déjà éte positionné une fois
542 195 Mehdi Abaakouk
$ ceph osd crush set osd.3 0  root=ssd host=g1-ssd
543 195 Mehdi Abaakouk
$ ceph osd crush set osd.4 0  root=ssd host=g2-ssd
544 195 Mehdi Abaakouk
$ ceph osd crush set osd.5 0  root=ssd host=g3-ssd
545 96 Mehdi Abaakouk
546 108 Mehdi Abaakouk
# Vérifier le résultat
547 107 Mehdi Abaakouk
$ ceph osd tree
548 96 Mehdi Abaakouk
# id	weight	type name	up/down	reweight
549 96 Mehdi Abaakouk
-5	3	root ssd
550 121 Mehdi Abaakouk
-6	1		host g1-ssd
551 96 Mehdi Abaakouk
3	1			osd.3	up	1	
552 107 Mehdi Abaakouk
-7	1		host g2-ssd
553 107 Mehdi Abaakouk
4	1			osd.4	up	1	
554 107 Mehdi Abaakouk
-8	1		host g3-ssd
555 1 Mehdi Abaakouk
5	1			osd.5	up	1	
556 1 Mehdi Abaakouk
-1	3	root default
557 1 Mehdi Abaakouk
-2	1		host g1
558 1 Mehdi Abaakouk
0	1			osd.0	up	1	
559 107 Mehdi Abaakouk
-3	1		host g2
560 107 Mehdi Abaakouk
1	1			osd.1	up	1	
561 107 Mehdi Abaakouk
-4	1		host g3
562 195 Mehdi Abaakouk
2	1			osd.2	up	1
563 195 Mehdi Abaakouk
564 195 Mehdi Abaakouk
Puis recalculer les poids des OSD:
565 195 Mehdi Abaakouk
$ /root/tools/ceph-reweight-osds.sh
566 107 Mehdi Abaakouk
</pre>
567 107 Mehdi Abaakouk
568 107 Mehdi Abaakouk
h3. Definition de la crushmap de ttnn
569 107 Mehdi Abaakouk
570 107 Mehdi Abaakouk
571 107 Mehdi Abaakouk
Une fois la crushmap modifié on créée et applique la règle sur le pool ssds:
572 107 Mehdi Abaakouk
573 107 Mehdi Abaakouk
<pre>
574 107 Mehdi Abaakouk
$ ceph osd crush rule create-simple ssd_replicated_ruleset ssd host firstn
575 107 Mehdi Abaakouk
$ ceph osd crush rule dump
576 107 Mehdi Abaakouk
[
577 107 Mehdi Abaakouk
    { "rule_id": 0,
578 107 Mehdi Abaakouk
      "rule_name": "replicated_ruleset",
579 1 Mehdi Abaakouk
      "ruleset": 0,
580 107 Mehdi Abaakouk
      "type": 1,
581 107 Mehdi Abaakouk
      "min_size": 1,
582 107 Mehdi Abaakouk
      "max_size": 10,
583 107 Mehdi Abaakouk
      "steps": [
584 107 Mehdi Abaakouk
            { "op": "take",
585 107 Mehdi Abaakouk
              "item": -1,
586 1 Mehdi Abaakouk
              "item_name": "default"},
587 121 Mehdi Abaakouk
            { "op": "chooseleaf_firstn",
588 1 Mehdi Abaakouk
              "num": 0,
589 1 Mehdi Abaakouk
              "type": "host"},
590 107 Mehdi Abaakouk
            { "op": "emit"}]},
591 1 Mehdi Abaakouk
    { "rule_id": 1,
592 1 Mehdi Abaakouk
      "rule_name": "ssd_replicated_ruleset",
593 107 Mehdi Abaakouk
      "ruleset": 1,
594 1 Mehdi Abaakouk
      "type": 1,
595 1 Mehdi Abaakouk
      "min_size": 1,
596 1 Mehdi Abaakouk
      "max_size": 10,
597 113 Mehdi Abaakouk
      "steps": [
598 114 Mehdi Abaakouk
            { "op": "take",
599 1 Mehdi Abaakouk
              "item": -5,
600 114 Mehdi Abaakouk
              "item_name": "ssd"},
601 113 Mehdi Abaakouk
            { "op": "chooseleaf_firstn",
602 113 Mehdi Abaakouk
              "num": 0,
603 113 Mehdi Abaakouk
              "type": "host"},
604 113 Mehdi Abaakouk
            { "op": "emit"}]}]
605 113 Mehdi Abaakouk
606 113 Mehdi Abaakouk
$ ceph osd pool set ssds crush_ruleset 1
607 113 Mehdi Abaakouk
</pre>
608 1 Mehdi Abaakouk
609 114 Mehdi Abaakouk
Il faut ensuite attendre que ceph redistribue les data comme on lui a demandé, on peut suivre l'avancement avec :
610 114 Mehdi Abaakouk
611 114 Mehdi Abaakouk
<pre>
612 114 Mehdi Abaakouk
ceph -s
613 114 Mehdi Abaakouk
</pre>
614 115 Mehdi Abaakouk
615 232 Laurent GUERBY
h2. Pool ceph replicated
616 232 Laurent GUERBY
617 233 Laurent GUERBY
Creation via ceph :
618 233 Laurent GUERBY
619 233 Laurent GUERBY
<pre>
620 233 Laurent GUERBY
ceph osd pool create r2 12 12 replicated
621 233 Laurent GUERBY
ceph osd pool set r2 size 2
622 233 Laurent GUERBY
ceph osd pool set r2 min_size 1
623 233 Laurent GUERBY
</pre>
624 233 Laurent GUERBY
625 233 Laurent GUERBY
626 233 Laurent GUERBY
Puis ajout des pools via puppet
627 232 Laurent GUERBY
https://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster/revisions/master/entry/manifests/nodes/openstack.pp#L21
628 232 Laurent GUERBY
<pre>
629 232 Laurent GUERBY
$os_cinder_ceph_pools = ...
630 232 Laurent GUERBY
"ceph-r2" => "r2",
631 232 Laurent GUERBY
...
632 232 Laurent GUERBY
</pre>
633 1 Mehdi Abaakouk
634 233 Laurent GUERBY
Sur openstack ou attendre le cron ou "puppet agent -vt"
635 233 Laurent GUERBY
636 233 Laurent GUERBY
Puis :
637 233 Laurent GUERBY
638 232 Laurent GUERBY
<pre>
639 233 Laurent GUERBY
cinder create --volume-type ceph-r2 --display-name utopialab.tetaneutral.net-disk-2 4096
640 233 Laurent GUERBY
nova volume-attach utopialab.tetaneutral.net xxxVolumeIDxxx
641 214 Laurent GUERBY
</pre>
642 214 Laurent GUERBY
643 219 Laurent GUERBY
h2. Pool ceph erasure coding
644 214 Laurent GUERBY
645 215 Laurent GUERBY
h3. Creation erasure coded pool
646 215 Laurent GUERBY
647 218 Laurent GUERBY
En pratique on a 5 machines avec chacune au moins un rotationnel (le plus petit = 2 TB sur g3), on va creer un 4+1 qui devrait permettre le fonctionnement continu malgré la perte d'une machine :
648 218 Laurent GUERBY
649 239 Laurent GUERBY
Ajout des pools via puppet
650 218 Laurent GUERBY
https://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster/revisions/master/entry/manifests/nodes/openstack.pp#L21
651 218 Laurent GUERBY
<pre>
652 218 Laurent GUERBY
$os_cinder_ceph_pools = ...
653 218 Laurent GUERBY
"ceph-ec4p1" => "ec4p1",
654 1 Mehdi Abaakouk
...
655 229 Laurent GUERBY
</pre>
656 229 Laurent GUERBY
657 1 Mehdi Abaakouk
Apres sur la VM openstack
658 229 Laurent GUERBY
659 229 Laurent GUERBY
<pre>
660 229 Laurent GUERBY
puppet agent -vt
661 229 Laurent GUERBY
cinder type-list
662 229 Laurent GUERBY
# verifier que ceph-ec4p1 est bien present
663 229 Laurent GUERBY
</pre>
664 218 Laurent GUERBY
665 227 Laurent GUERBY
<pre>
666 227 Laurent GUERBY
# pool erasure code
667 215 Laurent GUERBY
ceph osd erasure-code-profile set ec4p1profile k=4 m=1 ruleset-failure-domain=host
668 215 Laurent GUERBY
# Note: ruleset-failure-domain cannot be changed after creation, host will choose only one disk per host, other option is osd whith no such constraint
669 239 Laurent GUERBY
ceph osd pool create ec4p1 4096 4096 erasure ec4p1profile
670 1 Mehdi Abaakouk
671 1 Mehdi Abaakouk
# cache avec ec4p1c pool "normal" car le pool erasure code n'implémente pas les write partiels.
672 239 Laurent GUERBY
ceph osd pool create ec4p1c 4096 4096 replicated
673 229 Laurent GUERBY
674 229 Laurent GUERBY
# mise en place du cache tier writeback overlay
675 229 Laurent GUERBY
ceph osd tier add ec4p1 ec4p1c
676 229 Laurent GUERBY
ceph osd tier cache-mode ec4p1c writeback
677 1 Mehdi Abaakouk
ceph osd tier set-overlay ec4p1 ec4p1c
678 223 Laurent GUERBY
679 222 Mehdi Abaakouk
# tuning du pool cache
680 1 Mehdi Abaakouk
ceph osd pool set ec4p1c size 3 
681 1 Mehdi Abaakouk
ceph osd pool set ec4p1c min_size 2
682 1 Mehdi Abaakouk
ceph osd pool set ec4p1c cache_target_dirty_ratio 0.4 # begin flushing modified (dirty) objects when they reach 40% of the cache pool’s capacity
683 225 Laurent GUERBY
ceph osd pool set ec4p1c cache_target_full_ratio 0.8 # begin flushing unmodified (clean) objects when they reach 80% of the cache pool’s capacity
684 239 Laurent GUERBY
ceph osd pool set ec4p1c target_max_bytes 100000000000 # to flush or evict at 100 GB = 100e9 bytes
685 239 Laurent GUERBY
ceph osd pool set ec4p1c target_max_objects 100000000000 # ?
686 225 Laurent GUERBY
ceph osd pool set ec4p1c hit_set_type bloom
687 225 Laurent GUERBY
ceph osd pool set ec4p1c hit_set_count 1
688 225 Laurent GUERBY
ceph osd pool set ec4p1c hit_set_period 3600
689 225 Laurent GUERBY
690 225 Laurent GUERBY
# creation et attach d'un disque sur une VM
691 1 Mehdi Abaakouk
cinder create --volume-type ceph-ec4p1 --display-name apt.tetaneutral.net-disk-1 1024
692 1 Mehdi Abaakouk
nova volume-attach apt.tetaneutral.net 4663c1c1-e5e9-4684-9e55-bb2d9cc18ac8
693 1 Mehdi Abaakouk
</pre>
694 1 Mehdi Abaakouk
695 1 Mehdi Abaakouk
Exemple de creation de ec3p1 avec cache 500G ec3p1c
696 1 Mehdi Abaakouk
697 228 Laurent GUERBY
<pre>
698 228 Laurent GUERBY
ceph osd erasure-code-profile set ec3p1profile k=3 m=1 ruleset-failure-domain=host
699 229 Laurent GUERBY
ceph osd pool create ec3p1 12 12 erasure ec3p1profile
700 229 Laurent GUERBY
701 229 Laurent GUERBY
ceph osd tier add ec3p1 ec3p1c
702 229 Laurent GUERBY
ceph osd tier cache-mode ec3p1c writeback
703 228 Laurent GUERBY
ceph osd tier set-overlay ec3p1 ec3p1c
704 228 Laurent GUERBY
705 228 Laurent GUERBY
ceph osd pool create ec3p1c 12 12 replicated
706 228 Laurent GUERBY
ceph osd pool set ec3p1c size 3 
707 228 Laurent GUERBY
ceph osd pool set ec3p1c min_size 2
708 228 Laurent GUERBY
ceph osd pool set ec3p1c cache_target_dirty_ratio 0.4 
709 228 Laurent GUERBY
ceph osd pool set ec3p1c cache_target_full_ratio 0.8 
710 228 Laurent GUERBY
ceph osd pool set ec3p1c target_max_bytes 500000000000 
711 228 Laurent GUERBY
ceph osd pool set ec3p1c target_max_objects 500000000000 
712 228 Laurent GUERBY
ceph osd pool set ec3p1c hit_set_type bloom
713 228 Laurent GUERBY
ceph osd pool set ec3p1c hit_set_count 1
714 228 Laurent GUERBY
ceph osd pool set ec3p1c hit_set_period 3600
715 230 Laurent GUERBY
716 231 Laurent GUERBY
cinder create --volume-type ceph-ec3p1 --display-name utopialab.tetaneutral.net-disk-1 8192
717 228 Laurent GUERBY
nova volume-attach utopialab.tetaneutral.net xxxVolumeIDxxx
718 219 Laurent GUERBY
</pre>
719 219 Laurent GUERBY
720 240 Laurent GUERBY
Effacer des profiles
721 240 Laurent GUERBY
722 240 Laurent GUERBY
<pre>
723 240 Laurent GUERBY
# ceph osd erasure-code-profile ls
724 240 Laurent GUERBY
default
725 240 Laurent GUERBY
ec3p1profile
726 240 Laurent GUERBY
ec4p1profile
727 240 Laurent GUERBY
# ceph osd erasure-code-profile get ec4p1profile
728 240 Laurent GUERBY
directory=/usr/lib/x86_64-linux-gnu/ceph/erasure-code
729 240 Laurent GUERBY
k=4
730 240 Laurent GUERBY
m=1
731 240 Laurent GUERBY
plugin=jerasure
732 240 Laurent GUERBY
ruleset-failure-domain=osd
733 240 Laurent GUERBY
technique=reed_sol_van
734 240 Laurent GUERBY
# ceph osd erasure-code-profile rm ec3p1profile
735 240 Laurent GUERBY
# ceph osd erasure-code-profile rm ec4p1profile
736 240 Laurent GUERBY
</pre>
737 240 Laurent GUERBY
738 240 Laurent GUERBY
739 1 Mehdi Abaakouk
h3. Erasure URL
740 1 Mehdi Abaakouk
741 1 Mehdi Abaakouk
http://www.spinics.net/lists/ceph-devel/msg20920.html
742 1 Mehdi Abaakouk
http://ceph.com/docs/master/rados/operations/cache-tiering/
743 1 Mehdi Abaakouk
744 1 Mehdi Abaakouk
An erasure encoded pool cannot be accessed directly using rbd. For this
745 219 Laurent GUERBY
reason we need a cache pool and an erasure pool. This not only allows
746 219 Laurent GUERBY
supporting rbd but increases performance.
747 219 Laurent GUERBY
748 219 Laurent GUERBY
http://ceph.com/docs/master/dev/erasure-coded-pool/#interface
749 219 Laurent GUERBY
750 219 Laurent GUERBY
Creation "ecpool" "ecruleset" "myprofile"
751 219 Laurent GUERBY
752 219 Laurent GUERBY
<pre>
753 219 Laurent GUERBY
ceph osd pool create ecpool 12 12 erasure
754 219 Laurent GUERBY
ceph osd crush rule create-erasure ecruleset
755 219 Laurent GUERBY
ceph osd pool create ecpool 12 12 erasure default ecruleset
756 219 Laurent GUERBY
ceph osd erasure-code-profile set myprofile ruleset-failure-domain=osd
757 219 Laurent GUERBY
ceph osd erasure-code-profile get myprofile
758 219 Laurent GUERBY
ceph osd pool create ecpool 12 12 erasure myprofile
759 219 Laurent GUERBY
ceph osd erasure-code-profile set myprofile k=3 m=1
760 219 Laurent GUERBY
ceph osd erasure-code-profile get myprofile
761 219 Laurent GUERBY
ceph osd pool create ecpool 12 12 erasure myprofile
762 219 Laurent GUERBY
763 219 Laurent GUERBY
ceph osd erasure-code-profile ls
764 219 Laurent GUERBY
ceph osd erasure-code-profile get default
765 219 Laurent GUERBY
ceph osd erasure-code-profile rm myprofile
766 217 Laurent GUERBY
ceph osd erasure-code-profile set myprofile ruleset-root=ssd
767 205 Mehdi Abaakouk
</pre>
768 167 Mehdi Abaakouk
769 234 Laurent GUERBY
h3. Remove erasure coded pool
770 234 Laurent GUERBY
771 234 Laurent GUERBY
<pre>
772 234 Laurent GUERBY
root@g1:~# ceph osd tier remove-overlay ec3p1c
773 234 Laurent GUERBY
there is now (or already was) no overlay for 'ec3p1c'
774 234 Laurent GUERBY
root@g1:~# ceph osd tier remove-overlay ec3p1
775 234 Laurent GUERBY
there is now (or already was) no overlay for 'ec3p1'
776 234 Laurent GUERBY
root@g1:~# ceph osd tier remove ec3p1 ec3p1c
777 234 Laurent GUERBY
pool 'ec3p1c' is now (or already was) not a tier of 'ec3p1'
778 234 Laurent GUERBY
root@g1:~# ceph osd pool delete ec3p1c ec3p1c --yes-i-really-really-mean-it
779 234 Laurent GUERBY
pool 'ec3p1c' removed
780 234 Laurent GUERBY
root@g1:~# ceph osd pool delete ec3p1 ec3p1 --yes-i-really-really-mean-it
781 234 Laurent GUERBY
pool 'ec3p1' removed
782 234 Laurent GUERBY
</pre>
783 234 Laurent GUERBY
784 167 Mehdi Abaakouk
h2. Activer le cache-tiering  /!\/!\ Plus utilisé pas encore assez stable /!\/!\ 
785 167 Mehdi Abaakouk
786 210 Mehdi Abaakouk
http://ceph.com/docs/master/rados/operations/cache-tiering/
787 210 Mehdi Abaakouk
788 167 Mehdi Abaakouk
h3. Preparation
789 167 Mehdi Abaakouk
790 175 Mehdi Abaakouk
<pre>
791 175 Mehdi Abaakouk
ceph mkpool ssd-cache
792 175 Mehdi Abaakouk
ceph osd pool set ssd-cache pg_num 128
793 167 Mehdi Abaakouk
ceph osd pool set ssd-cache pgp_num 128
794 167 Mehdi Abaakouk
ceph osd pool set ssds crush_ruleset 1
795 167 Mehdi Abaakouk
ceph osd tier add disks ssd-cache
796 173 Mehdi Abaakouk
ceph osd tier cache-mode ssd-cache writeback
797 221 Mehdi Abaakouk
ceph osd tier set-overlay disks ssd-cache
798 1 Mehdi Abaakouk
ceph osd pool set ssd-cache target_max_bytes $[15 * 1024 * 1024 * 1024]
799 173 Mehdi Abaakouk
ceph osd pool set ssd-cache target_max_objects 3000000
800 173 Mehdi Abaakouk
801 173 Mehdi Abaakouk
# http://lists.ceph.com/pipermail/ceph-users-ceph.com/2014-August/042174.html
802 173 Mehdi Abaakouk
ceph osd pool set ssd-cache cache_target_dirty_ratio 0.4
803 176 Mehdi Abaakouk
ceph osd pool set ssd-cache cache_target_full_ratio 0.8
804 173 Mehdi Abaakouk
ceph osd pool set ssd-cache hit_set_type bloom
805 174 Mehdi Abaakouk
ceph osd pool set ssd-cache hit_set_count 1
806 174 Mehdi Abaakouk
ceph osd pool set ssd-cache hit_set_period 3600
807 210 Mehdi Abaakouk
808 210 Mehdi Abaakouk
ceph osd dump -f json-pretty | grep ssd-cache -A40 -B1
809 210 Mehdi Abaakouk
</pre>
810 210 Mehdi Abaakouk
811 210 Mehdi Abaakouk
h3. Gestion du cache
812 210 Mehdi Abaakouk
813 210 Mehdi Abaakouk
http://lists.ceph.com/pipermail/ceph-users-ceph.com/2014-August/042018.html
814 210 Mehdi Abaakouk
815 210 Mehdi Abaakouk
<pre>
816 210 Mehdi Abaakouk
rados -p ssd-cache cache-flush-evict-all
817 173 Mehdi Abaakouk
# puis control-c
818 167 Mehdi Abaakouk
ceph df|grep ssd-cache
819 179 Laurent GUERBY
</pre>
820 179 Laurent GUERBY
821 179 Laurent GUERBY
h2. Optimisations
822 179 Laurent GUERBY
823 179 Laurent GUERBY
via Loic :
824 200 Loic Dachary
http://ceph.com/docs/giant/rados/configuration/osd-config-ref/
825 200 Loic Dachary
dans /etc/ceph/ceph.conf
826 179 Laurent GUERBY
osd-disk-thread-ioprio-class = idle
827 179 Laurent GUERBY
osd-disk-thread-ioprio-priority = 7   
828 154 Laurent GUERBY
de façon hebdomadaire ceph va examiner l'etat des objets (scrub) et faire plein d'IO pour ça. Ce parametre dit que ces IO passent en dernier. Ca n'affecte pas les IO normales faites via rbd.
829 154 Laurent GUERBY
830 154 Laurent GUERBY
h2. Migration IP ceph
831 154 Laurent GUERBY
832 1 Mehdi Abaakouk
Au besoin pour passer cluster de test a dev
833 184 Mehdi Abaakouk
* http://ceph.com/docs/master/rados/operations/add-or-rm-mons/#changing-a-monitor-s-ip-address-the-messy-way
834 184 Mehdi Abaakouk
* http://ceph.com/docs/master/rados/operations/add-or-rm-mons/#changing-a-monitor-s-ip-address-the-right-way
835 184 Mehdi Abaakouk
836 237 Laurent GUERBY
h2. Configuration des Policies
837 184 Mehdi Abaakouk
838 196 Mehdi Abaakouk
Les rules modifiées /etc/{nova,cinder,neutron,glance}/policy.json sont ici:
839 1 Mehdi Abaakouk
840 1 Mehdi Abaakouk
http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/openstack-tools/revisions/master/show/policy