Projet

Général

Profil

Openstack Installation TTNN » Historique » Version 195

Mehdi Abaakouk, 06/10/2014 15:01

1 43 Laurent GUERBY
{{>toc}}
2 43 Laurent GUERBY
3 159 Laurent GUERBY
h1. Openstack Installation tetaneutral.net
4 1 Mehdi Abaakouk
5 44 Laurent GUERBY
h2. Liens
6 44 Laurent GUERBY
7 44 Laurent GUERBY
* http://ceph.com/docs/master/rados/operations/cache-tiering/
8 44 Laurent GUERBY
* http://ceph.com/docs/master/rados/operations/crush-map/
9 44 Laurent GUERBY
10 3 Mehdi Abaakouk
h2. Pending upstream fixes:
11 3 Mehdi Abaakouk
12 143 Mehdi Abaakouk
La liste à jour est ici: 
13 143 Mehdi Abaakouk
http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster/revisions/master/entry/manifests/nodes/openstack.pp#L27
14 1 Mehdi Abaakouk
15 4 Mehdi Abaakouk
h2. Installation
16 4 Mehdi Abaakouk
17 4 Mehdi Abaakouk
Le setup installé est composé de :
18 4 Mehdi Abaakouk
19 4 Mehdi Abaakouk
* 3 hyperviseurs (compute node) qui contiendront 1 ceph-mon, N ceph-osd, nova-compute (qui lance les VM), neutron-openvswitch-agent (qui configure le réseau des vms)
20 4 Mehdi Abaakouk
* 1 VM (controler node), qui contient tous les services de management d'openstack (nova, cinder, glance, neutron)
21 4 Mehdi Abaakouk
22 4 Mehdi Abaakouk
Les étapes d'installation sont les suivantes:
23 4 Mehdi Abaakouk
* Préparation manuelle de la VM de management sur un des hyperviseurs
24 4 Mehdi Abaakouk
* Installation de ceph et openstack sur toutes les machines avec puppet
25 4 Mehdi Abaakouk
* Déplacement de la VM de management d'openstack dans openstack.
26 4 Mehdi Abaakouk
27 33 Mehdi Abaakouk
h3. Information sur le puppet master:
28 33 Mehdi Abaakouk
29 33 Mehdi Abaakouk
La conf et modules puppet utilisé par tetaneutral.net ce trouve la:
30 33 Mehdi Abaakouk
31 33 Mehdi Abaakouk
> http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster
32 33 Mehdi Abaakouk
> http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster/revisions/master/entry/manifests/nodes/openstack.pp
33 33 Mehdi Abaakouk
34 136 Mehdi Abaakouk
Seulement c'est 3 classes sont spécifique à tetaneutral, le reste est réutilisable à condition de changer les ip, hostname, uuid et password:
35 33 Mehdi Abaakouk
36 36 Mehdi Abaakouk
> class { 'ttnn::server': }
37 36 Mehdi Abaakouk
> class { 'backup::client': }
38 36 Mehdi Abaakouk
> class { 'sexymotd': }
39 33 Mehdi Abaakouk
40 33 Mehdi Abaakouk
Les modules qui sont nécessaire pour openstack pour le reste du fichier sont:
41 33 Mehdi Abaakouk
42 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-apache.git 
43 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-apt 
44 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-ceph.git 
45 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-cinder.git 
46 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-concat.git 
47 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-glance.git 
48 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-horizon.git 
49 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-inifile.git 
50 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-keystone.git 
51 33 Mehdi Abaakouk
> https://github.com/camptocamp/puppet-kmod.git 
52 33 Mehdi Abaakouk
> https://github.com/saz/puppet-memcached.git 
53 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-mysql.git 
54 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-neutron.git 
55 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-nova.git 
56 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-rabbitmq.git 
57 33 Mehdi Abaakouk
> https://github.com/nanliu/puppet-staging.git 
58 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-stdlib.git 
59 33 Mehdi Abaakouk
> https://github.com/duritong/puppet-sysctl.git 
60 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-vcsrepo.git 
61 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-vswitch.git 
62 36 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-xinetd.git
63 33 Mehdi Abaakouk
64 33 Mehdi Abaakouk
h3. Préparation réseaux des hosts:
65 29 Mehdi Abaakouk
66 1 Mehdi Abaakouk
67 126 Mehdi Abaakouk
Preparation des bridges openvswitch:
68 126 Mehdi Abaakouk
69 1 Mehdi Abaakouk
<pre>
70 130 Mehdi Abaakouk
$ apt-get install openvswitch-switch 
71 126 Mehdi Abaakouk
$ modprobe vhost-net
72 126 Mehdi Abaakouk
$ modprobe tun
73 126 Mehdi Abaakouk
$ modprobe loop
74 148 Mehdi Abaakouk
75 148 Mehdi Abaakouk
# On créé un switch br-eth0
76 151 Mehdi Abaakouk
ovs-vsctl add-br br-eth0
77 148 Mehdi Abaakouk
# On rajoute une petite bricole pour openstack 
78 151 Mehdi Abaakouk
ovs-vsctl br-set-external-id br-eth0 bridge-id br-eth0
79 148 Mehdi Abaakouk
# On ajoute le port eth0 dans le switch
80 151 Mehdi Abaakouk
ovs-vsctl add-port br-eth0 eth0  # Si aucun trunk vlan n'est spécifié, c'est un trunk avec tous les vlans 
81 148 Mehdi Abaakouk
82 148 Mehdi Abaakouk
# On créé des interfaces réseau utilisable sur la machine avec des vlans:
83 155 Mehdi Abaakouk
ovs-vsctl add-br vlan3132 br-eth0 3132
84 151 Mehdi Abaakouk
ovs-vsctl add-br vlan3175 br-eth0 3175
85 151 Mehdi Abaakouk
ovs-vsctl add-br vlan3199 br-eth0 3199
86 148 Mehdi Abaakouk
87 150 Mehdi Abaakouk
# On s'assure que eth0 sera toujours up
88 151 Mehdi Abaakouk
ovs-ofctl mod-port br-eth0 eth0 up
89 150 Mehdi Abaakouk
90 126 Mehdi Abaakouk
</pre>
91 1 Mehdi Abaakouk
92 126 Mehdi Abaakouk
_note: Les bridges openvswitch sont mémorisés et recréés automatiquement par le service openvswitch-switch_
93 126 Mehdi Abaakouk
94 133 Mehdi Abaakouk
On install le fichier attachment:rc.local dans /etc/
95 133 Mehdi Abaakouk
Et le fichier attachment:tetaneutral-openstack-routing-daemon.sh dans /root/
96 1 Mehdi Abaakouk
97 1 Mehdi Abaakouk
On re-charge le fichier attachment:rc.local
98 133 Mehdi Abaakouk
99 133 Mehdi Abaakouk
<pre>
100 126 Mehdi Abaakouk
bash -x /etc/rc.local
101 1 Mehdi Abaakouk
</pre>
102 126 Mehdi Abaakouk
103 126 Mehdi Abaakouk
104 126 Mehdi Abaakouk
Sur h7.tetaneutral.net le routage est le suivant
105 73 Mehdi Abaakouk
106 73 Mehdi Abaakouk
<pre>
107 155 Mehdi Abaakouk
ip route add 89.234.156.249/32 dev eth0.3132
108 155 Mehdi Abaakouk
ip route add 89.234.156.251/32 dev eth0.3132
109 155 Mehdi Abaakouk
ip route add 89.234.156.252/32 dev eth0.3132
110 155 Mehdi Abaakouk
ip route add 89.234.156.253/32 dev eth0.3132
111 155 Mehdi Abaakouk
ip route add 2a01:6600:8083:f900::/56 dev eth0.3132
112 155 Mehdi Abaakouk
ip route add 2a01:6600:8083:fb00::/56 dev eth0.3132
113 155 Mehdi Abaakouk
ip route add 2a01:6600:8083:fc00::/56 dev eth0.3132
114 155 Mehdi Abaakouk
ip route add 2a01:6600:8083:fd00::/56 dev eth0.3132
115 16 Mehdi Abaakouk
</pre>
116 1 Mehdi Abaakouk
117 20 Mehdi Abaakouk
h3. Preparation de la VM de management, le controlleur
118 6 Mehdi Abaakouk
119 6 Mehdi Abaakouk
h4. Installation des prérequis
120 6 Mehdi Abaakouk
121 1 Mehdi Abaakouk
<pre>
122 129 Mehdi Abaakouk
$ apt-get install libvirt-bin openstack-debian-images virtinst
123 131 Mehdi Abaakouk
#NOTE(sileht): temporairement récupérer la dernière version:
124 131 Mehdi Abaakouk
$ curl -# http://anonscm.debian.org/cgit/openstack/openstack-debian-images.git/plain/build-openstack-debian-image > /usr/sbin/build-openstack-debian-image
125 20 Mehdi Abaakouk
</pre>
126 1 Mehdi Abaakouk
127 1 Mehdi Abaakouk
h4. Preparation de l'image de la VM
128 92 Mehdi Abaakouk
129 20 Mehdi Abaakouk
<pre>
130 20 Mehdi Abaakouk
$ vim hook.sh
131 1 Mehdi Abaakouk
set -xv
132 20 Mehdi Abaakouk
133 92 Mehdi Abaakouk
echo "openstack" > $BODI_CHROOT_PATH/etc/hostname
134 40 Mehdi Abaakouk
135 46 Mehdi Abaakouk
cat > $BODI_CHROOT_PATH/etc/resolv.conf <<EOF
136 46 Mehdi Abaakouk
domain tetaneutral.net
137 46 Mehdi Abaakouk
search tetaneutral.net
138 1 Mehdi Abaakouk
nameserver 8.8.8.8
139 46 Mehdi Abaakouk
EOF
140 46 Mehdi Abaakouk
141 92 Mehdi Abaakouk
cat > $BODI_CHROOT_PATH/etc/network/interfaces <<EOF
142 6 Mehdi Abaakouk
auto lo
143 20 Mehdi Abaakouk
iface lo inet loopback
144 1 Mehdi Abaakouk
auto eth0
145 6 Mehdi Abaakouk
iface eth0 inet manual
146 4 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth0.accept_ra=0
147 1 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth0.autoconf=0
148 4 Mehdi Abaakouk
  up ip link set eth0 up
149 10 Mehdi Abaakouk
  up ip addr add 89.234.156.249/32 dev eth0
150 152 Mehdi Abaakouk
  up ip route add 91.224.149.0/24 dev eth0
151 152 Mehdi Abaakouk
  up ip route add default via 91.224.149.254
152 20 Mehdi Abaakouk
153 1 Mehdi Abaakouk
iface eth0 inet6 static
154 7 Mehdi Abaakouk
    pre-up /sbin/sysctl -w net.ipv6.conf.eth0.accept_ra=0
155 4 Mehdi Abaakouk
    pre-up /sbin/sysctl -w net.ipv6.conf.eth0.autoconf=0
156 21 Mehdi Abaakouk
    address 2a01:6600:8083:f900::1
157 12 Mehdi Abaakouk
    netmask 56
158 4 Mehdi Abaakouk
    gateway fe80::31
159 4 Mehdi Abaakouk
160 4 Mehdi Abaakouk
auto eth1
161 5 Mehdi Abaakouk
iface eth1 inet static
162 13 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth1.accept_ra=0
163 18 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth1.autoconf=0
164 18 Mehdi Abaakouk
  address 192.168.3.100
165 18 Mehdi Abaakouk
  netmask 255.255.255.0
166 18 Mehdi Abaakouk
EOF
167 18 Mehdi Abaakouk
168 18 Mehdi Abaakouk
mkdir -p $BODI_CHROOT_PATH/root/.ssh
169 59 Mehdi Abaakouk
chmod 600 $BODI_CHROOT_PATH/root/.ssh
170 59 Mehdi Abaakouk
cat >> $BODI_CHROOT_PATH/root/.ssh/authorized_keys <<EOF
171 11 Mehdi Abaakouk
ssh-dss AAAAB3NzaC1kc3MAAACBAJtnGLvuz4uVD6fnERDxDi/C0UyzwCiKmgNtEessopREYasAX4Gu6Fg10jAyIL5Nuc7YDnqj//pOfxNjD7hp99a2ZmkRQgh/ltClxYML9fqhBHgsUCpVse9nOYDHDnDgvXIPRSDUHat2UFpdchHVrFURNLIlZnBztsr+GCDURTV/AAAAFQD9SrBcH49ltaKOm6V5ssCPmgs1SwAAAIAbAvkQ3/tMzzdACO5B9s5Yb3ZuM7XImm0iqufivVf2Xy39g8HOBulUsN7eKEGPhVriqNolgIO7q7tVgYAff4/NE4yDP0Kp0SPg4tjt2yFJuL31Y3wzwHjnKrjgNlDSLl3uZnRXSipwUMwGKbdHB6NZSqlq192VKbHilQ00pbiMlAAAAIB5dfB1lVHkJ0o5CcaVQRPbca9DvbbRwnoTSmKHc5DUcqsPqDhS07CkM9ZcJuY1Nh4wGl4Q9kArj7Tnsvvygf/HReSUcIk4+nbDytJ8/pca/Qx4fzQQyppa94TylN62LSFT6MIJKLoMwYa0dQURT7Mv5+9Qj2vk5pZ38w2iQ9zVCg== root@h1
172 4 Mehdi Abaakouk
EOF
173 4 Mehdi Abaakouk
174 6 Mehdi Abaakouk
sed -i -e 's/^.*Port.*$/Port 2222/' -e 's/^[# ]*PasswordAuthentication.*$/PasswordAuthentication no/' $BODI_CHROOT_PATH/etc/ssh/sshd_config
175 4 Mehdi Abaakouk
chroot $BODI_CHROOT_PATH dpkg-reconfigure openssh-server
176 4 Mehdi Abaakouk
chroot $BODI_CHROOT_PATH apt-get purge -y cloud-init*
177 8 Mehdi Abaakouk
</pre>
178 1 Mehdi Abaakouk
179 90 Mehdi Abaakouk
<pre>
180 90 Mehdi Abaakouk
$ chmod +x hook.sh
181 156 Mehdi Abaakouk
$ build-openstack-debian-image --image-size 20  --release jessie -u http://apt.tetaneutral.net/debian/ -s http://apt.tetaneutral.net/debian/ --hook-script $(pwd)/hook.sh -e acpi-support
182 90 Mehdi Abaakouk
$ mv debian-jessie-7.0.0-3-amd64.raw /openstack.raw 
183 90 Mehdi Abaakouk
$ rm debian-jessie-7.0.0-3-amd64.qcow2
184 90 Mehdi Abaakouk
</pre>
185 90 Mehdi Abaakouk
186 90 Mehdi Abaakouk
_note: la derniere commande lancée par le script doit être 'qemu-img convert -c -f raw .... , sinon l'image de bootera pas_
187 90 Mehdi Abaakouk
_note(jessie): si l'erreur est celle ci-dessous, relancer manuellement 'kpartx -d debian-jessie-7.0.0-3-amd64.raw' jusqu'a ce que l'erreur disparaissent et le .raw est utilisable:_
188 90 Mehdi Abaakouk
<pre>
189 6 Mehdi Abaakouk
+ 'kpartx -d debian-jessie-7.0.0-3-amd64.raw'
190 1 Mehdi Abaakouk
device-mapper: remove ioctl on loop0p1 failed: Device or resource busy
191 1 Mehdi Abaakouk
loop deleted : /dev/loop0
192 4 Mehdi Abaakouk
</pre>
193 93 Mehdi Abaakouk
_note: si parted freeze -> lancer /etc/init.d/udev restart_
194 19 Mehdi Abaakouk
195 128 Mehdi Abaakouk
196 128 Mehdi Abaakouk
On garde l'image raw qui sera importable dans ceph plus tard et on la mets à la racine pour qui l'utilisateur libvirt puisse y accéder.
197 19 Mehdi Abaakouk
198 24 Mehdi Abaakouk
h4. Installation de la VM
199 19 Mehdi Abaakouk
200 1 Mehdi Abaakouk
<pre>
201 1 Mehdi Abaakouk
$
202 153 Mehdi Abaakouk
$ virt-install --name openstack --ram 2048 --network bridge=br-eth0,model=virtio --network bridge=br-eth0,model=virtio --network bridge=br-eth0,model=virtio --nographics --serial pty --wait -1 --noreboot --autostart --disk /openstack.raw,bus=virtio,cache=none,io=native --import
203 153 Mehdi Abaakouk
204 153 Mehdi Abaakouk
$ virsh edit openstack
205 153 Mehdi Abaakouk
 
206 153 Mehdi Abaakouk
# Pour chaque bridge ajouter, le vlan et openvswitch comme ceci:
207 157 Mehdi Abaakouk
#    <vlan><tag id='3132'/></vlan><virtualport type='openvswitch'/>
208 153 Mehdi Abaakouk
209 144 Mehdi Abaakouk
$ virsh  start openstack
210 1 Mehdi Abaakouk
$ ssh root@89.234.156.249 -p 2222
211 19 Mehdi Abaakouk
</pre>
212 19 Mehdi Abaakouk
213 24 Mehdi Abaakouk
Une fois connecté à la VM:
214 26 Mehdi Abaakouk
215 26 Mehdi Abaakouk
<pre>
216 4 Mehdi Abaakouk
$ apt-get install puppet
217 26 Mehdi Abaakouk
$ puppet agent --enable
218 32 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
219 26 Mehdi Abaakouk
Info: Caching certificate for ca
220 34 Mehdi Abaakouk
Info: csr_attributes file loading from /etc/puppet/csr_attributes.yaml
221 34 Mehdi Abaakouk
Info: Creating a new SSL certificate request for openstack.tetaneutral.net
222 35 Mehdi Abaakouk
Info: Certificate Request fingerprint (SHA256): AE:72:47:40:A0:E2:F4:59:BA:39:FA:3D:C2:A7:C9:1B:9F:87:A5:B7:65:3A:F9:D4:DE:AF:E2:A3:02:41:0F:2E
223 94 Mehdi Abaakouk
Info: Caching certificate for ca
224 35 Mehdi Abaakouk
Exiting; no certificate found and waitforcert is disabled
225 35 Mehdi Abaakouk
</pre>
226 35 Mehdi Abaakouk
227 35 Mehdi Abaakouk
Sur le puppetmaster:
228 35 Mehdi Abaakouk
229 35 Mehdi Abaakouk
<pre>
230 35 Mehdi Abaakouk
$ puppet ca sign openstack.tetaneutral.net 
231 35 Mehdi Abaakouk
</pre>
232 35 Mehdi Abaakouk
_note: si un vieux cert existe: puppet ca revoke openstack.tetaneutral.net ; puppet cert clean openstack.tetaneutral.net; puppet node clean openstack.tetaneutral.net_
233 35 Mehdi Abaakouk
234 35 Mehdi Abaakouk
De nouveau sur la VM:
235 35 Mehdi Abaakouk
236 35 Mehdi Abaakouk
<pre>
237 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
238 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
239 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
240 35 Mehdi Abaakouk
</pre>
241 64 Mehdi Abaakouk
242 35 Mehdi Abaakouk
Il ne doit plus y avoir d'erreur la 3°/4° fois.
243 35 Mehdi Abaakouk
244 35 Mehdi Abaakouk
h3. Configuration des hyperviseurs
245 35 Mehdi Abaakouk
246 35 Mehdi Abaakouk
Une fois la configuration réseau faite, tout ce fait avec puppet:
247 35 Mehdi Abaakouk
248 35 Mehdi Abaakouk
<pre>
249 35 Mehdi Abaakouk
$ apt-get install puppet
250 35 Mehdi Abaakouk
$ puppet agent --enable
251 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
252 35 Mehdi Abaakouk
Info: Caching certificate for ca
253 35 Mehdi Abaakouk
Info: csr_attributes file loading from /etc/puppet/csr_attributes.yaml
254 35 Mehdi Abaakouk
Info: Creating a new SSL certificate request for openstack.tetaneutral.net
255 35 Mehdi Abaakouk
Info: Certificate Request fingerprint (SHA256): AE:72:47:40:A0:E2:F4:59:BA:39:FA:3D:C2:A7:C9:1B:9F:87:A5:B7:65:3A:F9:D4:DE:AF:E2:A3:02:41:0F:2E
256 35 Mehdi Abaakouk
Info: Caching certificate for ca
257 35 Mehdi Abaakouk
Exiting; no certificate found and waitforcert is disabled
258 35 Mehdi Abaakouk
</pre>
259 35 Mehdi Abaakouk
260 101 Mehdi Abaakouk
Sur le puppetmaster:
261 35 Mehdi Abaakouk
262 35 Mehdi Abaakouk
<pre>
263 35 Mehdi Abaakouk
$ puppet ca sign openstack.tetaneutral.net 
264 35 Mehdi Abaakouk
</pre>
265 35 Mehdi Abaakouk
_note: si un vieux cert existe: puppet ca revoke openstack.tetaneutral.net ; puppet cert clean openstack.tetaneutral.net; puppet node clean openstack.tetaneutral.net_
266 35 Mehdi Abaakouk
267 35 Mehdi Abaakouk
De nouveau sur la VM:
268 35 Mehdi Abaakouk
269 35 Mehdi Abaakouk
<pre>
270 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
271 100 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
272 100 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
273 100 Mehdi Abaakouk
</pre>
274 100 Mehdi Abaakouk
275 35 Mehdi Abaakouk
Il ne doit plus y avoir d'erreur la 3°/4° fois.
276 1 Mehdi Abaakouk
277 187 Mehdi Abaakouk
h3. Information sur la configuration d'un hyperviseur sur le puppet master
278 37 Mehdi Abaakouk
279 38 Mehdi Abaakouk
La configuration puppet ressemble à :
280 38 Mehdi Abaakouk
281 109 Mehdi Abaakouk
<pre>
282 1 Mehdi Abaakouk
node "gX.tetaneutral.net" inherits openstack_node_common {
283 120 Mehdi Abaakouk
  # Configuration du routerid et de l'AS number de cette machine
284 1 Mehdi Abaakouk
  # Il faut aussi mettre la conf bgp de h7 ainsi que les fichiers 
285 1 Mehdi Abaakouk
  # /etc/puppet/manifests/files/openstack-bird.conf.erb et
286 125 Mehdi Abaakouk
  # /etc/puppet/manifests/files/openstack-bird6.conf.erb
287 125 Mehdi Abaakouk
  # pour ajouter cette AS interne
288 97 Mehdi Abaakouk
  ttnn_os_bird {'198.51.100.1': asnum => "65001"}
289 109 Mehdi Abaakouk
290 120 Mehdi Abaakouk
  # Dans le cas d'une moniteur ceph, mais uniquement 3 suffissent, on a déjà g1,g2,g3
291 109 Mehdi Abaakouk
  ttnn_ceph_mon {$::hostname:}
292 88 Mehdi Abaakouk
  # Sinon utilisait:
293 88 Mehdi Abaakouk
  # class{"ttnn_ceph_osd_only": }
294 109 Mehdi Abaakouk
295 88 Mehdi Abaakouk
  # La partie Openstack, l'uuid doit être unique par machine (générer avec uuid-gen)
296 109 Mehdi Abaakouk
  ttnn_os_compute {"9d26ec10-a48b-4f0f-a122-f10ed16d270f": }
297 109 Mehdi Abaakouk
}
298 109 Mehdi Abaakouk
</pre>
299 109 Mehdi Abaakouk
300 109 Mehdi Abaakouk
h3. Déplacement du disk du controlleur dans le cluster ceph
301 109 Mehdi Abaakouk
302 97 Mehdi Abaakouk
Les recettes puppet on créé un pool disks pour les mettres les VMs et volumes de VM
303 97 Mehdi Abaakouk
304 109 Mehdi Abaakouk
305 97 Mehdi Abaakouk
Sur g1, on import le disque de la VM dans ceph et on modifie la conf libvirt:
306 97 Mehdi Abaakouk
307 109 Mehdi Abaakouk
<pre>
308 111 Mehdi Abaakouk
$ virsh shutdown openstack
309 1 Mehdi Abaakouk
$ rbd -p disks import /var/lib/ceph/osd/ceph-0/openstack.raw  openstack-disk
310 1 Mehdi Abaakouk
$ virsh edit openstack
311 1 Mehdi Abaakouk
</pre>
312 120 Mehdi Abaakouk
313 109 Mehdi Abaakouk
Remplacer: 
314 112 Mehdi Abaakouk
<pre>
315 109 Mehdi Abaakouk
    <disk type='file' device='disk'>
316 109 Mehdi Abaakouk
      <driver name='qemu' type='raw' cache='none' io='native'/>
317 109 Mehdi Abaakouk
      <source file='/var/lib/ceph/osd/ceph-0/openstack.raw'/>
318 110 Mehdi Abaakouk
      <target dev='vda' bus='virtio'/>
319 109 Mehdi Abaakouk
      <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
320 97 Mehdi Abaakouk
    </disk>
321 97 Mehdi Abaakouk
</pre>
322 109 Mehdi Abaakouk
323 97 Mehdi Abaakouk
Par:
324 97 Mehdi Abaakouk
325 109 Mehdi Abaakouk
<pre>
326 109 Mehdi Abaakouk
    <disk type='network' device='disk'>
327 109 Mehdi Abaakouk
        <driver name='qemu' type='raw'/>
328 109 Mehdi Abaakouk
        <source protocol='rbd' name='disks/openstack-disk'>
329 144 Mehdi Abaakouk
                <host name='192.168.99.101' port='6789'/>
330 144 Mehdi Abaakouk
                <host name='192.168.99.102' port='6789'/>
331 144 Mehdi Abaakouk
                <host name='192.168.99.103' port='6789'/>
332 97 Mehdi Abaakouk
        </source>
333 97 Mehdi Abaakouk
        <auth username='openstack-service'>
334 109 Mehdi Abaakouk
            <secret type='ceph' uuid='1fe74663-8dfa-486c-bb80-3bd94c90c967'/>
335 97 Mehdi Abaakouk
        </auth>
336 97 Mehdi Abaakouk
        <target dev='vda' bus='virtio'/>
337 97 Mehdi Abaakouk
        <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
338 97 Mehdi Abaakouk
    </disk>
339 97 Mehdi Abaakouk
</pre>
340 97 Mehdi Abaakouk
341 97 Mehdi Abaakouk
La clé ceph pour libvirt a déjà été installé par puppet pour avoir sont uuid:
342 97 Mehdi Abaakouk
343 97 Mehdi Abaakouk
<pre>
344 97 Mehdi Abaakouk
$ virsh secret-list
345 97 Mehdi Abaakouk
 UUID                                  Usage
346 97 Mehdi Abaakouk
--------------------------------------------------------------------------------
347 97 Mehdi Abaakouk
 1fe74663-8dfa-486c-bb80-3bd94c90c967  ceph client.openstack-service secret
348 97 Mehdi Abaakouk
</pre>
349 97 Mehdi Abaakouk
350 97 Mehdi Abaakouk
Puis on démarre
351 97 Mehdi Abaakouk
352 97 Mehdi Abaakouk
<pre>
353 97 Mehdi Abaakouk
$ virsh start openstack
354 97 Mehdi Abaakouk
</pre>
355 97 Mehdi Abaakouk
356 97 Mehdi Abaakouk
357 97 Mehdi Abaakouk
Ca marche !
358 97 Mehdi Abaakouk
359 97 Mehdi Abaakouk
<pre>
360 68 Mehdi Abaakouk
$ ssh openstack.t
361 68 Mehdi Abaakouk
X11 forwarding request failed on channel 0
362 68 Mehdi Abaakouk
363 68 Mehdi Abaakouk
  server: openstack.tetaneutral.net
364 102 Mehdi Abaakouk
  system: Debian jessie/sid, kernel 3.14-2-amd64, puppet 3.6.1
365 1 Mehdi Abaakouk
     cpu: 1/1 (QEMU Virtual CPU version 2.1.0)
366 102 Mehdi Abaakouk
  memory: 1.96 GB
367 1 Mehdi Abaakouk
368 102 Mehdi Abaakouk
    eth0: 52:54:00:90:d8:c7 / 89.234.156.249 / 2a01:6600:8083:f900::1
369 102 Mehdi Abaakouk
    eth1: 52:54:00:13:fa:13 / 192.168.3.100
370 68 Mehdi Abaakouk
371 68 Mehdi Abaakouk
 modules: openstack_node_common ttnn::server resolver checkmk::agent checkmk::client rsyslog::client rsyslog apt apt::update puppet nullmailer backup::client sexymotd 
372 68 Mehdi Abaakouk
                            _             _    
373 68 Mehdi Abaakouk
  ___  _ __   ___ _ __  ___| |_ __ _  ___| | __
374 68 Mehdi Abaakouk
 / _ \| '_ \ / _ \ '_ \/ __| __/ _` |/ __| |/ /
375 68 Mehdi Abaakouk
| (_) | |_) |  __/ | | \__ \ || (_| | (__|   < 
376 68 Mehdi Abaakouk
 \___/| .__/ \___|_| |_|___/\__\__,_|\___|_|\_\
377 68 Mehdi Abaakouk
      |_|                                      
378 68 Mehdi Abaakouk
Last login: Wed Aug 27 08:10:02 2014 from atoulouse-652-1-119-50.w2-6.abo.wanadoo.fr
379 68 Mehdi Abaakouk
root@openstack:~# 
380 68 Mehdi Abaakouk
381 68 Mehdi Abaakouk
</pre>
382 68 Mehdi Abaakouk
383 68 Mehdi Abaakouk
h2. Preparation des OSD pour ceph
384 68 Mehdi Abaakouk
385 68 Mehdi Abaakouk
h3. Cas général un disque entier:
386 68 Mehdi Abaakouk
387 158 Mehdi Abaakouk
<pre>
388 192 Mehdi Abaakouk
$ ceph-disk prepare --fs-type=btrfs /dev/sdb
389 168 Mehdi Abaakouk
$ ceph-disk activate /dev/sdb1
390 158 Mehdi Abaakouk
$ smartctl --smart=on /dev/sdb  # Pour le monitoring.
391 194 Mehdi Abaakouk
$ ceph osd crush add osd.<ID> 0 root=default host=g3
392 194 Mehdi Abaakouk
ou pour les ssds:
393 194 Mehdi Abaakouk
$ ceph osd crush add osd.<ID> 0 root=ssd host=g3-ssd
394 194 Mehdi Abaakouk
395 193 Mehdi Abaakouk
$ /root/tools/ceph-reweight-osds.sh
396 158 Mehdi Abaakouk
</pre>
397 68 Mehdi Abaakouk
398 1 Mehdi Abaakouk
h3. Cas particulier du SSD ou ce trouve l'OS
399 68 Mehdi Abaakouk
400 103 Mehdi Abaakouk
En général avec ceph, on donne un disque, ceph créé 2 partitions une pour le journal de l'OSD, l'autre pour les datas
401 1 Mehdi Abaakouk
mais pour le SSD de tetaneutral qui a aussi l'OS, voici la méthode
402 34 Mehdi Abaakouk
403 103 Mehdi Abaakouk
Création manuelle de la partition de data ceph /dev/sda2 ici
404 102 Mehdi Abaakouk
405 1 Mehdi Abaakouk
<pre>
406 1 Mehdi Abaakouk
$ fdisk /dev/sda
407 102 Mehdi Abaakouk
408 102 Mehdi Abaakouk
n
409 102 Mehdi Abaakouk
p
410 102 Mehdi Abaakouk
<enter>
411 102 Mehdi Abaakouk
<enter>
412 102 Mehdi Abaakouk
<enter>
413 102 Mehdi Abaakouk
<enter>
414 104 Mehdi Abaakouk
w
415 104 Mehdi Abaakouk
416 104 Mehdi Abaakouk
$ partprobe
417 104 Mehdi Abaakouk
</pre>
418 104 Mehdi Abaakouk
419 104 Mehdi Abaakouk
On prepare le disk comme normalement
420 105 Mehdi Abaakouk
421 104 Mehdi Abaakouk
<pre>
422 104 Mehdi Abaakouk
ceph-disk prepare /dev/sda2
423 106 Mehdi Abaakouk
ceph-disk activate /dev/sda2
424 104 Mehdi Abaakouk
</pre>
425 104 Mehdi Abaakouk
426 116 Mehdi Abaakouk
Le disque n'étant pas utilisé uniquement par ceph, le service ceph ne le chargera pas automatiquement:
427 116 Mehdi Abaakouk
Il faut ajouter ceci dans le /etc/rc.local:
428 116 Mehdi Abaakouk
429 116 Mehdi Abaakouk
<pre>
430 116 Mehdi Abaakouk
ceph-disk activate /dev/sda2
431 116 Mehdi Abaakouk
</pre>
432 116 Mehdi Abaakouk
433 170 Mehdi Abaakouk
h3. Suppression OSD:
434 116 Mehdi Abaakouk
435 116 Mehdi Abaakouk
<pre>
436 116 Mehdi Abaakouk
name="osd.2"
437 116 Mehdi Abaakouk
ceph osd out ${name}
438 116 Mehdi Abaakouk
/etc/init.d/ceph stop ${name}
439 116 Mehdi Abaakouk
ceph osd crush remove ${name}
440 116 Mehdi Abaakouk
ceph auth del ${name}
441 116 Mehdi Abaakouk
ceph osd rm ${name}
442 116 Mehdi Abaakouk
ceph osd tree
443 116 Mehdi Abaakouk
</pre>
444 116 Mehdi Abaakouk
445 116 Mehdi Abaakouk
h2. Configuration des Placements Groups des pools:
446 116 Mehdi Abaakouk
447 142 Mehdi Abaakouk
Par défaut les pools sont créés avec des placements groups à 8 (pg_num=8), 3 replicats, avec un tolérance à 2, si il manque des OSDs" 
448 116 Mehdi Abaakouk
449 116 Mehdi Abaakouk
Mais cette valeur (pg_num) défini le bon fonctionnement de ceph. Dans le cas standard (ie: 1 seul pool) la recette est facile: 
450 116 Mehdi Abaakouk
451 116 Mehdi Abaakouk
<pre>
452 116 Mehdi Abaakouk
               (OSDs * 100)
453 116 Mehdi Abaakouk
Total PGs = (  ------------  )
454 116 Mehdi Abaakouk
              OSD per object
455 116 Mehdi Abaakouk
</pre>
456 116 Mehdi Abaakouk
457 142 Mehdi Abaakouk
On arrondi à la puissance de 2 supérieurs. Mais dans notre cas 3 pools ce n'est pas si simple, les pools auront des cas d'utilisation différent:
458 116 Mehdi Abaakouk
459 116 Mehdi Abaakouk
Ma proposition de configuration:
460 107 Mehdi Abaakouk
* Pool ssds: il a 3 OSDs pour lui tout seul, on applique la recette magique: 3*100/3 ~= 128 pgs
461 1 Mehdi Abaakouk
* Pools images et disks: ils ont 3 OSDs à ce partager donc il faut répartir les 128 pgs. soit 32pgs et 96pgs (PS: il faut au moins 20pgs pour 3 réplicats)
462 69 Mehdi Abaakouk
463 1 Mehdi Abaakouk
Soit:
464 1 Mehdi Abaakouk
<pre>
465 79 Mehdi Abaakouk
ceph osd pool set ssds pg_num 128
466 1 Mehdi Abaakouk
ceph osd pool set images pg_num 32
467 1 Mehdi Abaakouk
ceph osd pool set disks pg_num 96
468 1 Mehdi Abaakouk
469 1 Mehdi Abaakouk
# attendre un peu qu'il y est plus de pg_create dans 'ceph -s'
470 121 Mehdi Abaakouk
ceph osd pool set ssds pgp_num 128  
471 121 Mehdi Abaakouk
ceph osd pool set images pgp_num 32
472 121 Mehdi Abaakouk
ceph osd pool set disks pgp_num 96
473 121 Mehdi Abaakouk
</pre>
474 1 Mehdi Abaakouk
475 107 Mehdi Abaakouk
476 1 Mehdi Abaakouk
477 107 Mehdi Abaakouk
_ref: http://ceph.com/docs/master/rados/operations/placement-groups/_
478 107 Mehdi Abaakouk
479 1 Mehdi Abaakouk
h2. Preparation du Pool SSD pour ceph 
480 107 Mehdi Abaakouk
481 107 Mehdi Abaakouk
Chaque machine se trouve dans 2 hosts, un host SSD et un host HARDDISK (même si en réalité les deux sont sur la même machine physique),
482 107 Mehdi Abaakouk
483 107 Mehdi Abaakouk
Ensuite on créé 2 object root un pour les hosts SSD et un autre pour les host HARDDISK
484 107 Mehdi Abaakouk
485 107 Mehdi Abaakouk
On créé ensuite 2 règles de stockage une qui envoie les objects vers le root SSD et l'autre vers le root HARDDISK
486 107 Mehdi Abaakouk
487 107 Mehdi Abaakouk
Cela permettra d'avoir de définir une règle différente suivant les pools ceph.
488 107 Mehdi Abaakouk
489 107 Mehdi Abaakouk
Niveau Openstack nous avons 3 pools:
490 107 Mehdi Abaakouk
* disks: Ce pool aura les disques de VM et les volumes attaché
491 107 Mehdi Abaakouk
* ssds: Ce pool contiendra les volumes sur ssd
492 107 Mehdi Abaakouk
* images: c'est la que seront stocké les images de VMs (glance).
493 122 Mehdi Abaakouk
494 122 Mehdi Abaakouk
h3. Configuration de la crushmap de ceph:
495 122 Mehdi Abaakouk
496 135 Mehdi Abaakouk
Il faut s'assurer que la crushmap n'est pas en mode automatique (c'est déjà configuré par puppet):
497 122 Mehdi Abaakouk
498 1 Mehdi Abaakouk
<pre>
499 135 Mehdi Abaakouk
[global]
500 135 Mehdi Abaakouk
osd crush update on start = false
501 135 Mehdi Abaakouk
</pre>
502 135 Mehdi Abaakouk
503 135 Mehdi Abaakouk
Création de l'arbre de rangement physique des SSD, l'arbre nommé 'default' sera donc celui des disques durs
504 135 Mehdi Abaakouk
505 135 Mehdi Abaakouk
<pre>
506 122 Mehdi Abaakouk
$ ceph osd crush add-bucket ssd root
507 122 Mehdi Abaakouk
$ ceph osd crush add-bucket g1-ssd host
508 122 Mehdi Abaakouk
$ ceph osd crush add-bucket g2-ssd host
509 122 Mehdi Abaakouk
$ ceph osd crush add-bucket g3-ssd host
510 1 Mehdi Abaakouk
$ ceph osd crush move g1-ssd root=ssd
511 1 Mehdi Abaakouk
$ ceph osd crush move g2-ssd root=ssd
512 1 Mehdi Abaakouk
$ ceph osd crush move g3-ssd root=ssd
513 107 Mehdi Abaakouk
$ ceph osd tree
514 107 Mehdi Abaakouk
# id	weight	type name	up/down	reweight
515 1 Mehdi Abaakouk
-5	0	root ssd
516 118 Mehdi Abaakouk
-6	0		host g1-ssd
517 118 Mehdi Abaakouk
-7	0		host g2-ssd
518 118 Mehdi Abaakouk
-8	0		host g3-ssd
519 118 Mehdi Abaakouk
-1	3	root default
520 117 Mehdi Abaakouk
-2	1		host g1
521 117 Mehdi Abaakouk
0	1			osd.0	up	1	
522 117 Mehdi Abaakouk
3	1			osd.3	up	1	
523 118 Mehdi Abaakouk
-3	1		host g2
524 118 Mehdi Abaakouk
1	1			osd.1	up	1	
525 107 Mehdi Abaakouk
4	1			osd.4	up	1	
526 107 Mehdi Abaakouk
-4	1		host g3
527 122 Mehdi Abaakouk
2	1			osd.2	up	1	
528 122 Mehdi Abaakouk
5	1			osd.5	up	1	
529 122 Mehdi Abaakouk
</pre>
530 122 Mehdi Abaakouk
531 122 Mehdi Abaakouk
532 122 Mehdi Abaakouk
On range les osd qui ont des disques SSD dans ce nouvel arbre.
533 122 Mehdi Abaakouk
534 122 Mehdi Abaakouk
<pre>
535 195 Mehdi Abaakouk
$ ceph osd crush add osd.3 0  root=ssd host=g1-ssd
536 195 Mehdi Abaakouk
$ ceph osd crush add osd.4 0  root=ssd host=g2-ssd
537 195 Mehdi Abaakouk
$ ceph osd crush add osd.5 0  root=ssd host=g3-ssd
538 195 Mehdi Abaakouk
539 122 Mehdi Abaakouk
# Ou si l'osd a déjà éte positionné une fois
540 195 Mehdi Abaakouk
$ ceph osd crush set osd.3 0  root=ssd host=g1-ssd
541 195 Mehdi Abaakouk
$ ceph osd crush set osd.4 0  root=ssd host=g2-ssd
542 195 Mehdi Abaakouk
$ ceph osd crush set osd.5 0  root=ssd host=g3-ssd
543 96 Mehdi Abaakouk
544 108 Mehdi Abaakouk
# Vérifier le résultat
545 107 Mehdi Abaakouk
$ ceph osd tree
546 96 Mehdi Abaakouk
# id	weight	type name	up/down	reweight
547 96 Mehdi Abaakouk
-5	3	root ssd
548 121 Mehdi Abaakouk
-6	1		host g1-ssd
549 96 Mehdi Abaakouk
3	1			osd.3	up	1	
550 107 Mehdi Abaakouk
-7	1		host g2-ssd
551 107 Mehdi Abaakouk
4	1			osd.4	up	1	
552 107 Mehdi Abaakouk
-8	1		host g3-ssd
553 1 Mehdi Abaakouk
5	1			osd.5	up	1	
554 1 Mehdi Abaakouk
-1	3	root default
555 1 Mehdi Abaakouk
-2	1		host g1
556 1 Mehdi Abaakouk
0	1			osd.0	up	1	
557 107 Mehdi Abaakouk
-3	1		host g2
558 107 Mehdi Abaakouk
1	1			osd.1	up	1	
559 107 Mehdi Abaakouk
-4	1		host g3
560 195 Mehdi Abaakouk
2	1			osd.2	up	1
561 195 Mehdi Abaakouk
562 195 Mehdi Abaakouk
Puis recalculer les poids des OSD:
563 195 Mehdi Abaakouk
$ /root/tools/ceph-reweight-osds.sh
564 107 Mehdi Abaakouk
</pre>
565 107 Mehdi Abaakouk
566 107 Mehdi Abaakouk
h3. Definition de la crushmap de ttnn
567 107 Mehdi Abaakouk
568 107 Mehdi Abaakouk
569 107 Mehdi Abaakouk
Une fois la crushmap modifié on créée et applique la règle sur le pool ssds:
570 107 Mehdi Abaakouk
571 107 Mehdi Abaakouk
<pre>
572 107 Mehdi Abaakouk
$ ceph osd crush rule create-simple ssd_replicated_ruleset ssd host firstn
573 107 Mehdi Abaakouk
$ ceph osd crush rule dump
574 107 Mehdi Abaakouk
[
575 107 Mehdi Abaakouk
    { "rule_id": 0,
576 107 Mehdi Abaakouk
      "rule_name": "replicated_ruleset",
577 1 Mehdi Abaakouk
      "ruleset": 0,
578 107 Mehdi Abaakouk
      "type": 1,
579 107 Mehdi Abaakouk
      "min_size": 1,
580 107 Mehdi Abaakouk
      "max_size": 10,
581 107 Mehdi Abaakouk
      "steps": [
582 107 Mehdi Abaakouk
            { "op": "take",
583 107 Mehdi Abaakouk
              "item": -1,
584 1 Mehdi Abaakouk
              "item_name": "default"},
585 121 Mehdi Abaakouk
            { "op": "chooseleaf_firstn",
586 1 Mehdi Abaakouk
              "num": 0,
587 1 Mehdi Abaakouk
              "type": "host"},
588 107 Mehdi Abaakouk
            { "op": "emit"}]},
589 1 Mehdi Abaakouk
    { "rule_id": 1,
590 1 Mehdi Abaakouk
      "rule_name": "ssd_replicated_ruleset",
591 107 Mehdi Abaakouk
      "ruleset": 1,
592 1 Mehdi Abaakouk
      "type": 1,
593 1 Mehdi Abaakouk
      "min_size": 1,
594 1 Mehdi Abaakouk
      "max_size": 10,
595 113 Mehdi Abaakouk
      "steps": [
596 114 Mehdi Abaakouk
            { "op": "take",
597 1 Mehdi Abaakouk
              "item": -5,
598 114 Mehdi Abaakouk
              "item_name": "ssd"},
599 113 Mehdi Abaakouk
            { "op": "chooseleaf_firstn",
600 113 Mehdi Abaakouk
              "num": 0,
601 113 Mehdi Abaakouk
              "type": "host"},
602 113 Mehdi Abaakouk
            { "op": "emit"}]}]
603 113 Mehdi Abaakouk
604 113 Mehdi Abaakouk
$ ceph osd pool set ssds crush_ruleset 1
605 113 Mehdi Abaakouk
</pre>
606 1 Mehdi Abaakouk
607 114 Mehdi Abaakouk
Il faut ensuite attendre que ceph redistribue les data comme on lui a demandé, on peut suivre l'avancement avec :
608 114 Mehdi Abaakouk
609 114 Mehdi Abaakouk
<pre>
610 114 Mehdi Abaakouk
ceph -s
611 114 Mehdi Abaakouk
</pre>
612 115 Mehdi Abaakouk
613 167 Mehdi Abaakouk
h2. Activer le cache-tiering
614 167 Mehdi Abaakouk
615 167 Mehdi Abaakouk
http://ceph.com/docs/master/rados/operations/cache-tiering/
616 167 Mehdi Abaakouk
617 167 Mehdi Abaakouk
<pre>
618 167 Mehdi Abaakouk
ceph mkpool ssd-cache
619 175 Mehdi Abaakouk
ceph osd pool set ssd-cache pg_num 128
620 175 Mehdi Abaakouk
ceph osd pool set ssd-cache pgp_num 128
621 175 Mehdi Abaakouk
ceph osd pool set ssds crush_ruleset 1
622 167 Mehdi Abaakouk
ceph osd tier add disks ssd-cache
623 167 Mehdi Abaakouk
ceph osd tier cache-mode ssd-cache writeback
624 167 Mehdi Abaakouk
ceph osd tier set-overlay disks ssd-cache
625 173 Mehdi Abaakouk
ceph osd pool set ssd-cache target_max_bytes $[15 * 1024 * 1024 * 1024]
626 1 Mehdi Abaakouk
627 173 Mehdi Abaakouk
# http://lists.ceph.com/pipermail/ceph-users-ceph.com/2014-August/042174.html
628 173 Mehdi Abaakouk
ceph osd pool set ssd-cache cache_target_dirty_ratio 0.4
629 173 Mehdi Abaakouk
ceph osd pool set ssd-cache cache_target_full_ratio 0.8
630 173 Mehdi Abaakouk
ceph osd pool set ssd-cache hit_set_type bloom
631 176 Mehdi Abaakouk
ceph osd pool set ssd-cache hit_set_count 1
632 173 Mehdi Abaakouk
ceph osd pool set ssd-cache hit_set_period 3600
633 174 Mehdi Abaakouk
634 174 Mehdi Abaakouk
ceph osd dump -f json-pretty | grep ssd-cache -A40 -B1
635 173 Mehdi Abaakouk
</pre>
636 167 Mehdi Abaakouk
637 179 Laurent GUERBY
h2. Optimisations
638 179 Laurent GUERBY
639 179 Laurent GUERBY
via Loic :
640 179 Laurent GUERBY
http://ceph.com/docs/giant/rados/configuration/osd-config-ref/
641 179 Laurent GUERBY
dans /etc/ceph/ceph.conf
642 179 Laurent GUERBY
disk-thread-ioprio-class = idle
643 179 Laurent GUERBY
disk-thread-ioprio-priority = 7   
644 179 Laurent GUERBY
de façon hebdomadaire ceph va examiner l'etat des objets (scrub) et faire plein d'IO pour ça. Ce parametre dit que ces IO passent en dernier. Ca n'affecte pas les IO normales faites via rbd.
645 179 Laurent GUERBY
646 154 Laurent GUERBY
h2. Migration IP ceph
647 154 Laurent GUERBY
648 154 Laurent GUERBY
Au besoin pour passer cluster de test a dev
649 154 Laurent GUERBY
* http://ceph.com/docs/master/rados/operations/add-or-rm-mons/#changing-a-monitor-s-ip-address-the-messy-way
650 1 Mehdi Abaakouk
* http://ceph.com/docs/master/rados/operations/add-or-rm-mons/#changing-a-monitor-s-ip-address-the-right-way
651 184 Mehdi Abaakouk
652 184 Mehdi Abaakouk
h2. Configuration des Policies:
653 184 Mehdi Abaakouk
654 186 Laurent GUERBY
Extrait des rules modifiées /etc/{nova,cinder,neutron,glance}/policy.json
655 184 Mehdi Abaakouk
656 184 Mehdi Abaakouk
Dans nova:
657 184 Mehdi Abaakouk
<pre>
658 184 Mehdi Abaakouk
    "default_original": "rule:admin_or_owner",
659 184 Mehdi Abaakouk
    "default": "is_admin:True",
660 184 Mehdi Abaakouk
    "disable": "role:not_existing_role",
661 184 Mehdi Abaakouk
662 184 Mehdi Abaakouk
    "compute:shelve": "rule:disable",
663 1 Mehdi Abaakouk
    "compute:shelve_offload": "rule:disable",
664 185 Mehdi Abaakouk
    "compute:unshelve": "rule:disable",    
665 185 Mehdi Abaakouk
666 185 Mehdi Abaakouk
    "compute_extension:shelve": "rule:disable",
667 185 Mehdi Abaakouk
    "compute_extension:shelveOffload": "rule:disable",
668 185 Mehdi Abaakouk
669 185 Mehdi Abaakouk
    "compute_extension:unshelve": "rule:disable",
670 185 Mehdi Abaakouk
    "compute_extension:v3:os-shelve:unshelve": "rule:disable",
671 184 Mehdi Abaakouk
</pre>
672 184 Mehdi Abaakouk
673 184 Mehdi Abaakouk
Dans cinder:
674 184 Mehdi Abaakouk
<pre>
675 184 Mehdi Abaakouk
    "default_original": [["rule:admin_or_owner"]],
676 184 Mehdi Abaakouk
    "default": [["is_admin:True"]],
677 184 Mehdi Abaakouk
</pre>
678 184 Mehdi Abaakouk
679 184 Mehdi Abaakouk
Dans glance:
680 184 Mehdi Abaakouk
<pre>
681 184 Mehdi Abaakouk
   "default_original": "",
682 184 Mehdi Abaakouk
   "default": "role:admin",
683 184 Mehdi Abaakouk
</pre>
684 184 Mehdi Abaakouk
685 184 Mehdi Abaakouk
Dans neutron:
686 184 Mehdi Abaakouk
<pre>
687 184 Mehdi Abaakouk
    "default_original": "rule:admin_or_owner",
688 184 Mehdi Abaakouk
    "default": "role:admin",
689 184 Mehdi Abaakouk
</pre>
690 154 Laurent GUERBY
691 115 Mehdi Abaakouk
h2. Management d'openstack
692 114 Mehdi Abaakouk
693 177 Laurent GUERBY
h3. Gestion du cache
694 177 Laurent GUERBY
695 178 Laurent GUERBY
http://lists.ceph.com/pipermail/ceph-users-ceph.com/2014-August/042018.html
696 178 Laurent GUERBY
697 177 Laurent GUERBY
<pre>
698 177 Laurent GUERBY
rados -p ssd-cache cache-flush-evict-all
699 177 Laurent GUERBY
# puis control-c
700 177 Laurent GUERBY
ceph df|grep ssd-cache
701 177 Laurent GUERBY
</pre>
702 177 Laurent GUERBY
703 138 Mehdi Abaakouk
h3. Exemple de migration de ganeti à openstack:
704 138 Mehdi Abaakouk
705 138 Mehdi Abaakouk
Sur h4:
706 138 Mehdi Abaakouk
<pre>
707 138 Mehdi Abaakouk
$ gnt-instance stop VMNAME.tetaneutral.net
708 138 Mehdi Abaakouk
$ gnt-instance activate-disks VMNAME.tetaneutral.net
709 138 Mehdi Abaakouk
h5.tetaneutral.net:disk/0:/dev/drbd34
710 138 Mehdi Abaakouk
</pre>
711 138 Mehdi Abaakouk
712 138 Mehdi Abaakouk
713 188 Mehdi Abaakouk
Sur g1, mettre l'image dans cinder
714 138 Mehdi Abaakouk
<pre>
715 138 Mehdi Abaakouk
name=VMNAME.tetaneutral.net
716 163 Mehdi Abaakouk
</pre>
717 1 Mehdi Abaakouk
718 163 Mehdi Abaakouk
Crée un volume (remplacer 20 par la taille du disque désiré):
719 163 Mehdi Abaakouk
720 1 Mehdi Abaakouk
<pre>
721 163 Mehdi Abaakouk
cinder create --volume_type ceph --display-name ${name}-bootdisk 20    # mettre ici un peu plus grand que le vrai disque.
722 1 Mehdi Abaakouk
volume_id=$(cinder show ${name}-bootdisk | awk '/ id /{print $4}')
723 163 Mehdi Abaakouk
</pre>
724 162 Mehdi Abaakouk
725 163 Mehdi Abaakouk
On remplace le volume rbd par le disque de la VM:
726 165 Mehdi Abaakouk
727 163 Mehdi Abaakouk
<pre>
728 1 Mehdi Abaakouk
rbd -p disks mv volume-$volume_id disks/volume-${volume_id}.old
729 165 Mehdi Abaakouk
socat -u tcp4-listen:505555 - | rbd -p disks import - volume-$volume_id
730 165 Mehdi Abaakouk
</pre>
731 165 Mehdi Abaakouk
732 165 Mehdi Abaakouk
Sur la machine hX qui as le disque (ici h5 et le disque drbd34)
733 165 Mehdi Abaakouk
<pre>
734 165 Mehdi Abaakouk
cat /dev/drbd34 | socat -u - tcp4:g1:505555
735 169 Mehdi Abaakouk
# ou avec une bar de progression
736 169 Mehdi Abaakouk
apt-get install pv 
737 169 Mehdi Abaakouk
pv /dev/drbd34 | socat -u - tcp4:g1:505555
738 165 Mehdi Abaakouk
</pre>
739 164 Mehdi Abaakouk
740 166 Mehdi Abaakouk
<pre>
741 164 Mehdi Abaakouk
# On peut voir l'avancement via:
742 164 Mehdi Abaakouk
watch -n1 -- rbd -p disks info volume-$volume_id
743 163 Mehdi Abaakouk
</pre>
744 162 Mehdi Abaakouk
745 163 Mehdi Abaakouk
On change la taille de l'image pour mettre la meme que le volume créé par openstack
746 163 Mehdi Abaakouk
747 163 Mehdi Abaakouk
<pre>
748 180 Mehdi Abaakouk
$ rbd -p disks info volume-$volume_id.old
749 183 Laurent GUERBY
rbd image 'volume-$volume_id.old':
750 180 Mehdi Abaakouk
	size **20480** MB in 5120 objects
751 162 Mehdi Abaakouk
	order 22 (4096 kB objects)
752 162 Mehdi Abaakouk
	block_name_prefix: rbd_data.752a15a94252f
753 162 Mehdi Abaakouk
	format: 2
754 1 Mehdi Abaakouk
	features: layering
755 180 Mehdi Abaakouk
$ rbd -p disks resize --size 20480 volume-$volume_id
756 162 Mehdi Abaakouk
</pre>
757 161 Mehdi Abaakouk
758 138 Mehdi Abaakouk
Booter la VM avec ce disque (le disque existant déjà le script l'utilisera):
759 163 Mehdi Abaakouk
760 1 Mehdi Abaakouk
<pre>
761 183 Laurent GUERBY
./boot-vm.sh --ip A.B.C.D --flavor Xvcpu-Yram ${name}
762 140 Mehdi Abaakouk
</pre>
763 139 Mehdi Abaakouk
764 181 Mehdi Abaakouk
_Note: Si le disque a été agrandi, on peut utiliser dans la VM "growpart /dev/vda 1" ou 'parted resizepart' pour récupérer l'espace disponible (fonctionne bien sous jessie ou dernier ubuntu)_
765 138 Mehdi Abaakouk
766 138 Mehdi Abaakouk
Quand c'est fini sur h4:
767 138 Mehdi Abaakouk
768 138 Mehdi Abaakouk
<pre>
769 1 Mehdi Abaakouk
gnt-instance deactivate-disks VMNAME.tetaneutral.net
770 182 Laurent GUERBY
</pre>
771 182 Laurent GUERBY
772 182 Laurent GUERBY
S'il faut changer la RAM et vCPU
773 182 Laurent GUERBY
774 182 Laurent GUERBY
<pre>
775 1 Mehdi Abaakouk
nova flavor-list
776 1 Mehdi Abaakouk
nova list
777 182 Laurent GUERBY
nova resize ${name} FLAVOR_ID --poll
778 182 Laurent GUERBY
nova resize-confirm VM_ID
779 182 Laurent GUERBY
</pre>
780 189 Mehdi Abaakouk
781 189 Mehdi Abaakouk
782 114 Mehdi Abaakouk
783 171 Mehdi Abaakouk
h2. Maintenance de la VM de management
784 114 Mehdi Abaakouk
785 114 Mehdi Abaakouk
h3. Live Migration d'un host à l'autre
786 114 Mehdi Abaakouk
787 114 Mehdi Abaakouk
Cela fait tout à notre place niveau kvm/libvirt/ceph
788 114 Mehdi Abaakouk
789 114 Mehdi Abaakouk
<pre>
790 114 Mehdi Abaakouk
virsh migrate --persistent --undefinesource --live --p2p openstack qemu+ssh://g2:2222/system
791 114 Mehdi Abaakouk
</pre>
792 114 Mehdi Abaakouk
793 114 Mehdi Abaakouk
Pour le réseau le service/script 'tetaneutral-openstack-routing-daemon.sh' s'occupe de basculer les routes automatiquement.
794 114 Mehdi Abaakouk
795 137 Mehdi Abaakouk
h3. Recover depuis une perte de la machine hote:
796 114 Mehdi Abaakouk
797 1 Mehdi Abaakouk
Créé un fichier openstack.xml à partir d'un backup de '/etc/libvirt/qemu/openstack.xml' ou utiliser l'exemple ici: attachment:openstack.xml
798 1 Mehdi Abaakouk
799 1 Mehdi Abaakouk
_Note: il faut surement viré les uuid des interfaces openvswitch qui sont différent suivant le hosts_
800 1 Mehdi Abaakouk
801 1 Mehdi Abaakouk
Puis on recréé la VM
802 1 Mehdi Abaakouk
803 1 Mehdi Abaakouk
<pre>
804 1 Mehdi Abaakouk
$ virsh create openstack.xml
805 1 Mehdi Abaakouk
$ virsh start openstack.xml
806 171 Mehdi Abaakouk
</pre>
807 171 Mehdi Abaakouk
808 171 Mehdi Abaakouk
h3. Opération sur les VMs
809 171 Mehdi Abaakouk
810 190 Mehdi Abaakouk
h4. Agrandissement d'un disque
811 190 Mehdi Abaakouk
812 190 Mehdi Abaakouk
Sur la machine 'openstack':
813 190 Mehdi Abaakouk
814 190 Mehdi Abaakouk
<pre>
815 190 Mehdi Abaakouk
root@openstack:~/tools ./os-grow-disk.sh 
816 190 Mehdi Abaakouk
usage: os-grow-disk.sh CINDER_VOLUME_ID SIZE_GB
817 190 Mehdi Abaakouk
818 190 Mehdi Abaakouk
root@openstack:~/tools# ./os-grow-disk.sh bc6f01cb-c6b6-4413-b2ef-1f7df0031049 60
819 190 Mehdi Abaakouk
Cinder:
820 190 Mehdi Abaakouk
bc6f01cb-c6b6-4413-b2ef-1f7df0031049 , test4-bootdisk | 40 -> 60
821 190 Mehdi Abaakouk
 
822 190 Mehdi Abaakouk
Enter YES to update
823 190 Mehdi Abaakouk
YES
824 190 Mehdi Abaakouk
Testing g3 ssh connection...
825 190 Mehdi Abaakouk
Resizing the kvm blockdevice...
826 190 Mehdi Abaakouk
Block device 'vda' is resized
827 191 Mehdi Abaakouk
Updating cinder database with the new value...
828 190 Mehdi Abaakouk
Update finish
829 190 Mehdi Abaakouk
</pre>
830 190 Mehdi Abaakouk
831 190 Mehdi Abaakouk
Puis sur la VM:
832 190 Mehdi Abaakouk
833 190 Mehdi Abaakouk
Il faut avoir un 'parted' récent ou patché avec le support du 'online resizepart':
834 190 Mehdi Abaakouk
835 190 Mehdi Abaakouk
'online resizepart' est natif depuis parted >= 3.1: 
836 191 Mehdi Abaakouk
* debian >= jessie
837 190 Mehdi Abaakouk
* ubuntu >= 14.10
838 190 Mehdi Abaakouk
839 190 Mehdi Abaakouk
'online resizepart' backporté dans:
840 190 Mehdi Abaakouk
* ubuntu >= 13.10 < 14.10 
841 190 Mehdi Abaakouk
842 190 Mehdi Abaakouk
Pour debian wheezy, utilisation les packages ubuntu de 14.04 devrait marcher 
843 190 Mehdi Abaakouk
(pas encore testé, à voir si le kernel veut bien reload la table des partitions après)
844 190 Mehdi Abaakouk
845 190 Mehdi Abaakouk
<pre> 
846 190 Mehdi Abaakouk
root@test4:~# parted /dev/vda print | grep vda
847 190 Mehdi Abaakouk
Disk /dev/vda: 64.4GB
848 190 Mehdi Abaakouk
 
849 190 Mehdi Abaakouk
root@test4# parted /dev/vda resizepart 1 
850 190 Mehdi Abaakouk
Warning: Partition /dev/vda1 is being used. Are you sure you want to continue?
851 190 Mehdi Abaakouk
Yes/No? Yes                                                               
852 190 Mehdi Abaakouk
End?  [42.9GB]? 64.4GB   # METTRE ICI LA TAILLE VU AU DESSUS                                                 
853 190 Mehdi Abaakouk
Information: You may need to update /etc/fstab.                           
854 190 Mehdi Abaakouk
855 190 Mehdi Abaakouk
root@test4:~# resize2fs /dev/vda1
856 190 Mehdi Abaakouk
resize2fs 1.42.9 (4-Feb-2014)
857 190 Mehdi Abaakouk
Filesystem at /dev/vda1 is mounted on /; on-line resizing required
858 190 Mehdi Abaakouk
old_desc_blocks = 3, new_desc_blocks = 4
859 190 Mehdi Abaakouk
The filesystem on /dev/vda1 is now 15722400 blocks long.
860 190 Mehdi Abaakouk
861 190 Mehdi Abaakouk
root@test4:~# df -h | grep vda
862 190 Mehdi Abaakouk
/dev/vda1        60G  797M   56G   2% /
863 191 Mehdi Abaakouk
</pre>
864 190 Mehdi Abaakouk
865 171 Mehdi Abaakouk
h4. Ajout d'une interface réseau à une VM:
866 171 Mehdi Abaakouk
867 171 Mehdi Abaakouk
<pre>
868 171 Mehdi Abaakouk
$ neutron net-list | grep vlan3199
869 171 Mehdi Abaakouk
| 460f49ce-f5ed-449e-9e0f-7626bcee4379 | vlan3199         | ba3f12af-074a-4a31-9a7c-a621993e13bb 192.168.99.0/24     |
870 171 Mehdi Abaakouk
871 171 Mehdi Abaakouk
$ neutron port-create 460f49ce-f5ed-449e-9e0f-7626bcee4379 --name nagios-eth2 --fixed-ips type=dict list=true ip_address=192.168.99.248
872 171 Mehdi Abaakouk
Created a new port:
873 171 Mehdi Abaakouk
+-----------------------+---------------------------------------------------------------------------------------+
874 171 Mehdi Abaakouk
| Field                 | Value                                                                                 |
875 171 Mehdi Abaakouk
+-----------------------+---------------------------------------------------------------------------------------+
876 171 Mehdi Abaakouk
| admin_state_up        | True                                                                                  |
877 171 Mehdi Abaakouk
| allowed_address_pairs |                                                                                       |
878 171 Mehdi Abaakouk
| binding:host_id       |                                                                                       |
879 171 Mehdi Abaakouk
| binding:profile       | {}                                                                                    |
880 171 Mehdi Abaakouk
| binding:vif_details   | {}                                                                                    |
881 171 Mehdi Abaakouk
| binding:vif_type      | unbound                                                                               |
882 171 Mehdi Abaakouk
| binding:vnic_type     | normal                                                                                |
883 171 Mehdi Abaakouk
| device_id             |                                                                                       |
884 171 Mehdi Abaakouk
| device_owner          |                                                                                       |
885 171 Mehdi Abaakouk
| fixed_ips             | {"subnet_id": "ba3f12af-074a-4a31-9a7c-a621993e13bb", "ip_address": "192.168.99.248"} |
886 171 Mehdi Abaakouk
| id                    | 918e0ec7-0909-423c-9a67-15b5ef7c7ae0                                                  |
887 171 Mehdi Abaakouk
| mac_address           | fa:16:3e:6b:32:07                                                                     |
888 171 Mehdi Abaakouk
| name                  | nagios-eth2                                                                           |
889 171 Mehdi Abaakouk
| network_id            | 460f49ce-f5ed-449e-9e0f-7626bcee4379                                                  |
890 171 Mehdi Abaakouk
| security_groups       | b6d5b5fb-a053-4f97-b964-9e1a12d243b1                                                  |
891 171 Mehdi Abaakouk
| status                | DOWN                                                                                  |
892 171 Mehdi Abaakouk
| tenant_id             | ed980105f9d047e2bee738b3f261f126                                                      |
893 171 Mehdi Abaakouk
+-----------------------+---------------------------------------------------------------------------------------+
894 171 Mehdi Abaakouk
895 171 Mehdi Abaakouk
$ nova interface-attach --port-id 918e0ec7-0909-423c-9a67-15b5ef7c7ae0   nagios.tetaneutral.net
896 1 Mehdi Abaakouk
</pre>
897 172 Mehdi Abaakouk
898 172 Mehdi Abaakouk
Dans la VM:
899 172 Mehdi Abaakouk
900 172 Mehdi Abaakouk
<pre>
901 172 Mehdi Abaakouk
$ dmesg | tail 
902 172 Mehdi Abaakouk
[ 1315.826088] virtio-pci 0000:00:06.0: using default PCI settings
903 172 Mehdi Abaakouk
[ 1315.826102] virtio-pci 0000:00:07.0: no hotplug settings from platform
904 172 Mehdi Abaakouk
[ 1315.826102] virtio-pci 0000:00:07.0: using default PCI settings
905 172 Mehdi Abaakouk
[ 1315.826116] pci 0000:00:08.0: no hotplug settings from platform
906 172 Mehdi Abaakouk
[ 1315.826117] pci 0000:00:08.0: using default PCI settings
907 172 Mehdi Abaakouk
[ 1315.826382] virtio-pci 0000:00:08.0: enabling device (0000 -> 0003)
908 172 Mehdi Abaakouk
[ 1315.829281] virtio-pci 0000:00:08.0: setting latency timer to 64
909 172 Mehdi Abaakouk
[ 1315.829535] virtio-pci 0000:00:08.0: irq 50 for MSI/MSI-X
910 172 Mehdi Abaakouk
[ 1315.829555] virtio-pci 0000:00:08.0: irq 51 for MSI/MSI-X
911 172 Mehdi Abaakouk
[ 1315.829563] virtio-pci 0000:00:08.0: irq 52 for MSI/MSI-X
912 172 Mehdi Abaakouk
913 172 Mehdi Abaakouk
$ ip l   show dev eth2
914 172 Mehdi Abaakouk
4: eth2: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN mode DEFAULT qlen 1000
915 172 Mehdi Abaakouk
    link/ether fa:16:3e:6b:32:07 brd ff:ff:ff:ff:ff:ff
916 172 Mehdi Abaakouk
917 172 Mehdi Abaakouk
$ tail -4 /etc/network/interfaces
918 172 Mehdi Abaakouk
auto eth2
919 172 Mehdi Abaakouk
iface eth2 inet static
920 172 Mehdi Abaakouk
   address 192.168.99.248
921 172 Mehdi Abaakouk
   netmask 255.255.255.0
922 172 Mehdi Abaakouk
923 172 Mehdi Abaakouk
$ ifup eth2
924 172 Mehdi Abaakouk
$ ping 192.169.99.250
925 172 Mehdi Abaakouk
PING 192.169.99.250 (192.169.99.250) 56(84) bytes of data.
926 172 Mehdi Abaakouk
64 bytes from 192.169.99.250: icmp_req=1 ttl=119 time=170 ms
927 172 Mehdi Abaakouk
64 bytes from 192.169.99.250: icmp_req=2 ttl=119 time=204 ms
928 172 Mehdi Abaakouk
^C
929 172 Mehdi Abaakouk
</pre>
930 172 Mehdi Abaakouk
931 172 Mehdi Abaakouk
</pre>