Projet

Général

Profil

Openstack Installation TTNN » Historique » Version 87

Mehdi Abaakouk, 25/08/2014 15:14

1 43 Laurent GUERBY
{{>toc}}
2 43 Laurent GUERBY
3 1 Mehdi Abaakouk
h1. Openstack Installation TTNN
4 1 Mehdi Abaakouk
5 44 Laurent GUERBY
h2. Liens
6 44 Laurent GUERBY
7 44 Laurent GUERBY
* http://ceph.com/docs/master/rados/operations/cache-tiering/
8 44 Laurent GUERBY
* http://ceph.com/docs/master/rados/operations/crush-map/
9 44 Laurent GUERBY
10 3 Mehdi Abaakouk
h2. Pending upstream fixes:
11 3 Mehdi Abaakouk
12 1 Mehdi Abaakouk
* build-debian-openstack-images, changes should be in next package version:
13 1 Mehdi Abaakouk
** Fix extlinux installation on jessie: http://anonscm.debian.org/cgit/openstack/openstack-debian-images.git/commit/?id=1a4ddceb99fb66f42f79e87a183d8e96952e5ac3
14 1 Mehdi Abaakouk
** Fix cloud-init setup with configdrive: http://anonscm.debian.org/cgit/openstack/openstack-debian-images.git/commit/?id=15cce87e2fa15b8952d69fb58711bfa88b21ef87
15 15 Mehdi Abaakouk
** Use Configdrive first for cloud-init: http://anonscm.debian.org/cgit/openstack/openstack-debian-images.git/commit/?id=1b1e1093d5ee525426382ad29b8219ab58f6656d
16 1 Mehdi Abaakouk
17 1 Mehdi Abaakouk
* nova: 
18 15 Mehdi Abaakouk
** Fix live-migration avec ceph and configdrive:: https://review.openstack.org/#/c/112014/, si la solution est mergé upstream, j'appliquerai le patch au package debian
19 1 Mehdi Abaakouk
20 4 Mehdi Abaakouk
h2. Installation
21 4 Mehdi Abaakouk
22 4 Mehdi Abaakouk
Le setup installé est composé de :
23 4 Mehdi Abaakouk
24 4 Mehdi Abaakouk
* 3 hyperviseurs (compute node) qui contiendront 1 ceph-mon, N ceph-osd, nova-compute (qui lance les VM), neutron-openvswitch-agent (qui configure le réseau des vms)
25 4 Mehdi Abaakouk
* 1 VM (controler node), qui contient tous les services de management d'openstack (nova, cinder, glance, neutron)
26 4 Mehdi Abaakouk
27 4 Mehdi Abaakouk
Les étapes d'installation sont les suivantes:
28 4 Mehdi Abaakouk
* Préparation manuelle de la VM de management sur un des hyperviseurs
29 4 Mehdi Abaakouk
* Installation de ceph et openstack sur toutes les machines avec puppet
30 4 Mehdi Abaakouk
* Déplacement de la VM de management d'openstack dans openstack.
31 4 Mehdi Abaakouk
32 33 Mehdi Abaakouk
h3. Information sur le puppet master:
33 33 Mehdi Abaakouk
34 33 Mehdi Abaakouk
La conf et modules puppet utilisé par tetaneutral.net ce trouve la:
35 33 Mehdi Abaakouk
36 33 Mehdi Abaakouk
> http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster
37 33 Mehdi Abaakouk
> http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster/revisions/master/entry/manifests/nodes/openstack.pp
38 33 Mehdi Abaakouk
39 33 Mehdi Abaakouk
Seulement c'est 3 classes sont spécifique à tetaneutral, le reste est réutilisable:
40 33 Mehdi Abaakouk
41 36 Mehdi Abaakouk
> class { 'ttnn::server': }
42 36 Mehdi Abaakouk
> class { 'backup::client': }
43 36 Mehdi Abaakouk
> class { 'sexymotd': }
44 33 Mehdi Abaakouk
45 33 Mehdi Abaakouk
Les modules qui sont nécessaire pour openstack pour le reste du fichier sont:
46 33 Mehdi Abaakouk
47 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-apache.git 
48 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-apt 
49 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-ceph.git 
50 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-cinder.git 
51 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-concat.git 
52 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-glance.git 
53 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-horizon.git 
54 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-inifile.git 
55 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-keystone.git 
56 33 Mehdi Abaakouk
> https://github.com/camptocamp/puppet-kmod.git 
57 33 Mehdi Abaakouk
> https://github.com/saz/puppet-memcached.git 
58 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-mysql.git 
59 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-neutron.git 
60 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-nova.git 
61 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-rabbitmq.git 
62 33 Mehdi Abaakouk
> https://github.com/nanliu/puppet-staging.git 
63 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-stdlib.git 
64 33 Mehdi Abaakouk
> https://github.com/duritong/puppet-sysctl.git 
65 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-vcsrepo.git 
66 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-vswitch.git 
67 36 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-xinetd.git
68 33 Mehdi Abaakouk
69 33 Mehdi Abaakouk
h3. Préparation réseaux des hosts:
70 29 Mehdi Abaakouk
71 31 Mehdi Abaakouk
Voici le fichier rc.local d'un hyperviseur (g1)
72 29 Mehdi Abaakouk
73 29 Mehdi Abaakouk
<pre>
74 71 Mehdi Abaakouk
#!/bin/sh
75 71 Mehdi Abaakouk
76 29 Mehdi Abaakouk
for i in /proc/sys/net/ipv6/conf/*; do for j in autoconf accept_ra; do echo 0 > $i/$j; done;done
77 1 Mehdi Abaakouk
# https://www.kernel.org/doc/Documentation/networking/ip-sysctl.txt
78 71 Mehdi Abaakouk
for i in /proc/sys/net/ipv4/conf/*/arp_announce; do echo 2 > $i;done
79 29 Mehdi Abaakouk
80 29 Mehdi Abaakouk
echo 1 > /proc/sys/net/ipv4/ip_forward
81 29 Mehdi Abaakouk
echo 1 > /proc/sys/net/ipv6/conf/all/forwarding
82 29 Mehdi Abaakouk
83 1 Mehdi Abaakouk
ip link set eth0 up
84 71 Mehdi Abaakouk
85 29 Mehdi Abaakouk
ip link add link eth0 name eth0.3131 type vlan id 3131
86 1 Mehdi Abaakouk
ip link set eth0.3131 up
87 71 Mehdi Abaakouk
88 29 Mehdi Abaakouk
ip addr add 89.234.156.251/32 dev eth0.3131
89 29 Mehdi Abaakouk
ip route add 91.224.149.0/24 dev eth0.3131
90 29 Mehdi Abaakouk
ip route add default via 91.224.149.254
91 29 Mehdi Abaakouk
92 29 Mehdi Abaakouk
ip addr add 2a01:6600:8083:fb00::1/56 dev eth0.3131
93 29 Mehdi Abaakouk
ip route add default via fe80::31 dev eth0.3131
94 1 Mehdi Abaakouk
95 71 Mehdi Abaakouk
ip route add 89.234.156.250/32 dev eth0.3131
96 71 Mehdi Abaakouk
ip route add 89.234.156.252/32 dev eth0.3131
97 71 Mehdi Abaakouk
ip route add 89.234.156.253/32 dev eth0.3131
98 71 Mehdi Abaakouk
99 71 Mehdi Abaakouk
100 45 Mehdi Abaakouk
ip link add link eth0 name eth0.3175 type vlan id 3175
101 29 Mehdi Abaakouk
ip link set eth0.3175 up
102 29 Mehdi Abaakouk
103 39 Mehdi Abaakouk
ip link add link eth0 name eth0.3195 type vlan id 3195
104 1 Mehdi Abaakouk
ip link set eth0.3195 up
105 71 Mehdi Abaakouk
brctl addbr br-admin
106 71 Mehdi Abaakouk
brctl addif eth0.3175
107 71 Mehdi Abaakouk
ip link set br-admin up
108 1 Mehdi Abaakouk
ip addr add 192.168.3.101/24 dev br-admin
109 1 Mehdi Abaakouk
110 71 Mehdi Abaakouk
brctl addbr br-net
111 71 Mehdi Abaakouk
ip link set br-net up
112 29 Mehdi Abaakouk
ip addr add fe80::31/64 dev br-net
113 71 Mehdi Abaakouk
ip addr add 91.224.148.0/32 dev br-net
114 29 Mehdi Abaakouk
115 29 Mehdi Abaakouk
exit 0
116 71 Mehdi Abaakouk
117 29 Mehdi Abaakouk
</pre>
118 55 Mehdi Abaakouk
119 54 Mehdi Abaakouk
_note: Les bridges openvswitch sont mémorisés et recréés automatiquement par le service openvswitch-switch_
120 30 Mehdi Abaakouk
121 30 Mehdi Abaakouk
Sur h7.tetaneutral.net le routage est le suivant
122 30 Mehdi Abaakouk
123 30 Mehdi Abaakouk
<pre>
124 30 Mehdi Abaakouk
ip route add 89.234.156.251/32 dev eth0.3131
125 30 Mehdi Abaakouk
ip route add 89.234.156.252/32 dev eth0.3131
126 30 Mehdi Abaakouk
ip route add 89.234.156.253/32 dev eth0.3131
127 30 Mehdi Abaakouk
ip route add 2a01:6600:8083:fb00::/56 dev eth0.3131
128 30 Mehdi Abaakouk
ip route add 2a01:6600:8083:fc00::/56 dev eth0.3131
129 30 Mehdi Abaakouk
ip route add 2a01:6600:8083:fd00::/56 dev eth0.3131
130 30 Mehdi Abaakouk
</pre>
131 30 Mehdi Abaakouk
132 30 Mehdi Abaakouk
Ainsi que ceci le temps de l'installation
133 30 Mehdi Abaakouk
134 30 Mehdi Abaakouk
<pre>
135 74 Mehdi Abaakouk
ip route add 89.234.156.248/32 via 89.234.156.251 # NOTE(sileht): temporairement pour le setup openstack
136 74 Mehdi Abaakouk
ip route add 2a01:6600:8083:f800::/56 via 2a01:6600:8083:fb00::1 dev eth0.3131 # NOTE(sileht): temporairement pour le setup openstack
137 30 Mehdi Abaakouk
</pre>
138 4 Mehdi Abaakouk
139 4 Mehdi Abaakouk
h3. Preparation de la VM de management, le controlleur
140 6 Mehdi Abaakouk
141 4 Mehdi Abaakouk
h4. Installation des prérequis
142 4 Mehdi Abaakouk
143 57 Mehdi Abaakouk
<pre>
144 4 Mehdi Abaakouk
$ apt-get install libvirt-bin openstack-debian-images virtinst
145 4 Mehdi Abaakouk
#NOTE(sileht): temporairement appliquer les patches de au-dessus à openstack-debian-images 
146 4 Mehdi Abaakouk
</pre>
147 6 Mehdi Abaakouk
148 1 Mehdi Abaakouk
h4. Preparation de l'image de la VM
149 1 Mehdi Abaakouk
150 73 Mehdi Abaakouk
On notera les ip temporaire 192.168.3.100
151 73 Mehdi Abaakouk
152 6 Mehdi Abaakouk
<pre>
153 17 Mehdi Abaakouk
$ vim hook.sh
154 16 Mehdi Abaakouk
set -xv
155 1 Mehdi Abaakouk
156 20 Mehdi Abaakouk
echo "openstack" > $BODI_CHROOT_PATH/etc/hostname
157 16 Mehdi Abaakouk
158 16 Mehdi Abaakouk
cat > $BODI_CHROOT_PATH/etc/resolv.conf <<EOF
159 16 Mehdi Abaakouk
domain tetaneutral.net
160 16 Mehdi Abaakouk
search tetaneutral.net
161 1 Mehdi Abaakouk
nameserver 8.8.8.8
162 20 Mehdi Abaakouk
EOF
163 6 Mehdi Abaakouk
164 6 Mehdi Abaakouk
cat > $BODI_CHROOT_PATH/etc/network/interfaces <<EOF
165 6 Mehdi Abaakouk
auto lo
166 1 Mehdi Abaakouk
iface lo inet loopback
167 6 Mehdi Abaakouk
auto eth0
168 20 Mehdi Abaakouk
iface eth0 inet manual
169 20 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth0.accept_ra=0
170 1 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth0.autoconf=0
171 1 Mehdi Abaakouk
  up ip link set eth0 up
172 73 Mehdi Abaakouk
  up ip addr add 89.234.156.248/32 dev eth0
173 20 Mehdi Abaakouk
  up ip route add 91.224.148.0/32 dev eth0
174 20 Mehdi Abaakouk
  up ip route add default via 91.224.148.0
175 20 Mehdi Abaakouk
176 20 Mehdi Abaakouk
iface eth0 inet6 static
177 1 Mehdi Abaakouk
    pre-up /sbin/sysctl -w net.ipv6.conf.eth0.accept_ra=0
178 20 Mehdi Abaakouk
    pre-up /sbin/sysctl -w net.ipv6.conf.eth0.autoconf=0
179 73 Mehdi Abaakouk
    address 2a01:6600:8083:f800::1
180 40 Mehdi Abaakouk
    netmask 56
181 46 Mehdi Abaakouk
    gateway fe80::31
182 46 Mehdi Abaakouk
183 46 Mehdi Abaakouk
auto eth1
184 1 Mehdi Abaakouk
iface eth1 inet static
185 46 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth1.accept_ra=0
186 46 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth1.autoconf=0
187 73 Mehdi Abaakouk
  address 192.168.3.99
188 6 Mehdi Abaakouk
  netmask 255.255.255.0
189 20 Mehdi Abaakouk
EOF
190 1 Mehdi Abaakouk
191 6 Mehdi Abaakouk
mkdir -p $BODI_CHROOT_PATH/root/.ssh
192 4 Mehdi Abaakouk
chmod 600 $BODI_CHROOT_PATH/root/.ssh
193 1 Mehdi Abaakouk
cat >> $BODI_CHROOT_PATH/root/.ssh/authorized_keys <<EOF
194 4 Mehdi Abaakouk
ssh-dss AAAAB3NzaC1kc3MAAACBAJtnGLvuz4uVD6fnERDxDi/C0UyzwCiKmgNtEessopREYasAX4Gu6Fg10jAyIL5Nuc7YDnqj//pOfxNjD7hp99a2ZmkRQgh/ltClxYML9fqhBHgsUCpVse9nOYDHDnDgvXIPRSDUHat2UFpdchHVrFURNLIlZnBztsr+GCDURTV/AAAAFQD9SrBcH49ltaKOm6V5ssCPmgs1SwAAAIAbAvkQ3/tMzzdACO5B9s5Yb3ZuM7XImm0iqufivVf2Xy39g8HOBulUsN7eKEGPhVriqNolgIO7q7tVgYAff4/NE4yDP0Kp0SPg4tjt2yFJuL31Y3wzwHjnKrjgNlDSLl3uZnRXSipwUMwGKbdHB6NZSqlq192VKbHilQ00pbiMlAAAAIB5dfB1lVHkJ0o5CcaVQRPbca9DvbbRwnoTSmKHc5DUcqsPqDhS07CkM9ZcJuY1Nh4wGl4Q9kArj7Tnsvvygf/HReSUcIk4+nbDytJ8/pca/Qx4fzQQyppa94TylN62LSFT6MIJKLoMwYa0dQURT7Mv5+9Qj2vk5pZ38w2iQ9zVCg== root@h1
195 10 Mehdi Abaakouk
EOF
196 16 Mehdi Abaakouk
197 16 Mehdi Abaakouk
sed -i -e 's/^.*Port.*$/Port 2222/' -e 's/^[# ]*PasswordAuthentication.*$/PasswordAuthentication no/' $BODI_CHROOT_PATH/etc/ssh/sshd_config
198 20 Mehdi Abaakouk
chroot $BODI_CHROOT_PATH dpkg-reconfigure openssh-server
199 1 Mehdi Abaakouk
chroot $BODI_CHROOT_PATH apt-get purge -y cloud-init*
200 7 Mehdi Abaakouk
</pre>
201 4 Mehdi Abaakouk
202 21 Mehdi Abaakouk
<pre>
203 12 Mehdi Abaakouk
$ chmod +x hook.sh
204 4 Mehdi Abaakouk
$ build-openstack-debian-image --image-size 20  --release jessie -u http://apt.tetaneutral.net/debian/ -s http://apt.tetaneutral.net/debian/ --hook-script $(pwd)/hook.sh
205 4 Mehdi Abaakouk
$ mv debian-jessie-7.0.0-3-amd64.raw /openstack.raw 
206 4 Mehdi Abaakouk
$ rm debian-jessie-7.0.0-3-amd64.qcow2
207 5 Mehdi Abaakouk
</pre>
208 13 Mehdi Abaakouk
209 18 Mehdi Abaakouk
_note: la derniere commande lancée par le script doit être 'qemu-img convert -c -f raw .... , sinon l'image de bootera pas_
210 18 Mehdi Abaakouk
_note(jessie): si l'erreur est celle ci-dessous, relancer manuellement 'kpartx -d debian-jessie-7.0.0-3-amd64.raw' jusqu'a ce que l'erreur disparaissent et le .raw est utilisable:_
211 18 Mehdi Abaakouk
<pre>
212 18 Mehdi Abaakouk
+ 'kpartx -d debian-jessie-7.0.0-3-amd64.raw'
213 18 Mehdi Abaakouk
device-mapper: remove ioctl on loop0p1 failed: Device or resource busy
214 18 Mehdi Abaakouk
loop deleted : /dev/loop0
215 59 Mehdi Abaakouk
</pre>
216 59 Mehdi Abaakouk
_note: si parted freeze -> lancer /etc/init.d/udev restart_
217 11 Mehdi Abaakouk
218 4 Mehdi Abaakouk
219 4 Mehdi Abaakouk
On garde l'image raw qui sera importable dans ceph plus tard et on la mets à la racine pour qui l'utilisateur libvirt puisse y accéder.
220 6 Mehdi Abaakouk
221 4 Mehdi Abaakouk
h4. Préparation du réseau
222 4 Mehdi Abaakouk
223 8 Mehdi Abaakouk
<pre>
224 78 Mehdi Abaakouk
$ ip route add 89.234.156.248/32 dev br-net
225 78 Mehdi Abaakouk
$ ip -6 route add 2a01:6600:8083:f800::/56 dev br-net
226 4 Mehdi Abaakouk
$ modprobe vhost-net
227 5 Mehdi Abaakouk
</pre>
228 6 Mehdi Abaakouk
229 4 Mehdi Abaakouk
h4. Installation de la VM
230 4 Mehdi Abaakouk
231 60 Mehdi Abaakouk
<pre>
232 4 Mehdi Abaakouk
$ virt-install --name openstack --ram 2048 --network bridge=br-net,model=virtio --network bridge=br-admin,model=virtio --nographics --serial pty --wait -1 --noreboot --autostart --disk /openstack.raw,bus=virtio,cache=none,io=native --import
233 19 Mehdi Abaakouk
$ virsh  start openstack
234 77 Mehdi Abaakouk
$ ssh root@89.234.156.248 -p 2222
235 19 Mehdi Abaakouk
</pre>
236 19 Mehdi Abaakouk
237 19 Mehdi Abaakouk
Une fois connecté à la VM:
238 19 Mehdi Abaakouk
239 19 Mehdi Abaakouk
<pre>
240 19 Mehdi Abaakouk
$ apt-get install puppet
241 24 Mehdi Abaakouk
$ puppet agent --enable
242 24 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
243 24 Mehdi Abaakouk
Info: Caching certificate for ca
244 24 Mehdi Abaakouk
Info: csr_attributes file loading from /etc/puppet/csr_attributes.yaml
245 24 Mehdi Abaakouk
Info: Creating a new SSL certificate request for openstack.tetaneutral.net
246 24 Mehdi Abaakouk
Info: Certificate Request fingerprint (SHA256): AE:72:47:40:A0:E2:F4:59:BA:39:FA:3D:C2:A7:C9:1B:9F:87:A5:B7:65:3A:F9:D4:DE:AF:E2:A3:02:41:0F:2E
247 24 Mehdi Abaakouk
Info: Caching certificate for ca
248 19 Mehdi Abaakouk
Exiting; no certificate found and waitforcert is disabled
249 19 Mehdi Abaakouk
</pre>
250 19 Mehdi Abaakouk
251 19 Mehdi Abaakouk
Sur le puppetmaster:
252 19 Mehdi Abaakouk
253 1 Mehdi Abaakouk
<pre>
254 22 Mehdi Abaakouk
$ puppet ca sign openstack.tetaneutral.net 
255 61 Mehdi Abaakouk
</pre>
256 87 Mehdi Abaakouk
_note: si un vieux cert existe: puppet ca revoke openstack.tetaneutral.net ; puppet cert clean openstack.tetaneutral.net; puppet node clean openstack.tetaneutral.net_
257 1 Mehdi Abaakouk
258 19 Mehdi Abaakouk
De nouveau sur la VM:
259 19 Mehdi Abaakouk
260 24 Mehdi Abaakouk
<pre>
261 26 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
262 26 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
263 4 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
264 26 Mehdi Abaakouk
</pre>
265 32 Mehdi Abaakouk
266 26 Mehdi Abaakouk
Il ne doit plus y avoir d'erreur la 3°/4° fois.
267 34 Mehdi Abaakouk
268 34 Mehdi Abaakouk
h3. Configuration des hyperviseurs
269 35 Mehdi Abaakouk
270 35 Mehdi Abaakouk
Une fois la configuration réseau faite tout faire avec puppet:
271 35 Mehdi Abaakouk
272 35 Mehdi Abaakouk
<pre>
273 35 Mehdi Abaakouk
$ apt-get install puppet
274 35 Mehdi Abaakouk
$ puppet agent --enable
275 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
276 35 Mehdi Abaakouk
Info: Caching certificate for ca
277 35 Mehdi Abaakouk
Info: csr_attributes file loading from /etc/puppet/csr_attributes.yaml
278 35 Mehdi Abaakouk
Info: Creating a new SSL certificate request for openstack.tetaneutral.net
279 35 Mehdi Abaakouk
Info: Certificate Request fingerprint (SHA256): AE:72:47:40:A0:E2:F4:59:BA:39:FA:3D:C2:A7:C9:1B:9F:87:A5:B7:65:3A:F9:D4:DE:AF:E2:A3:02:41:0F:2E
280 35 Mehdi Abaakouk
Info: Caching certificate for ca
281 35 Mehdi Abaakouk
Exiting; no certificate found and waitforcert is disabled
282 35 Mehdi Abaakouk
</pre>
283 35 Mehdi Abaakouk
284 35 Mehdi Abaakouk
Sur le puppetmaster:
285 35 Mehdi Abaakouk
286 35 Mehdi Abaakouk
<pre>
287 35 Mehdi Abaakouk
$ puppet ca sign openstack.tetaneutral.net 
288 64 Mehdi Abaakouk
</pre>
289 35 Mehdi Abaakouk
_note: si un vieux cert existe: puppet ca revoke openstack.tetaneutral.net ; puppet cert clean openstack.tetaneutral.net; puppet node clean openstack.tetaneutral.net_
290 35 Mehdi Abaakouk
291 35 Mehdi Abaakouk
De nouveau sur la VM:
292 35 Mehdi Abaakouk
293 35 Mehdi Abaakouk
<pre>
294 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
295 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
296 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
297 35 Mehdi Abaakouk
</pre>
298 35 Mehdi Abaakouk
299 35 Mehdi Abaakouk
Il ne doit plus y avoir d'erreur la 3°/4° fois.
300 35 Mehdi Abaakouk
301 35 Mehdi Abaakouk
302 35 Mehdi Abaakouk
h4. Information sur la configuration d'un hyperviseur sur le puppet master
303 35 Mehdi Abaakouk
304 35 Mehdi Abaakouk
La configuration ressemble à :
305 35 Mehdi Abaakouk
306 35 Mehdi Abaakouk
<pre>
307 35 Mehdi Abaakouk
node "gX.tetaneutral.net" inherits openstack_node_common {
308 35 Mehdi Abaakouk
  # Configuration du routerid et de l'AS number de cette machine
309 35 Mehdi Abaakouk
  # Il faut aussi mettre la conf bgp de h7 ainsi que les fichiers 
310 35 Mehdi Abaakouk
  # /etc/puppet/manifests/files/openstack-bird.conf.erb et
311 35 Mehdi Abaakouk
  # /etc/puppet/manifests/files/openstack-bird6.conf.erb
312 35 Mehdi Abaakouk
  # pour ajouter cette AS interne
313 35 Mehdi Abaakouk
  ttnn_os_bird {'198.51.100.1': asnum => "65001"}
314 35 Mehdi Abaakouk
315 35 Mehdi Abaakouk
  # Dans le cas d'une moniteur ceph, mais uniquement 3 suffissent, on a déjà g1,g2,g3
316 35 Mehdi Abaakouk
  # ttnn_ceph_mon {$::hostname:}
317 35 Mehdi Abaakouk
 
318 35 Mehdi Abaakouk
  # La liste des disques dur à utiliser dans ceph
319 35 Mehdi Abaakouk
  ttnn_ceph_osd {"/dev/sdb": }
320 35 Mehdi Abaakouk
  ttnn_ceph_osd {"/dev/sdc": }
321 35 Mehdi Abaakouk
322 49 Mehdi Abaakouk
  # La partie Openstack, l'uuid doit être unique par machine (générer avec uuid-gen)
323 35 Mehdi Abaakouk
  ttnn_os_compute {"9d26ec10-a48b-4f0f-a122-f10ed16d270f": }
324 35 Mehdi Abaakouk
325 35 Mehdi Abaakouk
  # La correction d'un petit bug :)
326 1 Mehdi Abaakouk
  class {'ttnn_os_configdrive_ceph_fix': }
327 37 Mehdi Abaakouk
}
328 37 Mehdi Abaakouk
</pre>
329 37 Mehdi Abaakouk
330 72 Mehdi Abaakouk
h3. Déplacement du controlleur dans openstack (Work In Progress)
331 37 Mehdi Abaakouk
332 38 Mehdi Abaakouk
<pre>
333 38 Mehdi Abaakouk
$ cat > os.conf <<EOF
334 82 Mehdi Abaakouk
export OS_AUTH_URL=http://89.234.156.248:5000/v2.0/
335 38 Mehdi Abaakouk
export OS_USERNAME=admin
336 38 Mehdi Abaakouk
export OS_TENANT_NAME=ttnn_admin
337 38 Mehdi Abaakouk
export OS_PASSWORD=<password>
338 38 Mehdi Abaakouk
EOF
339 41 Mehdi Abaakouk
$ source os.conf 
340 1 Mehdi Abaakouk
341 66 Mehdi Abaakouk
$ # Upload de l'image
342 41 Mehdi Abaakouk
$ glance image-create --progress --name openstack-controlleur --disk-format raw --container-format bare < /openstack-to-upload.raw 
343 41 Mehdi Abaakouk
[=============================>] 100%
344 41 Mehdi Abaakouk
+------------------+--------------------------------------+
345 41 Mehdi Abaakouk
| Property         | Value                                |
346 41 Mehdi Abaakouk
+------------------+--------------------------------------+
347 41 Mehdi Abaakouk
| checksum         | 493517836ee82ad4110254555d379d76     |
348 41 Mehdi Abaakouk
| container_format | bare                                 |
349 41 Mehdi Abaakouk
| created_at       | 2014-08-06T15:01:08                  |
350 41 Mehdi Abaakouk
| deleted          | False                                |
351 41 Mehdi Abaakouk
| deleted_at       | None                                 |
352 41 Mehdi Abaakouk
| disk_format      | raw                                  |
353 41 Mehdi Abaakouk
| id               | 89e8fffd-3311-4885-93a8-986e05c055f4 |
354 41 Mehdi Abaakouk
| is_public        | False                                |
355 41 Mehdi Abaakouk
| min_disk         | 0                                    |
356 41 Mehdi Abaakouk
| min_ram          | 0                                    |
357 41 Mehdi Abaakouk
| name             | openstack-controlleur                |
358 41 Mehdi Abaakouk
| owner            | 27764634d22248f4a7c8518899ff38c5     |
359 41 Mehdi Abaakouk
| protected        | False                                |
360 41 Mehdi Abaakouk
| size             | 21474836480                          |
361 41 Mehdi Abaakouk
| status           | active                               |
362 41 Mehdi Abaakouk
| updated_at       | 2014-08-06T15:11:22                  |
363 41 Mehdi Abaakouk
| virtual_size     | None                                 |
364 41 Mehdi Abaakouk
+------------------+--------------------------------------+
365 41 Mehdi Abaakouk
366 1 Mehdi Abaakouk
$ # Creation d'un volume dans ceph de cette image
367 66 Mehdi Abaakouk
$ cinder create --display-name openstack.tetaneutral.net-bootdisk --image-id 89e8fffd-3311-4885-93a8-986e05c055f4 25
368 1 Mehdi Abaakouk
</pre>
369 66 Mehdi Abaakouk
370 66 Mehdi Abaakouk
Into the old controlleur VM
371 66 Mehdi Abaakouk
372 66 Mehdi Abaakouk
<pre>
373 66 Mehdi Abaakouk
374 66 Mehdi Abaakouk
</pre>
375 66 Mehdi Abaakouk
376 66 Mehdi Abaakouk
377 41 Mehdi Abaakouk
<pre>
378 52 Mehdi Abaakouk
$ # Boot d'un VM avec de volume 
379 1 Mehdi Abaakouk
$ netid_net=$(neutron net-list | awk '/ttnn-net/{print $2}')
380 52 Mehdi Abaakouk
$ netid_admin=$(neutron net-list | awk '/ttnn-admin/{print $2}')
381 1 Mehdi Abaakouk
$ nova boot --nic net-id=$netid_net,v4-fixed-ip=89.234.156.249 --nic net-id=$netid_admin,v4-fixed-ip=192.168.3.100 --block-device source=volume,id=$volume_id,shutdown=preserve,bootindex=0 --flavor m1.medium --poll openstack.tetaneutral.net
382 66 Mehdi Abaakouk
</pre>
383 68 Mehdi Abaakouk
384 68 Mehdi Abaakouk
h2. Preparation du Pool SSD pour ceph
385 68 Mehdi Abaakouk
386 68 Mehdi Abaakouk
387 68 Mehdi Abaakouk
h3. Cas particulier du SSD ou ce trouve l'OS
388 68 Mehdi Abaakouk
389 68 Mehdi Abaakouk
En général avec ceph, on donne un disque, ceph créé 2 partitions une pour le journal de l'OSD, l'autre pour les datas
390 68 Mehdi Abaakouk
mais pour le SSD de tetaneutral qui a aussi l'OS, voici la méthode
391 68 Mehdi Abaakouk
392 68 Mehdi Abaakouk
Création manuelle de la partition de data ceph /dev/sda2 ici
393 68 Mehdi Abaakouk
394 68 Mehdi Abaakouk
<pre>
395 68 Mehdi Abaakouk
$ fdisk /dev/sda
396 68 Mehdi Abaakouk
397 68 Mehdi Abaakouk
n
398 68 Mehdi Abaakouk
p
399 68 Mehdi Abaakouk
<enter>
400 68 Mehdi Abaakouk
<enter>
401 68 Mehdi Abaakouk
<enter>
402 68 Mehdi Abaakouk
<enter>
403 68 Mehdi Abaakouk
w
404 68 Mehdi Abaakouk
405 68 Mehdi Abaakouk
$ partprobe
406 68 Mehdi Abaakouk
</pre>
407 68 Mehdi Abaakouk
408 68 Mehdi Abaakouk
On ajoute dans la configuration puppet de l'hyperviseur ceci, avec le journal sur la partition de l'OS:
409 68 Mehdi Abaakouk
410 68 Mehdi Abaakouk
<pre>
411 68 Mehdi Abaakouk
ttnn_ceph_osd {"/dev/sda2": journal => "/var/lib/ceph/ssd-sda2-journal"}
412 68 Mehdi Abaakouk
</pre>
413 34 Mehdi Abaakouk
414 69 Mehdi Abaakouk
415 69 Mehdi Abaakouk
h3. Configuration de la crushmap de ceph:
416 69 Mehdi Abaakouk
417 69 Mehdi Abaakouk
REF: http://ceph.com/docs/master/rados/operations/crush-map/#getcrushmap
418 69 Mehdi Abaakouk
419 69 Mehdi Abaakouk
<pre>
420 69 Mehdi Abaakouk
$ ceph osd getcrushmap -o compiled-crushmap
421 69 Mehdi Abaakouk
$ crushtool -d compiled-crushmap -o crushmap.txt
422 69 Mehdi Abaakouk
# EDIT crushmap.txt
423 69 Mehdi Abaakouk
$ crushtool -c crushmap.txt -o compiled-crushmap 
424 69 Mehdi Abaakouk
$ ceph osd setcrushmap -i compiled-crushmap
425 69 Mehdi Abaakouk
</pre>
426 69 Mehdi Abaakouk
427 69 Mehdi Abaakouk
h3. Definition de la crushmap de ttnn
428 69 Mehdi Abaakouk
429 81 Mehdi Abaakouk
Chaque machine se trouve dans 2 hosts, un host SSD et un host HARDDISK (même si en réalité les deux sont sur la même machine physique),
430 69 Mehdi Abaakouk
431 79 Mehdi Abaakouk
Ensuite on créé 2 object root un pour les hosts SSD et un autre pour les host HARDDISK
432 69 Mehdi Abaakouk
433 79 Mehdi Abaakouk
On créé ensuite 2 règles de stockage une qui envoie les objects vers le root SSD et l'autre vers le root HARDDISK
434 69 Mehdi Abaakouk
435 81 Mehdi Abaakouk
Cela permettra d'avoir de définir une règle différente suivant les pools ceph.
436 69 Mehdi Abaakouk
437 79 Mehdi Abaakouk
Niveau Openstack nous avons 4 pools:
438 81 Mehdi Abaakouk
* nova: que nous n'allons pas utilisé mais que nova utilise pour stocker quelles fichiers pour le boot des VMs. (Il normalement utilisé si on créé pas préalablement de volume)
439 79 Mehdi Abaakouk
* cinder: ce pool sera le pool par défaut de création des disques
440 79 Mehdi Abaakouk
* cinder-ssh: sera le pool sur le quel on applique la politique de stockage numero 1
441 1 Mehdi Abaakouk
* glance: c'est la que seront stocké les images de VMs.
442 79 Mehdi Abaakouk
443 81 Mehdi Abaakouk
Une fois la crushmap modifié on applique la règle sur le pool cinder-ssd:
444 1 Mehdi Abaakouk
445 81 Mehdi Abaakouk
<pre>
446 84 Mehdi Abaakouk
ceph osd pool set cinder-ssd crush_ruleset 1
447 81 Mehdi Abaakouk
</pre>
448 81 Mehdi Abaakouk
449 81 Mehdi Abaakouk
Il faut ensuite attendre que ceph redistribue les data comme on lui a demandé, on peut suivre l'avancement avec :
450 81 Mehdi Abaakouk
451 81 Mehdi Abaakouk
<pre>
452 81 Mehdi Abaakouk
ceph -s
453 81 Mehdi Abaakouk
</pre>
454 81 Mehdi Abaakouk
455 81 Mehdi Abaakouk
La crushmap le jour de l'installation:
456 79 Mehdi Abaakouk
457 79 Mehdi Abaakouk
<pre>
458 79 Mehdi Abaakouk
# begin crush map
459 79 Mehdi Abaakouk
tunable choose_local_tries 0
460 79 Mehdi Abaakouk
tunable choose_local_fallback_tries 0
461 79 Mehdi Abaakouk
tunable choose_total_tries 50
462 79 Mehdi Abaakouk
tunable chooseleaf_descend_once 1
463 79 Mehdi Abaakouk
464 79 Mehdi Abaakouk
# devices
465 79 Mehdi Abaakouk
device 0 osd.0
466 79 Mehdi Abaakouk
device 1 osd.1
467 79 Mehdi Abaakouk
device 2 osd.2
468 79 Mehdi Abaakouk
device 3 osd.3
469 79 Mehdi Abaakouk
device 4 osd.4
470 79 Mehdi Abaakouk
device 5 osd.5
471 79 Mehdi Abaakouk
472 79 Mehdi Abaakouk
# types
473 79 Mehdi Abaakouk
type 0 osd
474 79 Mehdi Abaakouk
type 1 host
475 79 Mehdi Abaakouk
type 2 chassis
476 79 Mehdi Abaakouk
type 3 rack
477 79 Mehdi Abaakouk
type 4 row
478 79 Mehdi Abaakouk
type 5 pdu
479 79 Mehdi Abaakouk
type 6 pod
480 79 Mehdi Abaakouk
type 7 room
481 79 Mehdi Abaakouk
type 8 datacenter
482 79 Mehdi Abaakouk
type 9 region
483 79 Mehdi Abaakouk
type 10 root
484 79 Mehdi Abaakouk
485 80 Mehdi Abaakouk
host g3-ssd {
486 79 Mehdi Abaakouk
	id -1		# do not change unnecessarily
487 79 Mehdi Abaakouk
	alg straw
488 1 Mehdi Abaakouk
	hash 0	# rjenkins1
489 79 Mehdi Abaakouk
	item osd.3 weight 0.040
490 79 Mehdi Abaakouk
}
491 79 Mehdi Abaakouk
492 79 Mehdi Abaakouk
493 79 Mehdi Abaakouk
host g3-harddisk {
494 80 Mehdi Abaakouk
	id -2		# do not change unnecessarily
495 1 Mehdi Abaakouk
	alg straw
496 79 Mehdi Abaakouk
	hash 0	# rjenkins1
497 79 Mehdi Abaakouk
	item osd.0 weight 1.810
498 79 Mehdi Abaakouk
}
499 79 Mehdi Abaakouk
500 79 Mehdi Abaakouk
host g2-ssd {
501 80 Mehdi Abaakouk
	id -3		# do not change unnecessarily
502 1 Mehdi Abaakouk
	# weight 3.630
503 79 Mehdi Abaakouk
	alg straw
504 79 Mehdi Abaakouk
	hash 0	# rjenkins1
505 79 Mehdi Abaakouk
	item osd.4 weight 0.000
506 79 Mehdi Abaakouk
}
507 79 Mehdi Abaakouk
508 1 Mehdi Abaakouk
host g2-harddisk {
509 80 Mehdi Abaakouk
	id -4		# do not change unnecessarily
510 79 Mehdi Abaakouk
	# weight 3.630
511 79 Mehdi Abaakouk
	alg straw
512 79 Mehdi Abaakouk
	hash 0	# rjenkins1
513 79 Mehdi Abaakouk
	item osd.1 weight 3.630
514 79 Mehdi Abaakouk
}
515 1 Mehdi Abaakouk
516 79 Mehdi Abaakouk
host g1-ssd {
517 80 Mehdi Abaakouk
	id -5		# do not change unnecessarily
518 79 Mehdi Abaakouk
	# weight 3.630
519 79 Mehdi Abaakouk
	alg straw
520 79 Mehdi Abaakouk
	hash 0	# rjenkins1
521 79 Mehdi Abaakouk
	item osd.5 weight 0.000
522 79 Mehdi Abaakouk
}
523 1 Mehdi Abaakouk
host g1-harddisk {
524 80 Mehdi Abaakouk
	id -6		# do not change unnecessarily
525 79 Mehdi Abaakouk
	# weight 3.630
526 79 Mehdi Abaakouk
	alg straw
527 79 Mehdi Abaakouk
	hash 0	# rjenkins1
528 79 Mehdi Abaakouk
	item osd.2 weight 3.630
529 79 Mehdi Abaakouk
}
530 79 Mehdi Abaakouk
531 79 Mehdi Abaakouk
root harddrive {
532 80 Mehdi Abaakouk
    id -7
533 79 Mehdi Abaakouk
    alg straw
534 79 Mehdi Abaakouk
    hash 0
535 79 Mehdi Abaakouk
    item g1-harddisk weight 2.00
536 79 Mehdi Abaakouk
    item g2-harddisk weight 2.00
537 79 Mehdi Abaakouk
    item g3-harddisk weight 2.00
538 79 Mehdi Abaakouk
}
539 79 Mehdi Abaakouk
540 79 Mehdi Abaakouk
root ssd {
541 80 Mehdi Abaakouk
    id -8
542 79 Mehdi Abaakouk
    alg straw
543 79 Mehdi Abaakouk
    hash 0
544 79 Mehdi Abaakouk
    item g1-ssd weight 2.00
545 79 Mehdi Abaakouk
    item g2-ssd weight 2.00
546 79 Mehdi Abaakouk
    item g3-ssd weight 2.00
547 79 Mehdi Abaakouk
}
548 79 Mehdi Abaakouk
549 1 Mehdi Abaakouk
# rules
550 79 Mehdi Abaakouk
rule default {
551 79 Mehdi Abaakouk
	ruleset 0
552 79 Mehdi Abaakouk
	type replicated
553 79 Mehdi Abaakouk
	min_size 1
554 79 Mehdi Abaakouk
	max_size 10
555 79 Mehdi Abaakouk
	step take harddrive
556 79 Mehdi Abaakouk
	step chooseleaf firstn 0 type host
557 79 Mehdi Abaakouk
	step emit
558 79 Mehdi Abaakouk
}
559 79 Mehdi Abaakouk
560 79 Mehdi Abaakouk
rule ssd {
561 79 Mehdi Abaakouk
	ruleset 1
562 79 Mehdi Abaakouk
	type replicated
563 79 Mehdi Abaakouk
	min_size 1
564 79 Mehdi Abaakouk
	max_size 10
565 79 Mehdi Abaakouk
	step take ssd
566 79 Mehdi Abaakouk
	step chooseleaf firstn 0 type host
567 79 Mehdi Abaakouk
	step emit
568 79 Mehdi Abaakouk
}
569 80 Mehdi Abaakouk
570 79 Mehdi Abaakouk
571 79 Mehdi Abaakouk
# end crush map
572 79 Mehdi Abaakouk
</pre>
573 4 Mehdi Abaakouk
574 4 Mehdi Abaakouk
h2. Management d'openstack