Project

General

Profile

Openstack Installation TTNN » History » Version 109

Mehdi Abaakouk, 08/27/2014 05:05 PM

1 43 Laurent GUERBY
{{>toc}}
2 43 Laurent GUERBY
3 1 Mehdi Abaakouk
h1. Openstack Installation TTNN
4 1 Mehdi Abaakouk
5 44 Laurent GUERBY
h2. Liens
6 44 Laurent GUERBY
7 44 Laurent GUERBY
* http://ceph.com/docs/master/rados/operations/cache-tiering/
8 44 Laurent GUERBY
* http://ceph.com/docs/master/rados/operations/crush-map/
9 44 Laurent GUERBY
10 3 Mehdi Abaakouk
h2. Pending upstream fixes:
11 3 Mehdi Abaakouk
12 1 Mehdi Abaakouk
* build-debian-openstack-images, changes should be in next package version:
13 1 Mehdi Abaakouk
** Fix extlinux installation on jessie: http://anonscm.debian.org/cgit/openstack/openstack-debian-images.git/commit/?id=1a4ddceb99fb66f42f79e87a183d8e96952e5ac3
14 1 Mehdi Abaakouk
** Fix cloud-init setup with configdrive: http://anonscm.debian.org/cgit/openstack/openstack-debian-images.git/commit/?id=15cce87e2fa15b8952d69fb58711bfa88b21ef87
15 15 Mehdi Abaakouk
** Use Configdrive first for cloud-init: http://anonscm.debian.org/cgit/openstack/openstack-debian-images.git/commit/?id=1b1e1093d5ee525426382ad29b8219ab58f6656d
16 1 Mehdi Abaakouk
17 1 Mehdi Abaakouk
* nova: 
18 15 Mehdi Abaakouk
** Fix live-migration avec ceph and configdrive:: https://review.openstack.org/#/c/112014/, si la solution est mergé upstream, j'appliquerai le patch au package debian
19 1 Mehdi Abaakouk
20 4 Mehdi Abaakouk
h2. Installation
21 4 Mehdi Abaakouk
22 4 Mehdi Abaakouk
Le setup installé est composé de :
23 4 Mehdi Abaakouk
24 4 Mehdi Abaakouk
* 3 hyperviseurs (compute node) qui contiendront 1 ceph-mon, N ceph-osd, nova-compute (qui lance les VM), neutron-openvswitch-agent (qui configure le réseau des vms)
25 4 Mehdi Abaakouk
* 1 VM (controler node), qui contient tous les services de management d'openstack (nova, cinder, glance, neutron)
26 4 Mehdi Abaakouk
27 4 Mehdi Abaakouk
Les étapes d'installation sont les suivantes:
28 4 Mehdi Abaakouk
* Préparation manuelle de la VM de management sur un des hyperviseurs
29 4 Mehdi Abaakouk
* Installation de ceph et openstack sur toutes les machines avec puppet
30 4 Mehdi Abaakouk
* Déplacement de la VM de management d'openstack dans openstack.
31 4 Mehdi Abaakouk
32 33 Mehdi Abaakouk
h3. Information sur le puppet master:
33 33 Mehdi Abaakouk
34 33 Mehdi Abaakouk
La conf et modules puppet utilisé par tetaneutral.net ce trouve la:
35 33 Mehdi Abaakouk
36 33 Mehdi Abaakouk
> http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster
37 33 Mehdi Abaakouk
> http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster/revisions/master/entry/manifests/nodes/openstack.pp
38 33 Mehdi Abaakouk
39 33 Mehdi Abaakouk
Seulement c'est 3 classes sont spécifique à tetaneutral, le reste est réutilisable:
40 33 Mehdi Abaakouk
41 36 Mehdi Abaakouk
> class { 'ttnn::server': }
42 36 Mehdi Abaakouk
> class { 'backup::client': }
43 36 Mehdi Abaakouk
> class { 'sexymotd': }
44 33 Mehdi Abaakouk
45 33 Mehdi Abaakouk
Les modules qui sont nécessaire pour openstack pour le reste du fichier sont:
46 33 Mehdi Abaakouk
47 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-apache.git 
48 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-apt 
49 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-ceph.git 
50 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-cinder.git 
51 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-concat.git 
52 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-glance.git 
53 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-horizon.git 
54 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-inifile.git 
55 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-keystone.git 
56 33 Mehdi Abaakouk
> https://github.com/camptocamp/puppet-kmod.git 
57 33 Mehdi Abaakouk
> https://github.com/saz/puppet-memcached.git 
58 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-mysql.git 
59 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-neutron.git 
60 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-nova.git 
61 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-rabbitmq.git 
62 33 Mehdi Abaakouk
> https://github.com/nanliu/puppet-staging.git 
63 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-stdlib.git 
64 33 Mehdi Abaakouk
> https://github.com/duritong/puppet-sysctl.git 
65 33 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-vcsrepo.git 
66 33 Mehdi Abaakouk
> https://github.com/stackforge/puppet-vswitch.git 
67 36 Mehdi Abaakouk
> https://github.com/puppetlabs/puppetlabs-xinetd.git
68 33 Mehdi Abaakouk
69 33 Mehdi Abaakouk
h3. Préparation réseaux des hosts:
70 29 Mehdi Abaakouk
71 31 Mehdi Abaakouk
Voici le fichier rc.local d'un hyperviseur (g1)
72 29 Mehdi Abaakouk
73 29 Mehdi Abaakouk
<pre>
74 71 Mehdi Abaakouk
#!/bin/sh
75 71 Mehdi Abaakouk
76 29 Mehdi Abaakouk
for i in /proc/sys/net/ipv6/conf/*; do for j in autoconf accept_ra; do echo 0 > $i/$j; done;done
77 1 Mehdi Abaakouk
# https://www.kernel.org/doc/Documentation/networking/ip-sysctl.txt
78 71 Mehdi Abaakouk
for i in /proc/sys/net/ipv4/conf/*/arp_announce; do echo 2 > $i;done
79 29 Mehdi Abaakouk
80 29 Mehdi Abaakouk
echo 1 > /proc/sys/net/ipv4/ip_forward
81 29 Mehdi Abaakouk
echo 1 > /proc/sys/net/ipv6/conf/all/forwarding
82 29 Mehdi Abaakouk
83 1 Mehdi Abaakouk
ip link set eth0 up
84 71 Mehdi Abaakouk
85 29 Mehdi Abaakouk
ip link add link eth0 name eth0.3131 type vlan id 3131
86 1 Mehdi Abaakouk
ip link set eth0.3131 up
87 71 Mehdi Abaakouk
88 29 Mehdi Abaakouk
ip addr add 89.234.156.251/32 dev eth0.3131
89 29 Mehdi Abaakouk
ip route add 91.224.149.0/24 dev eth0.3131
90 29 Mehdi Abaakouk
ip route add default via 91.224.149.254
91 29 Mehdi Abaakouk
92 29 Mehdi Abaakouk
ip addr add 2a01:6600:8083:fb00::1/56 dev eth0.3131
93 29 Mehdi Abaakouk
ip route add default via fe80::31 dev eth0.3131
94 1 Mehdi Abaakouk
95 71 Mehdi Abaakouk
ip route add 89.234.156.250/32 dev eth0.3131
96 71 Mehdi Abaakouk
ip route add 89.234.156.252/32 dev eth0.3131
97 71 Mehdi Abaakouk
ip route add 89.234.156.253/32 dev eth0.3131
98 71 Mehdi Abaakouk
99 98 Mehdi Abaakouk
ovs_vlan_attach(){
100 98 Mehdi Abaakouk
        bridge=$1
101 98 Mehdi Abaakouk
        interface=$2
102 98 Mehdi Abaakouk
        vlan=$3
103 98 Mehdi Abaakouk
        ip=$4
104 98 Mehdi Abaakouk
        # Clean ovs mess (it create the interface without vlan tag id)
105 98 Mehdi Abaakouk
        ovs-vsctl del-port ${bridge} ${interface}.${vlan}
106 98 Mehdi Abaakouk
        ip link del ${interface}.${vlan}
107 98 Mehdi Abaakouk
        ip link add link ${interface} name ${interface}.${vlan} type vlan id ${vlan}
108 98 Mehdi Abaakouk
        ip link set ${interface}.${vlan} up
109 98 Mehdi Abaakouk
        ovs-vsctl add-port ${bridge} ${interface}.${vlan}
110 98 Mehdi Abaakouk
        ip link set ${bridge} up
111 98 Mehdi Abaakouk
        [ "${ip}" ] && ip addr add ${ip} dev ${bridge}
112 98 Mehdi Abaakouk
}
113 1 Mehdi Abaakouk
114 98 Mehdi Abaakouk
ovs_vlan_attach br-admin eth0 3175 192.168.3.101/24
115 98 Mehdi Abaakouk
ovs_vlan_attach br-tsf eth0 3195 
116 1 Mehdi Abaakouk
117 71 Mehdi Abaakouk
ip link set br-net up
118 71 Mehdi Abaakouk
ip addr add fe80::31/64 dev br-net
119 29 Mehdi Abaakouk
ip addr add 91.224.148.0/32 dev br-net
120 71 Mehdi Abaakouk
121 98 Mehdi Abaakouk
for i in /etc/init.d/{ceph,nova-compute,neutron-plugin-*-agent} ; do
122 98 Mehdi Abaakouk
        $i restart
123 98 Mehdi Abaakouk
done
124 29 Mehdi Abaakouk
125 98 Mehdi Abaakouk
/root/tetaneutral-openstack-routing-daemon.sh -d
126 98 Mehdi Abaakouk
127 99 Mehdi Abaakouk
is_openstack_vm_here=$(virsh list --all | awk '{if ($2 == "openstack") print $0}')
128 99 Mehdi Abaakouk
if [ "$is_openstack_vm_here" ]; then
129 99 Mehdi Abaakouk
        virsh start openstack
130 99 Mehdi Abaakouk
        ip route add 89.234.156.249/32 dev br-net proto 42
131 99 Mehdi Abaakouk
        ip -6 route add 2a01:6600:8083:f900::/56 dev br-net proto 42
132 99 Mehdi Abaakouk
fi
133 99 Mehdi Abaakouk
134 98 Mehdi Abaakouk
exit 0
135 30 Mehdi Abaakouk
</pre>
136 30 Mehdi Abaakouk
137 30 Mehdi Abaakouk
_note: Les bridges openvswitch sont mémorisés et recréés automatiquement par le service openvswitch-switch_
138 30 Mehdi Abaakouk
139 30 Mehdi Abaakouk
Sur h7.tetaneutral.net le routage est le suivant
140 30 Mehdi Abaakouk
141 30 Mehdi Abaakouk
<pre>
142 30 Mehdi Abaakouk
ip route add 89.234.156.251/32 dev eth0.3131
143 30 Mehdi Abaakouk
ip route add 89.234.156.252/32 dev eth0.3131
144 30 Mehdi Abaakouk
ip route add 89.234.156.253/32 dev eth0.3131
145 30 Mehdi Abaakouk
ip route add 2a01:6600:8083:fb00::/56 dev eth0.3131
146 30 Mehdi Abaakouk
ip route add 2a01:6600:8083:fc00::/56 dev eth0.3131
147 30 Mehdi Abaakouk
ip route add 2a01:6600:8083:fd00::/56 dev eth0.3131
148 30 Mehdi Abaakouk
</pre>
149 74 Mehdi Abaakouk
150 74 Mehdi Abaakouk
Ainsi que ceci le temps de l'installation
151 30 Mehdi Abaakouk
152 4 Mehdi Abaakouk
<pre>
153 4 Mehdi Abaakouk
ip route add 89.234.156.248/32 via 89.234.156.251 # NOTE(sileht): temporairement pour le setup openstack
154 6 Mehdi Abaakouk
ip route add 2a01:6600:8083:f800::/56 via 2a01:6600:8083:fb00::1 dev eth0.3131 # NOTE(sileht): temporairement pour le setup openstack
155 4 Mehdi Abaakouk
</pre>
156 4 Mehdi Abaakouk
157 57 Mehdi Abaakouk
h3. Preparation de la VM de management, le controlleur
158 89 Mehdi Abaakouk
159 4 Mehdi Abaakouk
h4. Installation des prérequis
160 4 Mehdi Abaakouk
161 6 Mehdi Abaakouk
<pre>
162 1 Mehdi Abaakouk
$ apt-get install libvirt-bin openstack-debian-images virtinst openvswitch-switch 
163 1 Mehdi Abaakouk
#NOTE(sileht): temporairement appliquer les patches de au-dessus à openstack-debian-images 
164 73 Mehdi Abaakouk
</pre>
165 73 Mehdi Abaakouk
166 6 Mehdi Abaakouk
h4. Preparation de l'image de la VM
167 17 Mehdi Abaakouk
168 16 Mehdi Abaakouk
On notera les ip temporaire 192.168.3.100
169 1 Mehdi Abaakouk
170 20 Mehdi Abaakouk
<pre>
171 16 Mehdi Abaakouk
$ vim hook.sh
172 16 Mehdi Abaakouk
set -xv
173 16 Mehdi Abaakouk
174 16 Mehdi Abaakouk
echo "openstack" > $BODI_CHROOT_PATH/etc/hostname
175 1 Mehdi Abaakouk
176 20 Mehdi Abaakouk
cat > $BODI_CHROOT_PATH/etc/resolv.conf <<EOF
177 6 Mehdi Abaakouk
domain tetaneutral.net
178 6 Mehdi Abaakouk
search tetaneutral.net
179 6 Mehdi Abaakouk
nameserver 8.8.8.8
180 1 Mehdi Abaakouk
EOF
181 6 Mehdi Abaakouk
182 20 Mehdi Abaakouk
cat > $BODI_CHROOT_PATH/etc/network/interfaces <<EOF
183 20 Mehdi Abaakouk
auto lo
184 1 Mehdi Abaakouk
iface lo inet loopback
185 1 Mehdi Abaakouk
auto eth0
186 92 Mehdi Abaakouk
iface eth0 inet manual
187 20 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth0.accept_ra=0
188 20 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth0.autoconf=0
189 20 Mehdi Abaakouk
  up ip link set eth0 up
190 20 Mehdi Abaakouk
  up ip addr add 89.234.156.249/32 dev eth0
191 1 Mehdi Abaakouk
  up ip route add 91.224.148.0/32 dev eth0
192 20 Mehdi Abaakouk
  up ip route add default via 91.224.148.0
193 92 Mehdi Abaakouk
194 40 Mehdi Abaakouk
iface eth0 inet6 static
195 46 Mehdi Abaakouk
    pre-up /sbin/sysctl -w net.ipv6.conf.eth0.accept_ra=0
196 46 Mehdi Abaakouk
    pre-up /sbin/sysctl -w net.ipv6.conf.eth0.autoconf=0
197 46 Mehdi Abaakouk
    address 2a01:6600:8083:f900::1
198 1 Mehdi Abaakouk
    netmask 56
199 46 Mehdi Abaakouk
    gateway fe80::31
200 46 Mehdi Abaakouk
201 92 Mehdi Abaakouk
auto eth1
202 6 Mehdi Abaakouk
iface eth1 inet static
203 20 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth1.accept_ra=0
204 1 Mehdi Abaakouk
  pre-up /sbin/sysctl -w net.ipv6.conf.eth1.autoconf=0
205 6 Mehdi Abaakouk
  address 192.168.3.100
206 4 Mehdi Abaakouk
  netmask 255.255.255.0
207 1 Mehdi Abaakouk
EOF
208 4 Mehdi Abaakouk
209 10 Mehdi Abaakouk
mkdir -p $BODI_CHROOT_PATH/root/.ssh
210 16 Mehdi Abaakouk
chmod 600 $BODI_CHROOT_PATH/root/.ssh
211 16 Mehdi Abaakouk
cat >> $BODI_CHROOT_PATH/root/.ssh/authorized_keys <<EOF
212 20 Mehdi Abaakouk
ssh-dss AAAAB3NzaC1kc3MAAACBAJtnGLvuz4uVD6fnERDxDi/C0UyzwCiKmgNtEessopREYasAX4Gu6Fg10jAyIL5Nuc7YDnqj//pOfxNjD7hp99a2ZmkRQgh/ltClxYML9fqhBHgsUCpVse9nOYDHDnDgvXIPRSDUHat2UFpdchHVrFURNLIlZnBztsr+GCDURTV/AAAAFQD9SrBcH49ltaKOm6V5ssCPmgs1SwAAAIAbAvkQ3/tMzzdACO5B9s5Yb3ZuM7XImm0iqufivVf2Xy39g8HOBulUsN7eKEGPhVriqNolgIO7q7tVgYAff4/NE4yDP0Kp0SPg4tjt2yFJuL31Y3wzwHjnKrjgNlDSLl3uZnRXSipwUMwGKbdHB6NZSqlq192VKbHilQ00pbiMlAAAAIB5dfB1lVHkJ0o5CcaVQRPbca9DvbbRwnoTSmKHc5DUcqsPqDhS07CkM9ZcJuY1Nh4wGl4Q9kArj7Tnsvvygf/HReSUcIk4+nbDytJ8/pca/Qx4fzQQyppa94TylN62LSFT6MIJKLoMwYa0dQURT7Mv5+9Qj2vk5pZ38w2iQ9zVCg== root@h1
213 1 Mehdi Abaakouk
EOF
214 7 Mehdi Abaakouk
215 4 Mehdi Abaakouk
sed -i -e 's/^.*Port.*$/Port 2222/' -e 's/^[# ]*PasswordAuthentication.*$/PasswordAuthentication no/' $BODI_CHROOT_PATH/etc/ssh/sshd_config
216 21 Mehdi Abaakouk
chroot $BODI_CHROOT_PATH dpkg-reconfigure openssh-server
217 12 Mehdi Abaakouk
chroot $BODI_CHROOT_PATH apt-get purge -y cloud-init*
218 4 Mehdi Abaakouk
</pre>
219 4 Mehdi Abaakouk
220 4 Mehdi Abaakouk
<pre>
221 5 Mehdi Abaakouk
$ chmod +x hook.sh
222 13 Mehdi Abaakouk
$ build-openstack-debian-image --image-size 20  --release jessie -u http://apt.tetaneutral.net/debian/ -s http://apt.tetaneutral.net/debian/ --hook-script $(pwd)/hook.sh
223 18 Mehdi Abaakouk
$ mv debian-jessie-7.0.0-3-amd64.raw /openstack.raw 
224 18 Mehdi Abaakouk
$ rm debian-jessie-7.0.0-3-amd64.qcow2
225 18 Mehdi Abaakouk
</pre>
226 18 Mehdi Abaakouk
227 18 Mehdi Abaakouk
_note: la derniere commande lancée par le script doit être 'qemu-img convert -c -f raw .... , sinon l'image de bootera pas_
228 18 Mehdi Abaakouk
_note(jessie): si l'erreur est celle ci-dessous, relancer manuellement 'kpartx -d debian-jessie-7.0.0-3-amd64.raw' jusqu'a ce que l'erreur disparaissent et le .raw est utilisable:_
229 59 Mehdi Abaakouk
<pre>
230 59 Mehdi Abaakouk
+ 'kpartx -d debian-jessie-7.0.0-3-amd64.raw'
231 11 Mehdi Abaakouk
device-mapper: remove ioctl on loop0p1 failed: Device or resource busy
232 4 Mehdi Abaakouk
loop deleted : /dev/loop0
233 4 Mehdi Abaakouk
</pre>
234 6 Mehdi Abaakouk
_note: si parted freeze -> lancer /etc/init.d/udev restart_
235 4 Mehdi Abaakouk
236 4 Mehdi Abaakouk
237 8 Mehdi Abaakouk
On garde l'image raw qui sera importable dans ceph plus tard et on la mets à la racine pour qui l'utilisateur libvirt puisse y accéder.
238 1 Mehdi Abaakouk
239 90 Mehdi Abaakouk
h4. Préparation du réseau
240 90 Mehdi Abaakouk
241 90 Mehdi Abaakouk
<pre>
242 90 Mehdi Abaakouk
$ modprobe vhost-net
243 90 Mehdi Abaakouk
$ ovs-vsctl add-br br-net 
244 90 Mehdi Abaakouk
$ ip link set br-net up 
245 90 Mehdi Abaakouk
$ ovs-vsctl br-set-external-id br-net bridge-id br-net 
246 90 Mehdi Abaakouk
$ ip link set br-admin up 
247 90 Mehdi Abaakouk
$ ovs-vsctl br-set-external-id br-net bridge-id br-admin 
248 90 Mehdi Abaakouk
$ ovs-vsctl add-port br-admin eth0.3175
249 5 Mehdi Abaakouk
$ ip addr add 192.168.3.101/24 dev br-admin 
250 6 Mehdi Abaakouk
$ ip addr add fe80::31/64 dev br-net 
251 4 Mehdi Abaakouk
$ ip route add 89.234.156.249/32 dev br-net
252 4 Mehdi Abaakouk
$ ip -6 route add 2a01:6600:8083:f900::/56 dev br-net
253 60 Mehdi Abaakouk
</pre>
254 4 Mehdi Abaakouk
255 91 Mehdi Abaakouk
h4. Installation de la VM
256 91 Mehdi Abaakouk
257 19 Mehdi Abaakouk
<pre>
258 93 Mehdi Abaakouk
$ virt-install --name openstack --ram 2048 --network bridge=br-net,model=virtio --network bridge=br-admin,model=virtio --nographics --serial pty --wait -1 --noreboot --autostart --disk /openstack.raw,bus=virtio,cache=none,io=native --import
259 19 Mehdi Abaakouk
$ EDITOR="sed -i -e \"s,<source bridge='br-net'/>,<source bridge='br-net'/><virtualport type='openvswitch' />,g\"" virsh edit openstack # Openvswitch is not yet supported by virt-install 
260 19 Mehdi Abaakouk
$ EDITOR="sed -i -e \"s,<source bridge='br-admin'/>,<source bridge='br-admin'/><virtualport type='openvswitch' />,g\"" virsh edit openstack # Openvswitch is not yet supported by virt-install 
261 19 Mehdi Abaakouk
$ virsh  start openstack
262 19 Mehdi Abaakouk
$ ssh root@89.234.156.249 -p 2222
263 19 Mehdi Abaakouk
</pre>
264 19 Mehdi Abaakouk
265 24 Mehdi Abaakouk
Une fois connecté à la VM:
266 24 Mehdi Abaakouk
267 24 Mehdi Abaakouk
<pre>
268 24 Mehdi Abaakouk
$ apt-get install puppet
269 24 Mehdi Abaakouk
$ puppet agent --enable
270 24 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
271 24 Mehdi Abaakouk
Info: Caching certificate for ca
272 19 Mehdi Abaakouk
Info: csr_attributes file loading from /etc/puppet/csr_attributes.yaml
273 19 Mehdi Abaakouk
Info: Creating a new SSL certificate request for openstack.tetaneutral.net
274 19 Mehdi Abaakouk
Info: Certificate Request fingerprint (SHA256): AE:72:47:40:A0:E2:F4:59:BA:39:FA:3D:C2:A7:C9:1B:9F:87:A5:B7:65:3A:F9:D4:DE:AF:E2:A3:02:41:0F:2E
275 19 Mehdi Abaakouk
Info: Caching certificate for ca
276 19 Mehdi Abaakouk
Exiting; no certificate found and waitforcert is disabled
277 1 Mehdi Abaakouk
</pre>
278 22 Mehdi Abaakouk
279 61 Mehdi Abaakouk
Sur le puppetmaster:
280 87 Mehdi Abaakouk
281 1 Mehdi Abaakouk
<pre>
282 19 Mehdi Abaakouk
$ puppet ca sign openstack.tetaneutral.net 
283 19 Mehdi Abaakouk
</pre>
284 24 Mehdi Abaakouk
_note: si un vieux cert existe: puppet ca revoke openstack.tetaneutral.net ; puppet cert clean openstack.tetaneutral.net; puppet node clean openstack.tetaneutral.net_
285 26 Mehdi Abaakouk
286 26 Mehdi Abaakouk
De nouveau sur la VM:
287 4 Mehdi Abaakouk
288 26 Mehdi Abaakouk
<pre>
289 32 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
290 26 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
291 34 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
292 34 Mehdi Abaakouk
</pre>
293 35 Mehdi Abaakouk
294 94 Mehdi Abaakouk
Il ne doit plus y avoir d'erreur la 3°/4° fois.
295 35 Mehdi Abaakouk
296 35 Mehdi Abaakouk
h3. Configuration des hyperviseurs
297 35 Mehdi Abaakouk
298 35 Mehdi Abaakouk
Une fois la configuration réseau faite, tout ce fait avec puppet:
299 35 Mehdi Abaakouk
300 35 Mehdi Abaakouk
<pre>
301 35 Mehdi Abaakouk
$ apt-get install puppet
302 35 Mehdi Abaakouk
$ puppet agent --enable
303 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
304 35 Mehdi Abaakouk
Info: Caching certificate for ca
305 35 Mehdi Abaakouk
Info: csr_attributes file loading from /etc/puppet/csr_attributes.yaml
306 35 Mehdi Abaakouk
Info: Creating a new SSL certificate request for openstack.tetaneutral.net
307 35 Mehdi Abaakouk
Info: Certificate Request fingerprint (SHA256): AE:72:47:40:A0:E2:F4:59:BA:39:FA:3D:C2:A7:C9:1B:9F:87:A5:B7:65:3A:F9:D4:DE:AF:E2:A3:02:41:0F:2E
308 35 Mehdi Abaakouk
Info: Caching certificate for ca
309 35 Mehdi Abaakouk
Exiting; no certificate found and waitforcert is disabled
310 35 Mehdi Abaakouk
</pre>
311 35 Mehdi Abaakouk
312 64 Mehdi Abaakouk
Sur le puppetmaster:
313 35 Mehdi Abaakouk
314 35 Mehdi Abaakouk
<pre>
315 35 Mehdi Abaakouk
$ puppet ca sign openstack.tetaneutral.net 
316 35 Mehdi Abaakouk
</pre>
317 35 Mehdi Abaakouk
_note: si un vieux cert existe: puppet ca revoke openstack.tetaneutral.net ; puppet cert clean openstack.tetaneutral.net; puppet node clean openstack.tetaneutral.net_
318 35 Mehdi Abaakouk
319 35 Mehdi Abaakouk
De nouveau sur la VM:
320 35 Mehdi Abaakouk
321 35 Mehdi Abaakouk
<pre>
322 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
323 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
324 35 Mehdi Abaakouk
$ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync 
325 35 Mehdi Abaakouk
</pre>
326 35 Mehdi Abaakouk
327 35 Mehdi Abaakouk
Il ne doit plus y avoir d'erreur la 3°/4° fois.
328 35 Mehdi Abaakouk
329 35 Mehdi Abaakouk
h4. Information sur la configuration d'un hyperviseur sur le puppet master
330 35 Mehdi Abaakouk
331 101 Mehdi Abaakouk
La configuration puppet ressemble à :
332 35 Mehdi Abaakouk
333 35 Mehdi Abaakouk
<pre>
334 35 Mehdi Abaakouk
node "gX.tetaneutral.net" inherits openstack_node_common {
335 35 Mehdi Abaakouk
  # Configuration du routerid et de l'AS number de cette machine
336 35 Mehdi Abaakouk
  # Il faut aussi mettre la conf bgp de h7 ainsi que les fichiers 
337 35 Mehdi Abaakouk
  # /etc/puppet/manifests/files/openstack-bird.conf.erb et
338 35 Mehdi Abaakouk
  # /etc/puppet/manifests/files/openstack-bird6.conf.erb
339 35 Mehdi Abaakouk
  # pour ajouter cette AS interne
340 35 Mehdi Abaakouk
  ttnn_os_bird {'198.51.100.1': asnum => "65001"}
341 35 Mehdi Abaakouk
342 100 Mehdi Abaakouk
  # Dans le cas d'une moniteur ceph, mais uniquement 3 suffissent, on a déjà g1,g2,g3
343 100 Mehdi Abaakouk
  ttnn_ceph_mon {$::hostname:}
344 100 Mehdi Abaakouk
  # Sinon utilisait:
345 100 Mehdi Abaakouk
  # class{"ttnn_ceph_osd_only": }
346 35 Mehdi Abaakouk
347 1 Mehdi Abaakouk
  # La partie Openstack, l'uuid doit être unique par machine (générer avec uuid-gen)
348 72 Mehdi Abaakouk
  ttnn_os_compute {"9d26ec10-a48b-4f0f-a122-f10ed16d270f": }
349 37 Mehdi Abaakouk
}
350 38 Mehdi Abaakouk
</pre>
351 38 Mehdi Abaakouk
352 109 Mehdi Abaakouk
h3. Déplacement du disk du controlleur dans le cluster ceph
353 1 Mehdi Abaakouk
354 109 Mehdi Abaakouk
Les recettes puppet on créé un pool libvirt-raw
355 1 Mehdi Abaakouk
356 1 Mehdi Abaakouk
357 109 Mehdi Abaakouk
Sur g1, on remplace le disk de "instance-00000004" par celui de la vrai vm de management:
358 97 Mehdi Abaakouk
<pre>
359 109 Mehdi Abaakouk
$ virsh shutdown openstack
360 109 Mehdi Abaakouk
$ rbd -p libvirt-raw import /var/lib/ceph/osd/ceph-0/openstack.raw  openstack-disk
361 109 Mehdi Abaakouk
$ virsh edit openstack
362 88 Mehdi Abaakouk
</pre>
363 88 Mehdi Abaakouk
364 109 Mehdi Abaakouk
Remplacer: 
365 88 Mehdi Abaakouk
<pre>
366 109 Mehdi Abaakouk
    <disk type='file' device='disk'>
367 109 Mehdi Abaakouk
      <driver name='qemu' type='raw' cache='none' io='native'/>
368 109 Mehdi Abaakouk
      <source file='/var/lib/ceph/osd/ceph-0/openstack.raw'/>
369 109 Mehdi Abaakouk
      <target dev='vda' bus='virtio'/>
370 109 Mehdi Abaakouk
      <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
371 109 Mehdi Abaakouk
    </disk>
372 97 Mehdi Abaakouk
</pre>
373 97 Mehdi Abaakouk
374 109 Mehdi Abaakouk
Par:
375 97 Mehdi Abaakouk
376 97 Mehdi Abaakouk
<pre>
377 109 Mehdi Abaakouk
    <disk type='network' device='disk'>
378 109 Mehdi Abaakouk
        <source protocol='rbd' name='libvirt-raw/openstack-disk'>
379 109 Mehdi Abaakouk
                <host name='192.168.3.101' port='6789'/>
380 109 Mehdi Abaakouk
                <host name='192.168.3.102' port='6789'/>
381 109 Mehdi Abaakouk
                <host name='192.168.3.103' port='6789'/>
382 109 Mehdi Abaakouk
        </source>
383 109 Mehdi Abaakouk
        <auth username='client.openstack-service'>
384 109 Mehdi Abaakouk
            <secret type='ceph' uuid='1fe74663-8dfa-486c-bb80-3bd94c90c967'/>
385 109 Mehdi Abaakouk
        </auth>
386 109 Mehdi Abaakouk
        <target dev='vda' bus='virtio'/>
387 109 Mehdi Abaakouk
    </disk>
388 97 Mehdi Abaakouk
</pre>
389 97 Mehdi Abaakouk
390 109 Mehdi Abaakouk
La clé ceph pour libvirt a déjà été installé par puppet pour avoir sont uuid:
391 97 Mehdi Abaakouk
392 97 Mehdi Abaakouk
<pre>
393 109 Mehdi Abaakouk
$ virsh secret-list
394 109 Mehdi Abaakouk
 UUID                                  Usage
395 109 Mehdi Abaakouk
--------------------------------------------------------------------------------
396 109 Mehdi Abaakouk
 1fe74663-8dfa-486c-bb80-3bd94c90c967  ceph client.openstack-service secret
397 97 Mehdi Abaakouk
</pre>
398 97 Mehdi Abaakouk
399 109 Mehdi Abaakouk
Puis on démarre
400 97 Mehdi Abaakouk
401 97 Mehdi Abaakouk
<pre>
402 109 Mehdi Abaakouk
$ virsh start openstack
403 97 Mehdi Abaakouk
</pre>
404 97 Mehdi Abaakouk
405 97 Mehdi Abaakouk
406 97 Mehdi Abaakouk
Ca marche !
407 97 Mehdi Abaakouk
408 97 Mehdi Abaakouk
<pre>
409 97 Mehdi Abaakouk
$ ssh openstack.t
410 97 Mehdi Abaakouk
X11 forwarding request failed on channel 0
411 97 Mehdi Abaakouk
412 97 Mehdi Abaakouk
  server: openstack.tetaneutral.net
413 97 Mehdi Abaakouk
  system: Debian jessie/sid, kernel 3.14-2-amd64, puppet 3.6.1
414 97 Mehdi Abaakouk
     cpu: 1/1 (QEMU Virtual CPU version 2.1.0)
415 97 Mehdi Abaakouk
  memory: 1.96 GB
416 97 Mehdi Abaakouk
417 97 Mehdi Abaakouk
    eth0: 52:54:00:90:d8:c7 / 89.234.156.249 / 2a01:6600:8083:f900::1
418 97 Mehdi Abaakouk
    eth1: 52:54:00:13:fa:13 / 192.168.3.100
419 97 Mehdi Abaakouk
420 97 Mehdi Abaakouk
 modules: openstack_node_common ttnn::server resolver checkmk::agent checkmk::client rsyslog::client rsyslog apt apt::update puppet nullmailer backup::client sexymotd 
421 97 Mehdi Abaakouk
                            _             _    
422 97 Mehdi Abaakouk
  ___  _ __   ___ _ __  ___| |_ __ _  ___| | __
423 97 Mehdi Abaakouk
 / _ \| '_ \ / _ \ '_ \/ __| __/ _` |/ __| |/ /
424 97 Mehdi Abaakouk
| (_) | |_) |  __/ | | \__ \ || (_| | (__|   < 
425 97 Mehdi Abaakouk
 \___/| .__/ \___|_| |_|___/\__\__,_|\___|_|\_\
426 97 Mehdi Abaakouk
      |_|                                      
427 97 Mehdi Abaakouk
Last login: Wed Aug 27 08:10:02 2014 from atoulouse-652-1-119-50.w2-6.abo.wanadoo.fr
428 68 Mehdi Abaakouk
root@openstack:~# 
429 68 Mehdi Abaakouk
430 68 Mehdi Abaakouk
</pre>
431 68 Mehdi Abaakouk
432 102 Mehdi Abaakouk
h2. Preparation des OSD pour ceph
433 1 Mehdi Abaakouk
434 102 Mehdi Abaakouk
h3. Cas général un disque entier:
435 1 Mehdi Abaakouk
436 102 Mehdi Abaakouk
$ ceph-disk prepare /dev/sdb
437 102 Mehdi Abaakouk
$ ceph-disk activate /dev/sdb
438 68 Mehdi Abaakouk
439 68 Mehdi Abaakouk
h3. Cas particulier du SSD ou ce trouve l'OS
440 68 Mehdi Abaakouk
441 68 Mehdi Abaakouk
En général avec ceph, on donne un disque, ceph créé 2 partitions une pour le journal de l'OSD, l'autre pour les datas
442 68 Mehdi Abaakouk
mais pour le SSD de tetaneutral qui a aussi l'OS, voici la méthode
443 68 Mehdi Abaakouk
444 68 Mehdi Abaakouk
Création manuelle de la partition de data ceph /dev/sda2 ici
445 68 Mehdi Abaakouk
446 68 Mehdi Abaakouk
<pre>
447 68 Mehdi Abaakouk
$ fdisk /dev/sda
448 68 Mehdi Abaakouk
449 68 Mehdi Abaakouk
n
450 68 Mehdi Abaakouk
p
451 68 Mehdi Abaakouk
<enter>
452 68 Mehdi Abaakouk
<enter>
453 68 Mehdi Abaakouk
<enter>
454 68 Mehdi Abaakouk
<enter>
455 68 Mehdi Abaakouk
w
456 68 Mehdi Abaakouk
457 68 Mehdi Abaakouk
$ partprobe
458 1 Mehdi Abaakouk
</pre>
459 68 Mehdi Abaakouk
460 103 Mehdi Abaakouk
On prepare le disk comme normalement
461 1 Mehdi Abaakouk
462 34 Mehdi Abaakouk
<pre>
463 103 Mehdi Abaakouk
ceph-disk prepare /dev/sda2
464 102 Mehdi Abaakouk
ceph-disk activate /dev/sda2
465 1 Mehdi Abaakouk
</pre>
466 1 Mehdi Abaakouk
467 102 Mehdi Abaakouk
Le disque n'étant pas utilisé uniquement par ceph, le service ceph ne le chargera pas automatiquement:
468 102 Mehdi Abaakouk
Il faut ajouter ceci dans le /etc/rc.local:
469 102 Mehdi Abaakouk
470 102 Mehdi Abaakouk
<pre>
471 102 Mehdi Abaakouk
ceph-disk activate /dev/sda2
472 102 Mehdi Abaakouk
</pre>
473 102 Mehdi Abaakouk
474 104 Mehdi Abaakouk
3. Suppression OSD:
475 104 Mehdi Abaakouk
476 104 Mehdi Abaakouk
<pre>
477 104 Mehdi Abaakouk
name="osd.2"
478 104 Mehdi Abaakouk
ceph osd out ${name}
479 104 Mehdi Abaakouk
/etc/init.d/ceph stop ${name}
480 105 Mehdi Abaakouk
ceph osd crush remove ${name}
481 104 Mehdi Abaakouk
ceph auth del ${name}
482 104 Mehdi Abaakouk
ceph osd rm ${name}
483 106 Mehdi Abaakouk
ceph osd tree
484 104 Mehdi Abaakouk
</pre>
485 104 Mehdi Abaakouk
486 107 Mehdi Abaakouk
h2. Preparation du Pool SSD pour ceph 
487 1 Mehdi Abaakouk
488 69 Mehdi Abaakouk
Chaque machine se trouve dans 2 hosts, un host SSD et un host HARDDISK (même si en réalité les deux sont sur la même machine physique),
489 1 Mehdi Abaakouk
490 1 Mehdi Abaakouk
Ensuite on créé 2 object root un pour les hosts SSD et un autre pour les host HARDDISK
491 79 Mehdi Abaakouk
492 1 Mehdi Abaakouk
On créé ensuite 2 règles de stockage une qui envoie les objects vers le root SSD et l'autre vers le root HARDDISK
493 1 Mehdi Abaakouk
494 1 Mehdi Abaakouk
Cela permettra d'avoir de définir une règle différente suivant les pools ceph.
495 1 Mehdi Abaakouk
496 1 Mehdi Abaakouk
Niveau Openstack nous avons 4 pools:
497 1 Mehdi Abaakouk
* nova: que nous n'allons pas utilisé mais que nova utilise pour stocker quelles fichiers pour le boot des VMs. (Il normalement utilisé si on créé pas préalablement de volume)
498 1 Mehdi Abaakouk
* cinder: ce pool sera le pool par défaut de création des disques
499 1 Mehdi Abaakouk
* cinder-ssd: sera le pool sur le quel on applique la politique de stockage numero 1
500 1 Mehdi Abaakouk
* glance: c'est la que seront stocké les images de VMs.
501 1 Mehdi Abaakouk
502 107 Mehdi Abaakouk
h3. Configuration de la crushmap de ceph:
503 1 Mehdi Abaakouk
504 107 Mehdi Abaakouk
Création de l'arbre de ragnement physique des SSD, l'arbre nommé 'default' sera donc celui des disques durs
505 107 Mehdi Abaakouk
506 1 Mehdi Abaakouk
<pre>
507 107 Mehdi Abaakouk
$ ceph osd crush add-bucket ssd root
508 107 Mehdi Abaakouk
$ ceph osd crush add-bucket g1-ssd host
509 107 Mehdi Abaakouk
$ ceph osd crush add-bucket g2-ssd host
510 107 Mehdi Abaakouk
$ ceph osd crush add-bucket g3-ssd host
511 107 Mehdi Abaakouk
$ ceph osd crush move g1-ssd root=ssd
512 107 Mehdi Abaakouk
$ ceph osd crush move g2-ssd root=ssd
513 107 Mehdi Abaakouk
$ ceph osd crush move g3-ssd root=ssd
514 107 Mehdi Abaakouk
$ ceph osd tree
515 107 Mehdi Abaakouk
# id	weight	type name	up/down	reweight
516 107 Mehdi Abaakouk
-5	0	root ssd
517 107 Mehdi Abaakouk
-6	0		host g1-ssd
518 107 Mehdi Abaakouk
-7	0		host g2-ssd
519 107 Mehdi Abaakouk
-8	0		host g3-ssd
520 107 Mehdi Abaakouk
-1	9.53	root default
521 107 Mehdi Abaakouk
-2	3.84		host g1
522 107 Mehdi Abaakouk
0	3.63			osd.0	up	1	
523 107 Mehdi Abaakouk
3	0.21			osd.3	up	1	
524 107 Mehdi Abaakouk
-3	3.84		host g2
525 107 Mehdi Abaakouk
1	3.63			osd.1	up	1	
526 107 Mehdi Abaakouk
4	0.21			osd.4	up	1	
527 107 Mehdi Abaakouk
-4	1.85		host g3
528 107 Mehdi Abaakouk
2	1.81			osd.2	up	1	
529 107 Mehdi Abaakouk
5	0.03999			osd.5	up	1	
530 1 Mehdi Abaakouk
</pre>
531 1 Mehdi Abaakouk
532 1 Mehdi Abaakouk
533 107 Mehdi Abaakouk
On range les osd qui ont des disques SSD dans ce nouvel arbre.
534 107 Mehdi Abaakouk
535 1 Mehdi Abaakouk
<pre>
536 107 Mehdi Abaakouk
$ ceph osd crush set osd.3 0.21  root=ssd host=g1-ssd
537 107 Mehdi Abaakouk
$ ceph osd crush set osd.4 0.21  root=ssd host=g2-ssd
538 107 Mehdi Abaakouk
$ ceph osd crush set osd.5 0.03999  root=ssd host=g3-ssd
539 107 Mehdi Abaakouk
$ ceph osd tree
540 107 Mehdi Abaakouk
# id	weight	type name	up/down	reweight
541 107 Mehdi Abaakouk
-5	0.46	root ssd
542 107 Mehdi Abaakouk
-6	0.21		host g1-ssd
543 107 Mehdi Abaakouk
3	0.21			osd.3	up	1	
544 107 Mehdi Abaakouk
-7	0.21		host g2-ssd
545 107 Mehdi Abaakouk
4	0.21			osd.4	up	1	
546 107 Mehdi Abaakouk
-8	0.03998		host g3-ssd
547 107 Mehdi Abaakouk
5	0.03998			osd.5	up	1	
548 107 Mehdi Abaakouk
-1	9.07	root default
549 107 Mehdi Abaakouk
-2	3.63		host g1
550 107 Mehdi Abaakouk
0	3.63			osd.0	up	1	
551 107 Mehdi Abaakouk
-3	3.63		host g2
552 107 Mehdi Abaakouk
1	3.63			osd.1	up	1	
553 107 Mehdi Abaakouk
-4	1.81		host g3
554 107 Mehdi Abaakouk
2	1.81			osd.2	up	1	
555 96 Mehdi Abaakouk
</pre>
556 96 Mehdi Abaakouk
557 108 Mehdi Abaakouk
Et pour finir, on recalcul le poids de chaque OSD
558 108 Mehdi Abaakouk
559 108 Mehdi Abaakouk
<pre>
560 108 Mehdi Abaakouk
ceph osd reweight-by-utilization
561 108 Mehdi Abaakouk
</pre>
562 108 Mehdi Abaakouk
563 108 Mehdi Abaakouk
564 107 Mehdi Abaakouk
h3. Definition de la crushmap de ttnn
565 96 Mehdi Abaakouk
566 96 Mehdi Abaakouk
567 107 Mehdi Abaakouk
Une fois la crushmap modifié on créée et applique la règle sur le pool cinder-ssd:
568 96 Mehdi Abaakouk
569 107 Mehdi Abaakouk
<pre>
570 107 Mehdi Abaakouk
$ ceph osd crush rule create-simple ssd_replicated_ruleset ssd host firstn
571 107 Mehdi Abaakouk
$ ceph osd crush rule dump
572 107 Mehdi Abaakouk
[
573 107 Mehdi Abaakouk
    { "rule_id": 0,
574 107 Mehdi Abaakouk
      "rule_name": "replicated_ruleset",
575 107 Mehdi Abaakouk
      "ruleset": 0,
576 107 Mehdi Abaakouk
      "type": 1,
577 107 Mehdi Abaakouk
      "min_size": 1,
578 107 Mehdi Abaakouk
      "max_size": 10,
579 107 Mehdi Abaakouk
      "steps": [
580 107 Mehdi Abaakouk
            { "op": "take",
581 107 Mehdi Abaakouk
              "item": -1,
582 107 Mehdi Abaakouk
              "item_name": "default"},
583 107 Mehdi Abaakouk
            { "op": "chooseleaf_firstn",
584 107 Mehdi Abaakouk
              "num": 0,
585 107 Mehdi Abaakouk
              "type": "host"},
586 107 Mehdi Abaakouk
            { "op": "emit"}]},
587 107 Mehdi Abaakouk
    { "rule_id": 1,
588 107 Mehdi Abaakouk
      "rule_name": "ssd_replicated_ruleset",
589 107 Mehdi Abaakouk
      "ruleset": 1,
590 107 Mehdi Abaakouk
      "type": 1,
591 107 Mehdi Abaakouk
      "min_size": 1,
592 107 Mehdi Abaakouk
      "max_size": 10,
593 107 Mehdi Abaakouk
      "steps": [
594 107 Mehdi Abaakouk
            { "op": "take",
595 107 Mehdi Abaakouk
              "item": -5,
596 107 Mehdi Abaakouk
              "item_name": "ssd"},
597 107 Mehdi Abaakouk
            { "op": "chooseleaf_firstn",
598 107 Mehdi Abaakouk
              "num": 0,
599 107 Mehdi Abaakouk
              "type": "host"},
600 107 Mehdi Abaakouk
            { "op": "emit"}]}]
601 1 Mehdi Abaakouk
602 107 Mehdi Abaakouk
$ ceph osd pool set cinder-ssd crush_ruleset 1
603 1 Mehdi Abaakouk
</pre>
604 1 Mehdi Abaakouk
605 107 Mehdi Abaakouk
Il faut ensuite attendre que ceph redistribue les data comme on lui a demandé, on peut suivre l'avancement avec :
606 1 Mehdi Abaakouk
607 1 Mehdi Abaakouk
<pre>
608 107 Mehdi Abaakouk
ceph -s
609 1 Mehdi Abaakouk
</pre>
610 1 Mehdi Abaakouk
611 1 Mehdi Abaakouk
h2. Management d'openstack