Projet

Général

Profil

Supervision et Log » Historique » Version 24

Mehdi Abaakouk, 19/12/2014 08:17

1 1 Mehdi Abaakouk
h1. Supervision et Log
2 1 Mehdi Abaakouk
3 3 Mehdi Abaakouk
{{>toc}}
4 3 Mehdi Abaakouk
5 16 Mehdi Abaakouk
h2. Présentation
6 1 Mehdi Abaakouk
7 2 Mehdi Abaakouk
La supervision utilise nagios, pnp4nagios et check_mk sur la machine "nagios.tetaneutral.net":http://nagios.tetaneutral.net
8 16 Mehdi Abaakouk
"check_mk":http://mathias-kettner.de/check_mk.html est à la fois:
9 16 Mehdi Abaakouk
* un outils qui génère la configuration de nagios
10 1 Mehdi Abaakouk
* une "commande" au sens nagios.
11 1 Mehdi Abaakouk
* une interface Web 2.0
12 16 Mehdi Abaakouk
pnp4nagios est un grapher des perfdatas de nagios, et il est intégré parfaitement à l'interface de check_mk
13 1 Mehdi Abaakouk
La gestion des logs s'effectue avec rsyslog sur la machine ttnnlog
14 1 Mehdi Abaakouk
15 16 Mehdi Abaakouk
La configuration et les scripts nagios sont versionnés ici:
16 4 Mehdi Abaakouk
<pre>
17 4 Mehdi Abaakouk
git clone git@git.tetaneutral.net:nagios nagios
18 4 Mehdi Abaakouk
</pre>
19 4 Mehdi Abaakouk
20 4 Mehdi Abaakouk
21 16 Mehdi Abaakouk
h2. Ajouter un machine à la supervision
22 1 Mehdi Abaakouk
23 1 Mehdi Abaakouk
Dans le fichier /etc/check_mk/main.mk ajouter dans le tableau "all_hosts" le nom de la vm suivie de tags comme ceci:
24 1 Mehdi Abaakouk
25 1 Mehdi Abaakouk
<pre>
26 1 Mehdi Abaakouk
nomdelavme|vm|ssh-2222|smtp|http
27 1 Mehdi Abaakouk
nomdelamahcine|phy|ssh-22|https|imaps
28 1 Mehdi Abaakouk
</pre>
29 1 Mehdi Abaakouk
30 16 Mehdi Abaakouk
Les fameux tag permet d'associé la machine à des check de services, des hostgroups et des servicesgroups
31 16 Mehdi Abaakouk
Par défaut seul le ping est effectué.
32 16 Mehdi Abaakouk
On peut ensuite étendre rapidement les checks avec les contrôles système.
33 16 Mehdi Abaakouk
Pour ceci il faut installé un agent sur la machine superviser, soit check-mk-agent, soit net-snmp.
34 1 Mehdi Abaakouk
35 24 Mehdi Abaakouk
h2. Installation rapide de check-mk-agent:
36 1 Mehdi Abaakouk
37 21 Mehdi Abaakouk
sur la machine, c'est automatiquement fait avec puppet.
38 1 Mehdi Abaakouk
39 1 Mehdi Abaakouk
sur nagios:
40 1 Mehdi Abaakouk
41 1 Mehdi Abaakouk
<pre>
42 1 Mehdi Abaakouk
check_mk -II nommachine && check_mk -O
43 1 Mehdi Abaakouk
</pre>
44 1 Mehdi Abaakouk
45 1 Mehdi Abaakouk
h2. Remonter d'alert a partir des fichiers de log
46 1 Mehdi Abaakouk
47 16 Mehdi Abaakouk
Sur ttnnlog ou sur la machine elle même (si elle a check-mk-agent-logwatch d'installer)
48 16 Mehdi Abaakouk
Dans le fichier /etc/check_mk/logwatch.cfg ajouté des lignes comme:
49 1 Mehdi Abaakouk
50 1 Mehdi Abaakouk
<pre>
51 1 Mehdi Abaakouk
/var/log/messages
52 1 Mehdi Abaakouk
# Patterns are indented with one space are prefixed with:
53 1 Mehdi Abaakouk
# C: Critical messages
54 1 Mehdi Abaakouk
# W: Warning messages
55 1 Mehdi Abaakouk
# I: ignore these lines (OK)
56 1 Mehdi Abaakouk
# The first match decided. Lines that do not match any pattern
57 1 Mehdi Abaakouk
# are ignored
58 1 Mehdi Abaakouk
C Fail event detected on md device
59 1 Mehdi Abaakouk
I mdadm.*: Rebuild.*event detected
60 1 Mehdi Abaakouk
W mdadm\[
61 1 Mehdi Abaakouk
/data/www/*/*/syslog /data/www/*/*/kern.log
62 1 Mehdi Abaakouk
C Panic
63 1 Mehdi Abaakouk
C Oops
64 1 Mehdi Abaakouk
</pre>
65 1 Mehdi Abaakouk
66 16 Mehdi Abaakouk
Puis sur la machine nagios détecté la nouvelle config de l'agent:
67 1 Mehdi Abaakouk
68 1 Mehdi Abaakouk
<pre>
69 1 Mehdi Abaakouk
cmk -II ttnnlog
70 1 Mehdi Abaakouk
cmk -O
71 1 Mehdi Abaakouk
</pre>
72 1 Mehdi Abaakouk
73 1 Mehdi Abaakouk
74 1 Mehdi Abaakouk
h2. Fichier de configuration de check_mk
75 1 Mehdi Abaakouk
76 1 Mehdi Abaakouk
Les fichiers de configuration sont dans /etc/check_mk/
77 1 Mehdi Abaakouk
Le fichier principal est main.mk, la liste des contacts se trouve dans conf.d/contacts.mk
78 16 Mehdi Abaakouk
Les fichiers conf.d/autogen_*.mk sont générer par le script update_vm_parents_and_update_automap.sh
79 16 Mehdi Abaakouk
Il génère la liste des vm qui ne sont pas pressente dans main.mk avec les dépendances avec leurs nodes du cluster (avec l'api rapi de ganeti)
80 16 Mehdi Abaakouk
Il génère aussi la map automap pour nagvis (/usr/local/nagvis/etc/Automap.cfg
81 16 Mehdi Abaakouk
Il est exécute toutes les 20 minutes
82 1 Mehdi Abaakouk
83 1 Mehdi Abaakouk
h2. Voir le diff entre la conf nagios et la page Architecture du Wiki
84 1 Mehdi Abaakouk
85 1 Mehdi Abaakouk
86 1 Mehdi Abaakouk
<pre>
87 1 Mehdi Abaakouk
/etc/check_mk/diff-nagios-wiki.sh
88 1 Mehdi Abaakouk
</pre>
89 16 Mehdi Abaakouk
Le script contrôle le VLAN admin et le 91.224.149.128/25.
90 16 Mehdi Abaakouk
91 19 Mehdi Abaakouk
92 20 Mehdi Abaakouk
93 20 Mehdi Abaakouk
94 18 Mehdi Abaakouk
h2. Configuration d'un nuc utilisé pour tunnel ADSL
95 16 Mehdi Abaakouk
96 16 Mehdi Abaakouk
Sur le nuc:
97 16 Mehdi Abaakouk
98 16 Mehdi Abaakouk
99 16 Mehdi Abaakouk
<pre>
100 16 Mehdi Abaakouk
$ apt-get install puppet
101 16 Mehdi Abaakouk
$ puppet agent --enable
102 16 Mehdi Abaakouk
$ puppet agent --server puppet.tetaneutral.net --certname=flambere.tunnel --pluginsync -vt
103 16 Mehdi Abaakouk
info: Creating a new SSL certificate request for flambere.tunnel
104 16 Mehdi Abaakouk
info: Certificate Request fingerprint (md5): 3F:E2:E2:14:B3:24:52:51:9D:DE:87:33:E8:2A:BB:7B
105 16 Mehdi Abaakouk
Exiting; no certificate found and waitforcert is disabled
106 16 Mehdi Abaakouk
107 16 Mehdi Abaakouk
</pre>
108 16 Mehdi Abaakouk
109 17 Mehdi Abaakouk
Sur la machine puppet dans le fichier /etc/puppet/manifests/nodes/adsl-tunnel.pp ajouter:
110 16 Mehdi Abaakouk
111 16 Mehdi Abaakouk
<pre>
112 16 Mehdi Abaakouk
node "flambere.tunnel" {
113 16 Mehdi Abaakouk
        $puppet_certname="flambere.tunnel"
114 16 Mehdi Abaakouk
        class{'tsf_nuc':}
115 16 Mehdi Abaakouk
}
116 16 Mehdi Abaakouk
</pre>
117 16 Mehdi Abaakouk
118 16 Mehdi Abaakouk
Puis taper:
119 16 Mehdi Abaakouk
<pre>
120 16 Mehdi Abaakouk
$ puppet ca sign flambere.tunnel
121 16 Mehdi Abaakouk
Notice: Signed certificate request for flambere.tunnel
122 16 Mehdi Abaakouk
Notice: Removing file Puppet::SSL::CertificateRequest flambere.tunnel at '/var/lib/puppet/ssl/ca/requests/flambere.tunnel.pem'
123 16 Mehdi Abaakouk
"-----BEGIN CERTIFICATE-----XXXXXXXXXXXXXXXXX\n-----END CERTIFICATE-----\n"
124 16 Mehdi Abaakouk
</pre>
125 16 Mehdi Abaakouk
126 16 Mehdi Abaakouk
Retourner sur le nuc et faire:
127 16 Mehdi Abaakouk
128 16 Mehdi Abaakouk
<pre>
129 16 Mehdi Abaakouk
$ puppet agent --server puppet.tetaneutral.net --certname=flambere.tunnel --pluginsync -vt
130 16 Mehdi Abaakouk
</pre>
131 16 Mehdi Abaakouk
132 16 Mehdi Abaakouk
133 16 Mehdi Abaakouk
Sur la machine nagios ajouter le host avec son ip:
134 1 Mehdi Abaakouk
135 19 Mehdi Abaakouk
<pre>
136 16 Mehdi Abaakouk
all_host = [
137 16 Mehdi Abaakouk
...
138 16 Mehdi Abaakouk
        "flambere.tunnel|noipv6|noapt|adsltunnel",
139 16 Mehdi Abaakouk
...
140 16 Mehdi Abaakouk
]
141 16 Mehdi Abaakouk
142 1 Mehdi Abaakouk
ipaddresses['flambere.tunnel'] = '10.0.12.2'
143 19 Mehdi Abaakouk
</pre>
144 19 Mehdi Abaakouk
145 19 Mehdi Abaakouk
Puis taper:
146 19 Mehdi Abaakouk
147 19 Mehdi Abaakouk
<pre>
148 19 Mehdi Abaakouk
cmk -II flambere.tunnel && cmk -O
149 19 Mehdi Abaakouk
</pre>
150 6 Mehdi Abaakouk
151 6 Mehdi Abaakouk
h2. Liens vers outils de visualisation des logs
152 6 Mehdi Abaakouk
- http://logstash.net/
153 6 Mehdi Abaakouk
- http://kibana.org/