Projet

Général

Profil

Projet agregation » Historique » Version 50

Laurent GUERBY, 22/01/2012 23:44

1 1 Laurent GUERBY
h1. Projet agregation
2 1 Laurent GUERBY
3 2 Yanick Delarbre
* [[Bibliographie du projet]]
4 18 Yanick Delarbre
* [[L'installation de gitolite]]
5 3 Yanick Delarbre
* http://pad.rhizome-fai.net/U7HSgxYvDM | Le code du tunnel tun réalisé avec python
6 17 Yanick Delarbre
* http://pad.rhizome-fai.net/TS2HBLkTnN | Spécification de l'iperf (de quel manière on détecte la capacité d'un lien de manière opportuniste ? Monitoring ?)
7 1 Laurent GUERBY
8 1 Laurent GUERBY
* http://lists.tetaneutral.net/listinfo/projet-agregation
9 1 Laurent GUERBY
* http://chiliproject.tetaneutral.net/issues/16
10 4 Jocelyn Dealande
11 50 Laurent GUERBY
* MLVPN de ed https://github.com/zehome/MLVPN
12 50 Laurent GUERBY
13 31 Laurent GUERBY
* discussion sur le sujet http://www.spinics.net/lists/lartc/msg21455.html
14 31 Laurent GUERBY
15 22 Laurent GUERBY
h2. Prototype v1
16 22 Laurent GUERBY
17 22 Laurent GUERBY
http://lists.tetaneutral.net/pipermail/projet-agregation/2011-November/000023.html
18 4 Jocelyn Dealande
19 4 Jocelyn Dealande
h2. Test de tunproxy.py
20 4 Jocelyn Dealande
21 4 Jocelyn Dealande
On utilise "tunproxy.py":http://www.secdev.org/projects/tuntap_udp/files/tunproxy.py. Entre 2 machines
22 4 Jocelyn Dealande
* client-adsl (une machine chez nous)
23 4 Jocelyn Dealande
* gateway (la VM)
24 4 Jocelyn Dealande
25 4 Jocelyn Dealande
h3. Sur la gateway (= VM ttn)
26 4 Jocelyn Dealande
27 4 Jocelyn Dealande
Démarrer le tunnel, il crée lui-même une interface _toto0_ (détruite à la sortie).
28 4 Jocelyn Dealande
29 4 Jocelyn Dealande
<pre>
30 4 Jocelyn Dealande
 ./tunproxy.py -s 6000
31 11 Jocelyn Dealande
 ifconfig toto0 10.0.0.1/24 mtu 1468
32 4 Jocelyn Dealande
</pre>
33 1 Laurent GUERBY
34 15 Jocelyn Dealande
La MTU est calculée comme suit : 
35 1 Laurent GUERBY
36 11 Jocelyn Dealande
  MTU de l'iface virtuelle  = MTU  de l'iface physique - taille_max(header IP) - taille(header UDP)
37 15 Jocelyn Dealande
  MTU de l'iface virtuelle = 1500 - 24 - 8
38 11 Jocelyn Dealande
39 17 Yanick Delarbre
http://www.commentcamarche.net/faq/7185-introduction-au-mtu
40 11 Jocelyn Dealande
41 4 Jocelyn Dealande
h3. Sur le client
42 4 Jocelyn Dealande
43 4 Jocelyn Dealande
44 4 Jocelyn Dealande
<pre>
45 4 Jocelyn Dealande
 ./tunproxy.py -c rhizome-fai.tetaneutral.net:6000
46 12 Yanick Delarbre
 ifconfig toto0 10.0.0.2/24 mtu 1468
47 4 Jocelyn Dealande
</pre>
48 4 Jocelyn Dealande
49 4 Jocelyn Dealande
Tout le trafic vers les adresses en 10.0.0.x passera par le tunnel.
50 4 Jocelyn Dealande
51 4 Jocelyn Dealande
* http://lists.tetaneutral.net/listinfo/projet-agregation
52 1 Laurent GUERBY
* http://chiliproject.tetaneutral.net/issues/16
53 1 Laurent GUERBY
54 15 Jocelyn Dealande
Un test de perf sur un téléchargement d'un fichier de 40Mio donne :
55 15 Jocelyn Dealande
56 15 Jocelyn Dealande
* avec tunnel : 909kb/s
57 15 Jocelyn Dealande
* sans tunnel : 942kb/s
58 15 Jocelyn Dealande
59 29 Jocelyn Dealande
h1. Détection de la saturation d'un lien / bufferbloat
60 30 Jocelyn Dealande
61 29 Jocelyn Dealande
Un des points sur lesquels nous nous penchons est la détection de la capacité d'un lien et de son évolution, ceci 1) pour utiliser au mieux des liens de capacité différente et éventuellement changeante.
62 29 Jocelyn Dealande
63 29 Jocelyn Dealande
Tout le challenge est de détecter (passivement) plutôt que de mesurer (activement) la capacité du lien, sans induire de trafic supplémentaire.
64 29 Jocelyn Dealande
65 29 Jocelyn Dealande
Nous avons fait des mesures sur deux liens :
66 29 Jocelyn Dealande
67 29 Jocelyn Dealande
h2. Mesure ADSL Free (Freebox)
68 29 Jocelyn Dealande
69 29 Jocelyn Dealande
Il semble que de la QoS soit appliquée… l'effet de bufferbloat n'est pas vraiment visible : on passe d'un ping de 40 à 70/80ms… (TODO: prendre le temps de collecter des résultats des deux côtés du tunnel un peu plus sérieusement que juste l'impression donnée ceci-dit). Tous les paquets de ping arrivent, même lorsque le lien est saturé.
70 29 Jocelyn Dealande
71 29 Jocelyn Dealande
h2. Lien ADSL (OVH)
72 29 Jocelyn Dealande
73 29 Jocelyn Dealande
L'effet de la saturation se fait clairement ressentir sur le ping : on passe de 70 à plus de 300ms de ping lorsque le lien est saturé.
74 1 Laurent GUERBY
75 30 Jocelyn Dealande
Données du test et graphiques : attachment:saturation_et_ping___uplink_seulement__udp_sctp.ods 
76 30 Jocelyn Dealande
77 1 Laurent GUERBY
h3. Conditions du test :
78 30 Jocelyn Dealande
79 1 Laurent GUERBY
* Tunnel tap basé sur tunproxy.py (cf dépôt git), qui est le seul à utiliser la connexion
80 1 Laurent GUERBY
* Données collectées toutes les secondes, chaque peer enregistre : 
81 30 Jocelyn Dealande
** timestamp
82 30 Jocelyn Dealande
** stats des paquets entrants
83 30 Jocelyn Dealande
** ping
84 29 Jocelyn Dealande
* On teste la connection au repos en la saturant par moments avec iperf
85 30 Jocelyn Dealande
** en UDP : en metant l'option -b à une valeur supérieure à la capacité d'uplink 
86 30 Jocelyn Dealande
** en TCP
87 1 Laurent GUERBY
* Les données des 2 peers sont fusionnées à posteriori (script merge_tunproxy_csv.py) en fonction des timestamp.
88 30 Jocelyn Dealande
* Les données sont graphées sur un tableur (ouais je sais, beurk ;-) ).
89 29 Jocelyn Dealande
90 29 Jocelyn Dealande
Le comptage du volume sortant n'est pas pertinent puisque la moitié des paquets peuvent-être dropés en route…
91 29 Jocelyn Dealande
92 29 Jocelyn Dealande
93 29 Jocelyn Dealande
h3. Analyse des résultats
94 30 Jocelyn Dealande
95 29 Jocelyn Dealande
(voir document joint)
96 29 Jocelyn Dealande
* On note systématiquement une corrélation forte entre lien saturé et augmentation du ping. Que le lien soit saturé en UDP ou TCP.
97 29 Jocelyn Dealande
* En UDP, on peut saturer le lien complètement. Il en résulte qu'une part des pings se perd -> Prendre non seulement en compte le RTT mais également le taux de pings perdus.
98 29 Jocelyn Dealande
* En TCP, on observe aussi une montée du ping significative, mais jamais de pings perdus. On constate d'ailleurs que TCP se rend compte qu'il sature le lien et divise sa fenêtre (trou dans le graphe).
99 29 Jocelyn Dealande
* -> Quid de la réalité de la saturation d'un lien par rapport à ces deux exemples simples ?
100 11 Jocelyn Dealande
101 11 Jocelyn Dealande
102 32 Jocelyn Dealande
h2. Demi-délai
103 32 Jocelyn Dealande
104 32 Jocelyn Dealande
Nous pouvons donc corréler une saturation du lien (qu'elle soit effectuée par un protocole qui gère la congestion ou non) avec une augmentation du ping. Reste un autre problème, nous voulons détecter dans quel sens a lieu la saturation. Or un ping nous donne le temps d'aller retour (RTT, Round-Trip-time). Il n'est en outre pas possible de mesure la durée absolue d'une trame entre deux sites, les horloges n'étant pas synchronisées. Deux approches sont envisagées
105 32 Jocelyn Dealande
106 32 Jocelyn Dealande
107 32 Jocelyn Dealande
h3. Synchronisation par NTP
108 32 Jocelyn Dealande
109 32 Jocelyn Dealande
NTP est un protocole permetant de synchroniser via le réseau les horloges de machines distantes. Si NTP fournit une précision suffisante, il serait intéressant pour pouvoir effectuer des demi-ping : 
110 32 Jocelyn Dealande
111 32 Jocelyn Dealande
*  On maintient les horloges synchronisées grace à NTP entre machine 1 et machine 2
112 32 Jocelyn Dealande
*  Machine1 envoie un paquet à machine2 contenant un timestamp
113 32 Jocelyn Dealande
*  Machine 2 peut connaître le temps de trajet machine1->machine2 en comparant ce timestamp avec sa propre horloge.
114 32 Jocelyn Dealande
115 32 Jocelyn Dealande
On mesure des ping entre 20 et 100ms en général, soit des demi-ping entre 10 et 50ms. Or, les études sur NTP (ex: http://www.eecis.udel.edu/~mills/database/brief/perf/perf.pdf) montrent qu'à travers un réseau WAN (ex: l'ADSL que nous utilisons), l'erreur de NTP est autour de *10ms*. Soit une erreur relative entre 10% et 50%, ce qui n'est pas acceptable. La seule solution viable, selon l'étude mentionnée, pour synchroniser réellement des équipements serait d'avoir une source GPS qui permet d'avoir une erreur en-dessous de la milliseconde. Cela nécessite de l'équipement supplémentaire et n'est souhaitable.
116 32 Jocelyn Dealande
117 32 Jocelyn Dealande
Voir aussi http://www.frameip.com/ntp/
118 32 Jocelyn Dealande
119 32 Jocelyn Dealande
h3. Par évolution du délai relatif
120 32 Jocelyn Dealande
121 32 Jocelyn Dealande
Une autre approche discutée est de mesurer non pas le délai absolu mais la variation de celui-ci.
122 32 Jocelyn Dealande
On mesure timestamp_envoi_site1 - timestamp_reception_site2 pour chaque paquet, la valeur absolue n'a aucun sens (on utilise deux horloges différentes).
123 32 Jocelyn Dealande
124 32 Jocelyn Dealande
Un autre problème est alors la dérive relative des horloges des deux machines qu'il ne faut pas négliger (exemple donné dans l'article sur UTP de 17ms de dérive en 10 minutes)
125 32 Jocelyn Dealande
126 32 Jocelyn Dealande
Cette idée est d'ailleurs reprise dans le protocole UTP de bittorrent : http://www.rasterbar.com/products/libtorrent/utp.html
127 32 Jocelyn Dealande
128 33 Jocelyn Dealande
Un outil faisant ce type de mesure a été implémenté dans le dépôt : _delta_half_trip_time.py_ 
129 33 Jocelyn Dealande
130 33 Jocelyn Dealande
Côté serveur :
131 33 Jocelyn Dealande
132 33 Jocelyn Dealande
    ./delta_half_trip_time.py -s 2244
133 33 Jocelyn Dealande
134 33 Jocelyn Dealande
Côté client:
135 33 Jocelyn Dealande
136 33 Jocelyn Dealande
    ./delta_half_trip_time.py -s <ip_serv>:2244
137 33 Jocelyn Dealande
138 33 Jocelyn Dealande
Le script mesure en permanence les délais toutes les secondes. Il ne prend pas en compte la dérive d'horloge pour l'heure. La sortie est du CSV contenant les délais dans les deux sens (de chaque côté). Le format est :
139 33 Jocelyn Dealande
140 34 Jocelyn Dealande
    pkt_type,sequence number,delay
141 33 Jocelyn Dealande
142 33 Jocelyn Dealande
_pkt_type_ vaut *'t'* (comme _timer_) pour les mesures entrantes (download) et *'d'* (comme _delay_) pour les réponses aux paquets sortants (upload).
143 33 Jocelyn Dealande
144 33 Jocelyn Dealande
h4. mesures
145 33 Jocelyn Dealande
146 44 Jocelyn Dealande
Résultats : attachment:one-way_delay.ods
147 1 Laurent GUERBY
148 44 Jocelyn Dealande
h5. Saturation TCP (iperf) dans un sens puis dans l'autre
149 1 Laurent GUERBY
Note sur ces mesures (iperf TCP) : correspond peut-être au cas le plus difficile à détecter (une unique connection TCP qui sature le lien) étant donné que le backoff de TCP va essayer d'éviter de saturer le lien en permanence.
150 44 Jocelyn Dealande
151 44 Jocelyn Dealande
h5. Saturation UDP progressive
152 44 Jocelyn Dealande
153 44 Jocelyn Dealande
Ces mesures sont effectuées à l'aide de load_uplink.py (dans le git)
154 44 Jocelyn Dealande
155 44 Jocelyn Dealande
Pour charger l'upload d'une connecxion qui monte en pratique à ~109kB/s (résultat iperf TCP).
156 44 Jocelyn Dealande
On passe par paliers de 10kB/s de 0 à 120kB/s (5s par palier) :
157 44 Jocelyn Dealande
158 44 Jocelyn Dealande
    python load_uplink.py 91.224.149.199 10 5 120
159 44 Jocelyn Dealande
160 44 Jocelyn Dealande
Par ailleurs, on observe à l'aide de delta_half_trip_time.py l'évolution du ping (cf document de résultats).
161 44 Jocelyn Dealande
162 44 Jocelyn Dealande
On observe qu'il n'y a pas de saturation progressive. Ou le lien est saturé et en quelques secondes, le delay s'envole, ou il ne l'est pas et le ping reste stable.
163 44 Jocelyn Dealande
164 44 Jocelyn Dealande
165 44 Jocelyn Dealande
Plusieurs tests ont été réalisés, l'idée étant de trouver la formule qui à partir des n derniers delays et du delai minimum est capable de dire si oui ou non on a saturation.
166 44 Jocelyn Dealande
167 44 Jocelyn Dealande
168 44 Jocelyn Dealande
On arrive à une première solution, elle ne fait pas de faux positifs mais peine à détecter les saturations < 10 secondes.
169 44 Jocelyn Dealande
170 44 Jocelyn Dealande
   Soit "l_derniers" les 6 derniers échantillons de délai
171 44 Jocelyn Dealande
   Si max(l_derniers) > TRIGGER et 4 échantillons de l_derniers au moins sont supérieurs à 1/3*max(l_derniers), alors SATURATION
172 44 Jocelyn Dealande
173 45 Jocelyn Dealande
h5. Mesure d'un scénario d'usage
174 33 Jocelyn Dealande
175 45 Jocelyn Dealande
Le but est ici de mesurer un scénario d'usage « classique » de la connexion, en upload et download pour voir si une formule nous permet de détecter les pics.
176 45 Jocelyn Dealande
(cf sat. usage normaux dans le document attaché).
177 45 Jocelyn Dealande
178 45 Jocelyn Dealande
Le scénario est le suivant : 
179 45 Jocelyn Dealande
180 45 Jocelyn Dealande
* vidéo en 1080p sur youtube (téléchargement par sacade « à la youtube »)
181 45 Jocelyn Dealande
* scp d'un fichier vers un serveur (3MiO)
182 45 Jocelyn Dealande
* scp d'un fichier depuis un serveur (3MiO)
183 45 Jocelyn Dealande
184 45 Jocelyn Dealande
h6. Observations
185 45 Jocelyn Dealande
On observe que, particulièrement en download, il n'est pas possible de détecter les saturations courtes. Ne saturant pas les buffers du modem-routeur, elles ne font pas grimper le délai. (cf SCP en up). On doit ceci-dit être proche de la limite avec notre transfert de 3Mio car sur les deux essais, il y a une fois ou on a une réponse en augmentation de délai et une fois sans.
186 45 Jocelyn Dealande
187 45 Jocelyn Dealande
Il est curieux de noter que les saturation en download entrainent également une augmentation du délai en upload. Nous n'avons jamais observé ça jusqu'alors… Je n'en comprend pas le sens -> à éclaircir/reproduire.
188 45 Jocelyn Dealande
189 36 Jocelyn Dealande
h4. dérive
190 36 Jocelyn Dealande
191 36 Jocelyn Dealande
Le fichier attachment:one-way_delay.ods présente également une mesure de la dérive sur 40 minutes entre 2 machines. L'enjeu est de savoir si il est nécessaire de mettre en place un mécanisme pour détecter et prendre en compte la dérive des horloges qui rendraient la comparaison de deux délais relatifs peu pertinents si elle était trop importante.
192 36 Jocelyn Dealande
193 36 Jocelyn Dealande
Bien que l'expérience ne porte que sur un cas et ne fasse pas loi, elle nous expose une dérive de 0.5ms sur 40 minutes d'observation (dérive relative de ~1.4%). Ne souhaitant garder pour nos mesures de capacité de lien qu'une fenêtre glissante que de quelques minutes ou dizaines de minutes tout au plus, il n'apparaît pas nécessaire de prendre en compte cette dérive.
194 33 Jocelyn Dealande
195 33 Jocelyn Dealande
196 11 Jocelyn Dealande
h1. Petits points techniques…
197 11 Jocelyn Dealande
198 20 Jocelyn Dealande
h2. Que mesure iperf et comment (en UDP) ?
199 1 Laurent GUERBY
200 16 Jocelyn Dealande
Iperf mesure le débit du client vers le serveur (dans un seul sens). En UDP, il envoie à une vitesse nominale (par défait 1M). Le résultat donné par le client n'est pas une mesure mais correspond à cette vitesse nominale. *Seul le _server repport_ correspond à la "vraie" mesure.*
201 17 Yanick Delarbre
202 17 Yanick Delarbre
La saturation d'un lien générant des pertes, pour mesurer les pertes liées à la qualité du lien (et non à sa capacité), il faut demander au client d'émettre un peu en-dessous de la vitesse à laquelle peut recevoir le serveur.
203 17 Yanick Delarbre
204 17 Yanick Delarbre
h2. Quelques outils réseaux bien pratique
205 17 Yanick Delarbre
206 17 Yanick Delarbre
* tcpdump | http://openmaniak.com/fr/tcpdump.php
207 17 Yanick Delarbre
<pre bash>
208 17 Yanick Delarbre
tcpdump -D #Interfaces réseaux disponibles pour la capture
209 17 Yanick Delarbre
tcpdump port 80 -i eth0 -w capture.log #Enregistre le trafic Web vers le fichier capture.log pouvant être ouvert avec Wireshark
210 17 Yanick Delarbre
tcpdump icmp #Affiche tout le trafic associé au protocole icmp
211 17 Yanick Delarbre
</pre>
212 17 Yanick Delarbre
* ping | http://www.bortzmeyer.org/ping-taille-compte.html
213 17 Yanick Delarbre
** Permet de tester un problème de MTU grâce à l'option -s de ping permettant de fixer une taille de paquet
214 17 Yanick Delarbre
* hping3
215 17 Yanick Delarbre
<pre bash>
216 5 Jocelyn Dealande
hping --syn -p 80 --data 1200 10.0.0.1 #Envoie de paquet tcp syn sur le port 80 de taille 1200
217 15 Jocelyn Dealande
</pre>
218 21 Jocelyn Dealande
219 21 Jocelyn Dealande
220 23 Jocelyn Dealande
*tracepath* pour découvrir le PMTU
221 23 Jocelyn Dealande
222 42 Yanick Delarbre
h1. multi.py
223 40 Yanick Delarbre
224 40 Yanick Delarbre
peer_: Liste des sockets du clients basés sur ses interfaces physiques
225 40 Yanick Delarbre
peer_d: sous forme de dictionnaire
226 40 Yanick Delarbre
peer_l: sous forme de liste
227 40 Yanick Delarbre
228 40 Yanick Delarbre
La structure:
229 40 Yanick Delarbre
Liste < . . . > Dictionnaire
230 40 Yanick Delarbre
0->A  < . . . > <A,None>
231 40 Yanick Delarbre
1->B  < . . . > <B,None>
232 40 Yanick Delarbre
2->C  < . . . > <C,None>
233 40 Yanick Delarbre
234 41 Yanick Delarbre
!http://chiliproject.tetaneutral.net/attachments/23/schema_multy.png!
235 40 Yanick Delarbre
236 48 Jocelyn Dealande
237 48 Jocelyn Dealande
h2. Routage
238 48 Jocelyn Dealande
239 48 Jocelyn Dealande
Pour qu'un script comme multi.py fonctionne, il faut faire du routage selon la source.
240 48 Jocelyn Dealande
241 49 Jocelyn Dealande
* http://www.inetdoc.net/guides/lartc/lartc.iproute2.html
242 49 Jocelyn Dealande
* http://www.rjsystems.nl/en/2100-adv-routing.php
243 49 Jocelyn Dealande
* man ip
244 49 Jocelyn Dealande
245 48 Jocelyn Dealande
En effet, il n'y a qu'une IP de serveur, mais N IPs de client. Or, les décisions de routage d'une table gérée avec la commande route sont de la forme suivante (simplifié):
246 48 Jocelyn Dealande
247 48 Jocelyn Dealande
    <Destination> <passerelle> <interface>
248 48 Jocelyn Dealande
249 48 Jocelyn Dealande
Le routage est fait seulement en fonction de la destination.
250 48 Jocelyn Dealande
251 48 Jocelyn Dealande
On utilise donc l'outil _ip route_. Quelques exemples.
252 48 Jocelyn Dealande
Montrer la table de routage:
253 48 Jocelyn Dealande
    
254 48 Jocelyn Dealande
    ip route show
255 48 Jocelyn Dealande
256 48 Jocelyn Dealande
Montrer la route pour une IP source et dest données :
257 48 Jocelyn Dealande
258 48 Jocelyn Dealande
    ip route get 0.0.0.0 from 192.168.1.71
259 48 Jocelyn Dealande
260 48 Jocelyn Dealande
261 48 Jocelyn Dealande
262 48 Jocelyn Dealande
Initialement, on a deux interfaces (eth0 et wlan0) avec une passerelle vers internet sur chaque (2 lignes ADSL), on est NATé sur les deux. Mais une seule est déclarée comme route par défaut.
263 48 Jocelyn Dealande
264 48 Jocelyn Dealande
<pre>
265 48 Jocelyn Dealande
jocelyn@sensitive:~$ ip route get 8.8.8.8 from 192.168.2.33
266 48 Jocelyn Dealande
8.8.8.8 from 192.168.2.33 via 192.168.1.254 dev wlan0 
267 48 Jocelyn Dealande
    cache 
268 48 Jocelyn Dealande
jocelyn@sensitive:~$ ip route get 8.8.8.8 from 192.168.1.71
269 48 Jocelyn Dealande
8.8.8.8 from 192.168.1.71 via 192.168.1.254 dev wlan0 
270 48 Jocelyn Dealande
    cache 
271 48 Jocelyn Dealande
272 48 Jocelyn Dealande
</pre>
273 48 Jocelyn Dealande
274 48 Jocelyn Dealande
Par défaut, on n'a que la table « main » et « default ».  (on peut voir les tables avec _ip rule_).
275 48 Jocelyn Dealande
Nos deux ip locales sont 192.168.1.71 (wlan0) et 192.168.2.33 (eth0)
276 48 Jocelyn Dealande
On y ajoute notre table : fdn_rhizome avec nos règles :
277 48 Jocelyn Dealande
278 48 Jocelyn Dealande
    # Ajout d'une nouvelle table
279 48 Jocelyn Dealande
    echo "1000 rhizome_fdn" >> /etc/iproute2/rt_tables
280 48 Jocelyn Dealande
    # et sa route par défaut
281 48 Jocelyn Dealande
    ip route add default via 192.168.2.1 dev eth0 table rhizome_fdn
282 48 Jocelyn Dealande
    # On dit au système de ne regarder notre table que pour les requêtes venant de 192.168.2.33
283 48 Jocelyn Dealande
    ip rule add from 192.168.2.33 lookup rhizome_fdn prio 1000
284 48 Jocelyn Dealande
285 48 Jocelyn Dealande
On vérifie qu'on passe par une interface différente en fonction de l'IP source : 
286 48 Jocelyn Dealande
287 48 Jocelyn Dealande
    jocelyn@sensitive:~$ ip route get 8.8.8.8 from 192.168.2.33
288 48 Jocelyn Dealande
    8.8.8.8 from 192.168.2.33 via 192.168.2.1 dev eth0
289 48 Jocelyn Dealande
    8.8.8.8 from 192.168.1.71 via 192.168.1.254 dev wlan0
290 48 Jocelyn Dealande
 
291 48 Jocelyn Dealande
292 48 Jocelyn Dealande
293 1 Laurent GUERBY
h1. Journal (à partir du 28 oct)
294 1 Laurent GUERBY
295 1 Laurent GUERBY
Activités du projet de Yanick & Jocelyn (TX) 
296 49 Jocelyn Dealande
297 49 Jocelyn Dealande
h2. 22 Janvier
298 49 Jocelyn Dealande
299 49 Jocelyn Dealande
* Configuration du routage avec IProute2
300 49 Jocelyn Dealande
301 45 Jocelyn Dealande
302 45 Jocelyn Dealande
h2. 16 Janvier
303 45 Jocelyn Dealande
304 45 Jocelyn Dealande
* Détection de saturation
305 45 Jocelyn Dealande
** Le tableur détecte à la fois les saturations en upload et download
306 45 Jocelyn Dealande
** Le tableur prend maintenant des paramètres au lieu de valeurs en dur pour ajuster la formule…
307 45 Jocelyn Dealande
** Bugfixé le script qui nettoie les CSV.
308 45 Jocelyn Dealande
TODO: reproduire et vérifier l'histoire de délais dans les 2 sens, appliquer le tableau paramétré détectant l'UP et down aux mesures précédentes
309 1 Laurent GUERBY
310 1 Laurent GUERBY
h2. 8 janvier.
311 1 Laurent GUERBY
312 43 Jocelyn Dealande
* Détection de saturation:
313 43 Jocelyn Dealande
** Évolution de delta_half_trip_time.py pour enregistrer un historique des délais (dans les 2 sens)
314 43 Jocelyn Dealande
** Ajout d'une détection de saturation (… Mais à améliorer, trop de faux positifs)
315 43 Jocelyn Dealande
** Création de l'outil de test load_uplink.py pour charger progressivement un lien jusqu'à la saturation et pouvoir ainsi observer le comportement du ping.
316 37 Yanick Delarbre
* Compréhension du script multy.py de Laurent Guerby
317 43 Jocelyn Dealande
** Commentaire du script multy.py
318 37 Yanick Delarbre
** Schéma graphique du fonctionnement de multy.py
319 43 Jocelyn Dealande
320 37 Yanick Delarbre
321 38 Yanick Delarbre
h2. 28/29 déc.
322 33 Jocelyn Dealande
323 33 Jocelyn Dealande
* Détection de saturation : nouvel outil pour mesurer les délais dans un sens
324 33 Jocelyn Dealande
** Création de l'outil, qui fonctionne de manière bidirectionelle et rapporte les informations aux deux pairs
325 33 Jocelyn Dealande
** Première mesure rapide sur un iperf en TCP, dans un sens puis dans l'autre, simplement pour valider la détection.
326 29 Jocelyn Dealande
327 29 Jocelyn Dealande
h2. 5 déc.
328 30 Jocelyn Dealande
329 29 Jocelyn Dealande
* Détection de saturation :
330 29 Jocelyn Dealande
* Output CSV en direct vers le fichier plutôt que statiquement au bout de 3 minutes…
331 29 Jocelyn Dealande
* Écriture d'un outil de script de logs CSV
332 1 Laurent GUERBY
* Collecte de mesures sur l'effet sur le ping de la saturation d'un lien en UDP et TCP
333 24 Yanick Delarbre
* Analyse basique des résultats
334 25 Yanick Delarbre
335 24 Yanick Delarbre
h2. 27 nov.
336 24 Yanick Delarbre
337 24 Yanick Delarbre
* Lecture et utilisation de linkagreg (outil d'agrégation de Fernando)
338 24 Yanick Delarbre
* Faire fonctionner linkagreg sur une architecture 64bits
339 27 Yanick Delarbre
* Faire fonctionner linkagreg avec une connection sur le client //Fonctionnel
340 27 Yanick Delarbre
* Faire fonctionner linkagre avec n connection sur le client //Non fonctionnel
341 27 Yanick Delarbre
** Test avec une connection filaire et WiFi //Non fonctionnel car perte (important) de paquet sur le lien WiFi
342 23 Jocelyn Dealande
** Test avec des connections virtuelles //Non fonctionnel car QoS inapplicable sur des interfaces virtuelles
343 28 Jocelyn Dealande
** Test avec deux interfaces physiques //Non fonctionnel car QoS déficiente
344 28 Jocelyn Dealande
345 28 Jocelyn Dealande
* Ajout de la collecte de données sur les temps de réponse (ping) périodiquement.
346 28 Jocelyn Dealande
* Export des données en CSV (pour exploitation/graphe… etc.)
347 28 Jocelyn Dealande
* Premier jeu de mesure (mauvais) sur une ligne adsl.
348 19 Jocelyn Dealande
* 
349 19 Jocelyn Dealande
350 19 Jocelyn Dealande
h2. 11 nov.
351 19 Jocelyn Dealande
352 19 Jocelyn Dealande
* Debuggage du problème de MTU (c'est honteux mais c'est bêtement la taille des buffers qui n'était pas assez grande dans le programme. Notamment dû aux pseudo en-têtes, cf plus bas).
353 19 Jocelyn Dealande
* Configuration auto des adresses IP de chaque côté du tunnel (plus besoin d'ifconfig à la main)
354 19 Jocelyn Dealande
* Ajout sur tunproxy.py de compteurs de débit 
355 19 Jocelyn Dealande
  * mémorise le traffic sur les x dernières tranches de n secondes (défaut 10 tranches de 1 seconde)
356 19 Jocelyn Dealande
  * Affiche les moyennes et les max.
357 19 Jocelyn Dealande
* Compréhension de ce qui passe dans TUN : bien qu'étant un tunnel de niveau 3, il y a une pseudo-en-tête de L2, cf "doc officielle":http://www.mjmwired.net/kernel/Documentation/networking/tuntap.txt#102 (merci Laurent!)
358 19 Jocelyn Dealande
* discussion avec Laurent sur les intérêts de faire un tunnel L2 (qui rajoute pourtant l'overhead de l'en-tête L2), en bref :
359 19 Jocelyn Dealande
  * évite de gérer les soucis spécifiques du niveau IP
360 1 Laurent GUERBY
  * TUN ne supporte pas IPV6 par exemple …
361 23 Jocelyn Dealande
362 23 Jocelyn Dealande
363 23 Jocelyn Dealande
h2. 5 nov.
364 35 Jocelyn Dealande
365 23 Jocelyn Dealande
* Mise en place d'un dépôt git (gitolite) pour partager du code avec Fernando Alves de Sames Wireless : 
366 23 Jocelyn Dealande
367 23 Jocelyn Dealande
    # Dépot public  : (lecture-seule)
368 1 Laurent GUERBY
    git clone git://rhizome-fai.tetaneutral.net/agregation.git
369 6 Jocelyn Dealande
370 23 Jocelyn Dealande
h2.  28 oct. 
371 5 Jocelyn Dealande
372 8 Jocelyn Dealande
* Initiation python (découverte pour Yanick) 
373 15 Jocelyn Dealande
* Commentaire intégral du tunproxy.py et premiers tests de ce dernier
374 5 Jocelyn Dealande
** ping ok (+1ms)
375 5 Jocelyn Dealande
** iperf à travers le tunnel : BP ~= celle de l'uplink ADSL. Le dernier datagrame ne reçoit pas d'ACK
376 5 Jocelyn Dealande
377 5 Jocelyn Dealande
<pre>
378 5 Jocelyn Dealande
[  3] local 10.0.0.2 port 50191 connected with 10.0.0.1 port 5001                        
379 5 Jocelyn Dealande
[ ID] Interval       Transfer     Bandwidth                                              
380 5 Jocelyn Dealande
[  3]  0.0-10.0 sec  1.25 MBytes  1.05 Mbits/sec                                         
381 5 Jocelyn Dealande
[  3] Sent 893 datagrams                                                                 
382 13 Yanick Delarbre
[  3] WARNING: did not receive ack of last datagram after 10 tries.
383 13 Yanick Delarbre
</pre>
384 13 Yanick Delarbre
385 13 Yanick Delarbre
h2. 2 novembre
386 13 Yanick Delarbre
387 13 Yanick Delarbre
* Modification de la MTU pour éviter la fragmentation de paquet
388 13 Yanick Delarbre
389 13 Yanick Delarbre
h1. Fonctionnalité
390 1 Laurent GUERBY
391 1 Laurent GUERBY
* Ajouter plusieurs sockets sur le tunnel pour éviter le traffic shaping de la part d'un opérateur
392 46 Yanick Delarbre
393 46 Yanick Delarbre
h1. Annexes
394 46 Yanick Delarbre
395 46 Yanick Delarbre
h2. Rappel de base de python
396 47 Yanick Delarbre
397 46 Yanick Delarbre
<pre>
398 46 Yanick Delarbre
@classmethod: Decorater python: la méthode s'applique à la définition de la classe. Il s'agit d'une méthode statique.
399 46 Yanick Delarbre
#cls: La classe Python et non l'objet instancié: tous les objets instanciés sont modifiés, il s'agit d'un attribut statique.
400 46 Yanick Delarbre
#self: L'objet instancié, équivalent du this.
401 46 Yanick Delarbre
</pre>