IOT by Tetaneutral » Historique » Version 33
Version 32 (julien Bresciani, 13/01/2022 17:53) → Version 33/34 (julien Bresciani, 13/01/2022 18:12)
h1. IOT by Tetaneutral
h1. contexte
Courant 2021 nous avons lancé un mini projet baptisé le "frigo challenge", ce projet a pour but initial de collecter les données de consommations de frigos de différents participants, ce afin de pouvoir avoir un comparatif réel de différents appareils , le frigo a été choisi car c est un appareil dont sa consommation peut varier de 1 a 5 par rapport a ses performances initiales en fonction de son état. l’intérêt étant aussi de démontrer que faire tourner des frigos peu efficaces est extrêmement énergivore.
Forts de cette mini expérience, nous entendons proposer aux adhérents de Tetaneutral une infrastructure technique soutenue de bout en bout par du logiciel libre afin de pouvoir publier et utiliser les données de divers capteurs "IOT".
Nous documenterons donc dans cette section l architecture et les différentes manipulations pour connecter, gérer et exploiter différents objets de différentes manières.
h1. Le serveur iot.tetaneutral.net
h2. architecture :
Le serveur regroupe un ensemble de logiciels permettant
* de collecter les données publiées par exemple via le bus logiciel MQTT : usage de mosquitto
* de pré-formater, transformer, convertir les données provenant de différents formats : usage de nodered
* de stocker les données sur une base de donnée orientée "time series" : usage de influxdb
* d'afficher et creer des graphiques afin d exploiter les données publiées par les objets : usage de grafana
h1. Les objets connectables.
Les objets connectés sont autant de nouvelles menottes numériques par le fait que l'on ne connaît pas leur comportement , que l'on ne sait pas qui utilise nos données et à quelles fins. l’objectif au niveau des objets connectes est de n'inciter qu'a l usage d objets dont on maîtrise un minimum le comportement.
à cette fin nous documenterons et encouragerons l'usage de logiciel libre destiné a être flashé sur les objets connectés.
les deux projets majeurs sur lesquels nous nous pencherons pour les objets connectables en wifi sont TASMOTA et ESPHOME
Ces deux projets supportent les matériels intégrant les puces ESP8266 esp32 et tous leurs dérivés.
Une liste non exhaustive du matériel commercialement vendu et flashable est tenue a jour par un mainteneur de TASMOTA via https://templates.blakadder.com/
Nous nous attacherons particulièrement aux prises connectée possédant un relais + la mesure de consommation mais la liste des appareils flashable avec tasmota ou esphome est tres longue (interrupteurs, capteurs de mouvement, vannes d arrosages, pilotes de ventilateurs de plafond , doubles relais pouvant faire des volets roulants. etc etc).
Le matériel recommandé est du plus facile au moins facile :
les prise NOUS préflashées avec tasmota : https://www.amazon.de/gp/product/B0054PSIPA?tag=tasmotatempla-21
les prises athom préflashées avec tasmota (form factor moins interressant) : https://fr.aliexpress.com/item/4001230982267.html
les prises gosund sp111 si vous en trouvez encore
éviter les prises gosund EP2 car elles sont non demontables facilement (collées)
toutes prises avec monitoring de conso que vous trouverez sur https://templates.blakadder.com/
h2. architecture de la connexion
Nous nous orientons vers deux principes de connexion pour les objets :
h3. le bridge MQTT
* une connexion via un serveur MQTT installé localement sur votre routeur Tetaneutral ou sur une machine que vous possédez , le serveur MQTT servant de relais (BRIDGE) entre votre environnement local et le serveur IOT.tetaneutral.net ce setup a l'avantage de laisser un choix d usages plus important localement (interactions possibles avec un serveur de domotique ), il demande plus de savoir faire technique.
!iotbridgettnn.png!
h3. connexion directe de l'objet
* une connexion sécurisée directe de l'objet au serveur iot.tetaneutral.net : cette méthode, plus simple est à préférer si vous avez peu de compétences technique ou pas de machine capable de faire fonctionner un serveur mqtt.
!iotdirectsslttnn.png!
h2. setup avec tasmota + bridge MQTT sur routeur tetaneutral
h3. flasher tasmota sur l appareil connecté
lorsque l'on utilise ce setup, la version standard de tasmota suffit , si votre appareil a déjà été flashé avec tasmota et que vous voulez le mettre à jour, suivre les instructions ici : https://tasmota.github.io/docs/Upgrading/#upgrade-using-webui
pour flasher un appareil qui n'a pas encore le firmware tasmota, la méthode universelle est le flashage avec un adaptateur USB série avec des niveaux de tension de 3.3V
attention, ne jamais connecter de port serie sur un appareil alimenté par le 220V comme une prise connectée, c est la destruction de votre pc assurée et danger d’électrocution, lors du flashage, l objet doit etre alimenté par le convertisseur usb serie.
cette methode necessite de localiser sur la carte de l'appareil les broches TX RX VCC GND et GPIO0
pour pouvoir mettre l appareil dans le mode ou il accepte d etre flashé, il faut alimenter VCC pendant que GPIO0 est relié à GND , l'esp8266 passe alors en mode bootloader et acceptera de recevoir un nouveau firmware.
la méthode la plus simple est d utiliser tasmotizer (seulement pour les appareils a base d esp8266 ou 8285 la majorité des appareils) : https://github.com/tasmota/tasmotizer
pour les appareils équipés de puces ESP32, se référer à : https://tasmota.github.io/docs/ESP32/#flashing
h3. premier démarrage
A compléter
h3. parametrer les capteurs et relais de l'appareil
Chaque appareil connecté comporte différents capteurs (mesure de courant, de température, baromètre, hygromètre etc etc) et actionneurs (relais, moteurs, gradateurs etc)
Tasmota permet d associer chaque broche du microcontrôleur à une fonction ou un périphérique, il n'est pas toujours aisé de les connaître ou de les reconnaître, c est pourquoi les créateurs de tasmota ont mis en place un concept de template ainsi qu'une base de connaissance répertoriant le hardware connu pour embarquer un esp8266 ou un esp32 : https://templates.blakadder.com/
prenons par exemple la prise Athom 16 amps , nous la trouvons a cette adresse : https://templates.blakadder.com/athom_PG01EU16A.html
le site nous indique son template : {"NAME":"Athom Power Monitoring Plug","GPIO":[0,0,0,32,2720,2656,0,0,2624,544,224,0,0,1],"FLAG":0,"BASE":18}
chaque numéro correspond au code de périphérique attaché a chaque broche du microcontrôleur e.g : sur la broche 3 est présent le device code 32 ce qui correspond au bouton 1. (la liste des périphériques et de leur identifieur est disponible ici pour info : https://tasmota.github.io/docs/GPIO-Conversion/#gpio-conversion
il est donc bien pratique de ne pas avoir a faire la configuration soi meme mais d avoir une base de données répertoriant le matériel et ses caractéristiques.
pour appliquer un template a votre appareil, rendez vous sur l'interface web de votre appareil , dans le menu configuration > configure other
!apply_template.png!
coller le template que vous avez récupéré sur la base de templates dans la case template, cocher la case activate et cliquer sur save, le microcontrôleur va redémarrer, quelques secondes après, revenez dans le menu principal , vous constaterez que les données des capteurs que vous avez configuré sont maintenant disponibles.
ci dessous la vue d une prise connectée, on voit le bouton toggle qui sert a faire basculer l'etat du relais , ainsi que toutes les informations de consommation de la prise.
!menu_principal_tasmota_prise.png!
h3. configurer mqtt :
installer mosquitto avec support ssl sur le routeur tetaneutral :
* en accedant au routeur via ssh :
<pre><code class="c">
opkg install mosquitto-ssl
</code></pre>
* via l interface web dans l onglet system > software
>rafraichir la liste des paquets avec en editant le bouton "update-lists" , rechercher ensuite mosquitto-ssl
>!opkg_web_interface.png!
>il vous faut connaitre le nom ou l'adresse ip fichier de votre serveur mqtt
* editer de configuration de mosquitto pour creer un bridge qui se connectera de maniere chiffrée au serveur iot.tetaneutral.net
>en local vous utilisez mqtt sans chiffrement donc le port utilisé sera 1883
<pre><code class="c">
listener 1883
allow_anonymous true
connection tetaneutral
cleansession true
try_private false
address iot.tetaneutral.net:8883
topic tele/# out 0 "" MonNomIci/
bridge_cafile ca.crt
# log_dest file /var/log/mosquitto.log
log_type all
#remote_clientid un_nom_au_hasard
</code></pre>
la configuration implique de récupérer récuperer le certificat (ca.crt) , pour le moment il est disponible sur demande sur le chat matrix de tetaneutral
il faut ensuite copier le fichier ca.crt dans le repertoire /etc/mosquitto/ via scp
h3. mqtt : paramétrer
* via l objet connecté
interface web dans le menu configuration l onglet system > configure mqtt software
dans >rafraichir la case host mettre l'adresse du serveur local mqtt laisser la sace port a la valeur 1883
dans la case topic mettre liste des paquets avec le nom de la prise ou bien par exemple le nom de l'appareil qui sera connecté derriere cette prise. ce nom consituera la racine de l'arborescence pour cet objet dans l'arbre MQTT bouton "update-lists" , rechercher ensuite mosquitto-ssl
le reste de la configuration de cette page peut rester par defaut.
!config_mqtt_tasmota.png!
dans le menu configuration > configure other >!opkg_web_interface.png!
mettre une fois de plus >il vous faut connaitre le nom ou l'adresse ip de l'objet connecté dans le champ "device name" (cette fois ci c est le nom qui apparaitra dans la payload transportée par votre serveur mqtt , e.g si
en local vous utilisez home assistant ou autre, c est mqtt sans chiffrement donc le nom de l'appareil qui apparaîtra dans home assistant)
dans le champ friendly name vous pouvez identifier plus precisement l'equipement, par exemple sur un module a 4 relais , vous auriez ici 4 champs "friendly name1" "friendly name2" "friendly name3" "friendly name4"
vous les nommeriez par exemple : volet_1_montee volet_1_descente volet_2_montee volet_2_descente
pour une prise connectée , vous n'avez qu'un friendly name, vous pourriez le nommer relais_prise_frigo par exemple
!tasmota_configuration_other.png!
port utilisé sera 1883
h2. setup avec tasmota connexion directe TLS
h1. contexte
Courant 2021 nous avons lancé un mini projet baptisé le "frigo challenge", ce projet a pour but initial de collecter les données de consommations de frigos de différents participants, ce afin de pouvoir avoir un comparatif réel de différents appareils , le frigo a été choisi car c est un appareil dont sa consommation peut varier de 1 a 5 par rapport a ses performances initiales en fonction de son état. l’intérêt étant aussi de démontrer que faire tourner des frigos peu efficaces est extrêmement énergivore.
Forts de cette mini expérience, nous entendons proposer aux adhérents de Tetaneutral une infrastructure technique soutenue de bout en bout par du logiciel libre afin de pouvoir publier et utiliser les données de divers capteurs "IOT".
Nous documenterons donc dans cette section l architecture et les différentes manipulations pour connecter, gérer et exploiter différents objets de différentes manières.
h1. Le serveur iot.tetaneutral.net
h2. architecture :
Le serveur regroupe un ensemble de logiciels permettant
* de collecter les données publiées par exemple via le bus logiciel MQTT : usage de mosquitto
* de pré-formater, transformer, convertir les données provenant de différents formats : usage de nodered
* de stocker les données sur une base de donnée orientée "time series" : usage de influxdb
* d'afficher et creer des graphiques afin d exploiter les données publiées par les objets : usage de grafana
h1. Les objets connectables.
Les objets connectés sont autant de nouvelles menottes numériques par le fait que l'on ne connaît pas leur comportement , que l'on ne sait pas qui utilise nos données et à quelles fins. l’objectif au niveau des objets connectes est de n'inciter qu'a l usage d objets dont on maîtrise un minimum le comportement.
à cette fin nous documenterons et encouragerons l'usage de logiciel libre destiné a être flashé sur les objets connectés.
les deux projets majeurs sur lesquels nous nous pencherons pour les objets connectables en wifi sont TASMOTA et ESPHOME
Ces deux projets supportent les matériels intégrant les puces ESP8266 esp32 et tous leurs dérivés.
Une liste non exhaustive du matériel commercialement vendu et flashable est tenue a jour par un mainteneur de TASMOTA via https://templates.blakadder.com/
Nous nous attacherons particulièrement aux prises connectée possédant un relais + la mesure de consommation mais la liste des appareils flashable avec tasmota ou esphome est tres longue (interrupteurs, capteurs de mouvement, vannes d arrosages, pilotes de ventilateurs de plafond , doubles relais pouvant faire des volets roulants. etc etc).
Le matériel recommandé est du plus facile au moins facile :
les prise NOUS préflashées avec tasmota : https://www.amazon.de/gp/product/B0054PSIPA?tag=tasmotatempla-21
les prises athom préflashées avec tasmota (form factor moins interressant) : https://fr.aliexpress.com/item/4001230982267.html
les prises gosund sp111 si vous en trouvez encore
éviter les prises gosund EP2 car elles sont non demontables facilement (collées)
toutes prises avec monitoring de conso que vous trouverez sur https://templates.blakadder.com/
h2. architecture de la connexion
Nous nous orientons vers deux principes de connexion pour les objets :
h3. le bridge MQTT
* une connexion via un serveur MQTT installé localement sur votre routeur Tetaneutral ou sur une machine que vous possédez , le serveur MQTT servant de relais (BRIDGE) entre votre environnement local et le serveur IOT.tetaneutral.net ce setup a l'avantage de laisser un choix d usages plus important localement (interactions possibles avec un serveur de domotique ), il demande plus de savoir faire technique.
!iotbridgettnn.png!
h3. connexion directe de l'objet
* une connexion sécurisée directe de l'objet au serveur iot.tetaneutral.net : cette méthode, plus simple est à préférer si vous avez peu de compétences technique ou pas de machine capable de faire fonctionner un serveur mqtt.
!iotdirectsslttnn.png!
h2. setup avec tasmota + bridge MQTT sur routeur tetaneutral
h3. flasher tasmota sur l appareil connecté
lorsque l'on utilise ce setup, la version standard de tasmota suffit , si votre appareil a déjà été flashé avec tasmota et que vous voulez le mettre à jour, suivre les instructions ici : https://tasmota.github.io/docs/Upgrading/#upgrade-using-webui
pour flasher un appareil qui n'a pas encore le firmware tasmota, la méthode universelle est le flashage avec un adaptateur USB série avec des niveaux de tension de 3.3V
attention, ne jamais connecter de port serie sur un appareil alimenté par le 220V comme une prise connectée, c est la destruction de votre pc assurée et danger d’électrocution, lors du flashage, l objet doit etre alimenté par le convertisseur usb serie.
cette methode necessite de localiser sur la carte de l'appareil les broches TX RX VCC GND et GPIO0
pour pouvoir mettre l appareil dans le mode ou il accepte d etre flashé, il faut alimenter VCC pendant que GPIO0 est relié à GND , l'esp8266 passe alors en mode bootloader et acceptera de recevoir un nouveau firmware.
la méthode la plus simple est d utiliser tasmotizer (seulement pour les appareils a base d esp8266 ou 8285 la majorité des appareils) : https://github.com/tasmota/tasmotizer
pour les appareils équipés de puces ESP32, se référer à : https://tasmota.github.io/docs/ESP32/#flashing
h3. premier démarrage
A compléter
h3. parametrer les capteurs et relais de l'appareil
Chaque appareil connecté comporte différents capteurs (mesure de courant, de température, baromètre, hygromètre etc etc) et actionneurs (relais, moteurs, gradateurs etc)
Tasmota permet d associer chaque broche du microcontrôleur à une fonction ou un périphérique, il n'est pas toujours aisé de les connaître ou de les reconnaître, c est pourquoi les créateurs de tasmota ont mis en place un concept de template ainsi qu'une base de connaissance répertoriant le hardware connu pour embarquer un esp8266 ou un esp32 : https://templates.blakadder.com/
prenons par exemple la prise Athom 16 amps , nous la trouvons a cette adresse : https://templates.blakadder.com/athom_PG01EU16A.html
le site nous indique son template : {"NAME":"Athom Power Monitoring Plug","GPIO":[0,0,0,32,2720,2656,0,0,2624,544,224,0,0,1],"FLAG":0,"BASE":18}
chaque numéro correspond au code de périphérique attaché a chaque broche du microcontrôleur e.g : sur la broche 3 est présent le device code 32 ce qui correspond au bouton 1. (la liste des périphériques et de leur identifieur est disponible ici pour info : https://tasmota.github.io/docs/GPIO-Conversion/#gpio-conversion
il est donc bien pratique de ne pas avoir a faire la configuration soi meme mais d avoir une base de données répertoriant le matériel et ses caractéristiques.
pour appliquer un template a votre appareil, rendez vous sur l'interface web de votre appareil , dans le menu configuration > configure other
!apply_template.png!
coller le template que vous avez récupéré sur la base de templates dans la case template, cocher la case activate et cliquer sur save, le microcontrôleur va redémarrer, quelques secondes après, revenez dans le menu principal , vous constaterez que les données des capteurs que vous avez configuré sont maintenant disponibles.
ci dessous la vue d une prise connectée, on voit le bouton toggle qui sert a faire basculer l'etat du relais , ainsi que toutes les informations de consommation de la prise.
!menu_principal_tasmota_prise.png!
h3. configurer mqtt :
installer mosquitto avec support ssl sur le routeur tetaneutral :
* en accedant au routeur via ssh :
<pre><code class="c">
opkg install mosquitto-ssl
</code></pre>
* via l interface web dans l onglet system > software
>rafraichir la liste des paquets avec en editant le bouton "update-lists" , rechercher ensuite mosquitto-ssl
>!opkg_web_interface.png!
>il vous faut connaitre le nom ou l'adresse ip fichier de votre serveur mqtt
* editer de configuration de mosquitto pour creer un bridge qui se connectera de maniere chiffrée au serveur iot.tetaneutral.net
>en local vous utilisez mqtt sans chiffrement donc le port utilisé sera 1883
<pre><code class="c">
listener 1883
allow_anonymous true
connection tetaneutral
cleansession true
try_private false
address iot.tetaneutral.net:8883
topic tele/# out 0 "" MonNomIci/
bridge_cafile ca.crt
# log_dest file /var/log/mosquitto.log
log_type all
#remote_clientid un_nom_au_hasard
</code></pre>
la configuration implique de récupérer récuperer le certificat (ca.crt) , pour le moment il est disponible sur demande sur le chat matrix de tetaneutral
il faut ensuite copier le fichier ca.crt dans le repertoire /etc/mosquitto/ via scp
h3. mqtt : paramétrer
* via l objet connecté
interface web dans le menu configuration l onglet system > configure mqtt software
dans >rafraichir la case host mettre l'adresse du serveur local mqtt laisser la sace port a la valeur 1883
dans la case topic mettre liste des paquets avec le nom de la prise ou bien par exemple le nom de l'appareil qui sera connecté derriere cette prise. ce nom consituera la racine de l'arborescence pour cet objet dans l'arbre MQTT bouton "update-lists" , rechercher ensuite mosquitto-ssl
le reste de la configuration de cette page peut rester par defaut.
!config_mqtt_tasmota.png!
dans le menu configuration > configure other >!opkg_web_interface.png!
mettre une fois de plus >il vous faut connaitre le nom ou l'adresse ip de l'objet connecté dans le champ "device name" (cette fois ci c est le nom qui apparaitra dans la payload transportée par votre serveur mqtt , e.g si
en local vous utilisez home assistant ou autre, c est mqtt sans chiffrement donc le nom de l'appareil qui apparaîtra dans home assistant)
dans le champ friendly name vous pouvez identifier plus precisement l'equipement, par exemple sur un module a 4 relais , vous auriez ici 4 champs "friendly name1" "friendly name2" "friendly name3" "friendly name4"
vous les nommeriez par exemple : volet_1_montee volet_1_descente volet_2_montee volet_2_descente
pour une prise connectée , vous n'avez qu'un friendly name, vous pourriez le nommer relais_prise_frigo par exemple
!tasmota_configuration_other.png!
port utilisé sera 1883
h2. setup avec tasmota connexion directe TLS