Community Support

[This post is marked as unsolved] Archivage de données  

  RSS
meteolausanne
(@meteolausanne)
Eminent Member

Bonjour.

Je suis tout nouveau et je pense utiliser ce plugin pour mon nouveau site.

Mes questions sont les suivantes:

  • Où sont stockées les données d'archives ?
  • Est-il possible d'importer d'anciennes données issues par exemple de Weatherlink ou d'un fichier txt ? (Je possède effectivement pour plus de 10 ans de données antérieures).

Merci d'avance pour vos réponses.

Quote
Posted : 02/11/2018 6:03 pm
Pierre Lannoy
(@pierre-lannoy)
Member Admin

Bonjour.

Il n'y a pas à proprement parler de "données d'archives". Weather Station, stocke les données dans trois tables distinctes :

  • Données courantes : il s'agit des données les plus récentes collectées depuis les stations ou calculées par le "calculateur interne" (valeurs psychrométriques, d'éphémérides, etc.). Cette table sert de "cache" pour tous les widgets et contrôles affichant des données pseudo-temps-réel.
  • Données journalières : toutes les données émises par les stations, avec une résolution de 10 minutes. Cette table sert de cache pour les graphes affichant des données journalières. Elle sert aussi, une fois toutes les 24 heures, à calculer les valeurs présentes dans la table des données d'historiques.
  • Données d'historiques : toutes les données de plus de 24 heures, à raison d'un jeu de données par jour. Les données stockées dans cette table, après calculs des valeurs spécifiées (max, min, moyenne, écart type, médiane, etc.) servent aux graphes mois/saisons/années et aux futurs graphes climatiques (données sur plusieurs années, à partir de la version 3.8 ou 3.9 de Weather Station).

Malheureusement, pour le moment, il n'y a pas de méthode pour importer des anciennes données d'une station. La version 3.7 (prochaine version de Weather Station) permettra de le faire (importer d'anciennes données) mais seulement pour les stations liées à un service cloud (Netatmo, WeatherFlow de façon certaines et peut-être Ambient ou BloomSky, mais c'est loin d'être sur vue la  - faible - qualité de leurs APIs).

Il n'est pas impossible que Weather Station puisse, à l'avenir, importer des données d'autres types de stations mais ce que j'ai vu pour le moment est très "pauvre" (en terme de données, et de résolution). Peut-être avez-vous des données qui ne rentrent pas dans cette catégorie ? Comment sont-elles générées ? Quel est leur format ? Leur résolution ?

If you like Weather Station, please consider to make a review to help make it known. That would be the best way to thank me...

ReplyQuote
Posted : 02/11/2018 7:43 pm
meteolausanne
(@meteolausanne)
Eminent Member

Bonjour et un grand merci pour cette réponse complète.

C'est bien dommage qu'on ne puisse pas importer de données à l'heure actuelle. Le principe pourrait être assez simple si on part d'un fichier txt. Par exemple weatherlink permet de créer des fichiers de ce type. En annexe je vous ai mis un exemple de données récoltées par la station pour la journée du 22 avril 2018 avec un pas de 5 minutes.

Pensez-vous qu'à partir de ce type de fichier il serait possible d'alimenter votre logiciel.

Autre question: où se trouvent les données historiques exactement ? Dans une table Wordpress ? Et quel espace cela prendrait si on a par exemple 10 ans de mesures ?

Lorsque je remettrais en route ma station (prévu pour début 2019) je serais équipé également de Meteobridge Pro et j'utiliserai Meteotemplate également.

Jusqu'à ce jour je n'ai pas eu loisir de tester votre plugin. Je me réjouis déjà de la faire prochainement lorsque j'aurais acheté mes nouveaux instruments de mesure.   👍 

ReplyQuote
Posted : 07/11/2018 6:04 pm
Pierre Lannoy
(@pierre-lannoy)
Member Admin

Bonjour.

Le principe en lui même est assez simple, j'en conviens 🙂 Le mettre en application l'est beaucoup moins : il faudrait produire, dans un fichier unique, pour tous les jours de vos archives, le même fichier que vous avez joint.

  • Premier problème : votre logiciel est-il capable de le fournir avec cette résolution (5 ou 10 minutes, voire 30 minutes au pire) ?
  • Second problème (si le logiciel est capable de le faire), la taille : le fichier fait 53Ko, pour 10 ans, cela fait presque 200Mo.

Je suis loin de dire que ce n'est pas faisable, c'est même envisageable, mais pour cela il faut que le fichier soit facilement exportable (pour que tout utilisateur, quelque soit son "niveau" informatique puisse le faire), que ce soit depuis un logiciel couramment utilisé, et que le format soit documenté... Pour le cas de WeatherLink, je ne trouve absolument aucune documentation sur la procédure et le format de sortie. En avez-vous ?

Sinon, oui, c'est stocké dans des tables spécifiques qui sont dans la même base de données que WordPress. À vue de nez, 10 ans de données d'historique en mode scientifique (le plus gourmand en données), cela devrait faire entre 200 et 350Mo, selon la station (selon le nombre de modules attachés à la station).
C'est tout à fait raisonnable.

N'hésitez pas à nous montrer votre site quand il sera prêt 🙂

If you like Weather Station, please consider to make a review to help make it known. That would be the best way to thank me...

ReplyQuote
Posted : 07/11/2018 6:37 pm
meteolausanne
(@meteolausanne)
Eminent Member

Bonjour,

J'aimerais bien comprendre ce que vous me demandez. Le fichier que je vous ai envoyé correspond à un mois de données à raison d'un pas de 5 minutes, ceci comme exemple. On peut sortir un fichier par jour, par mois, par an ou la combinaison de ceux-ci. En ce qui me concerne au début j'avais un pas de 10 minutes puis de 5 minutes ce qui fait un fichier global de 152Mb. Par contre s'il faut obligatoirement sortir un fichier par jour alors là ça se complique car on doit le faire manuellement à moins d'un sortir qu'un par jour et que votre logiciel puisse reprendre avant le jour suivant.

Par contre Weatherlink accepte également de créer un fichier .txt à l'aide d'un modèle de type .htx, avec les paramètres prédéfinis ou désirés (on peut définir les données exactes à exporter) et ceci avec la fréquence voulue (chaque 1, 5, 10, 15, 30mn ... etc.) Si l'on crée un modèle c'est très facile à mettre en pratique. Voir ici =>  http://www.littoclime.com/regie/astuce3.pdf. Le fichier créé ainsi se trouve écrasé par les données suivantes au prochain enregistrement. Et ici vous trouvez par exemple le processus pour mettre en place un fichier .htx à partir des tages de Weatherlink =>  http://www.meteo-grognon.com/DOCUMENTATIONS/VANTAGE_PRO/SOURCES/weatherLink_html_tags_fichiers/weatherLink_html_tags.html

Vous ai-je bien compris ?

Merci pour ce support réactif et efficace.

ReplyQuote
Posted : 08/11/2018 8:46 pm
Pierre Lannoy
(@pierre-lannoy)
Member Admin

Bonjour.

On est bien d'accord, faire un fichier par jour serait juste l'enfer 😀 ... Ce n'était pas du tout ce que je proposais, rassurez-vous.

Je découvre qu'il est possible avec votre logiciel de générer un fichier avec une résolution de 30 minutes (ce qui est l'idéal pour moi, dans le cadre de la récupération d'historiques) contenant tous les jours. C'est depuis la version PC ou l'outil en ligne ? Vos données sont stockées où (sur un pc, un data-logger, un compte Weatherlink/Weatherlink2) ?

Pierre

PS : en fait l'idéal pour moi, ce serait que Davis permette la collecte des historiques d'une station via API sur un compte Weatherlink2, mais ce n'est pas le cas...

If you like Weather Station, please consider to make a review to help make it known. That would be the best way to thank me...

ReplyQuote
Posted : 09/11/2018 7:49 am
meteolausanne
(@meteolausanne)
Eminent Member

Si vous parlez d'un fichier unique avec un pas de 30 minutes à mon avis ce n'est pas directement possible. La seule solution que je verrais dans ce cas c'est de le créer manuellement via une application Excel par exemple. Ce qu'il est possible de faire c'est que chaque 30 minutes Weatherlink crée un fichier avec les données des 30 dernières minutes.

L'exportation totale des données par le logiciel (avec un pas de 30 minutes) n'est pas possible car le programme prend la totalité des données enregistrées. Chez moi la plupart des données sont avec un pas de 5 minutes.

De mon côté j'ai toujours utilisé Weatherlink (le programme livré avec les stations Davis) et j'utilise en réalité Weatherlink IP depuis quelques années. C'est une version qui permet de sauvegarder ses données directement chez Weatherlink.com Le problème est que depuis cette année la consultation des données devient payant.

Conjointement j'utilise également Meteotemplate qui est rattaché à une base Mysql pour s'alimenter => www.meteotemplate.com

J'ai trouvé de mon côté cette documentation =>  https://www.weatherlink.com/static/docs/APIdocumentation.pdf. Est-ce que cela pourrait vous servir ?

Didier

ReplyQuote
Posted : 09/11/2018 10:13 pm
Pierre Lannoy
(@pierre-lannoy)
Member Admin

Bonjour Didier.

Désolé pour cette réponse tardive... Je travaille actuellement sur la future version (3.7) de Weather Station et cela accapare tout mon temps libre.

Concernant les APIs WeatherLink, malheureusement, je connaissais déjà cette documentation. C'est ce qu'ils appellent leur documentation officielle - pour vous donner un ordre d'idée, la documentation officielle pour Netatmo ou WeatherFlow nécessite un site web complet. Inutile de vous dire que celle-ci est au mieux incomplète. J'ai tenté plusieurs fois de les contacter à ce sujet et pour l'instant je n'ai reçu que des réponses très "méprisantes". J'ai un peu l'impression qu'ils ne souhaitent pas que des applications soient développées sur la base de leurs APIs... Mais je ne baisse pas les bras 😉

Concernant la génération d'un fichier d'historique (pour pouvoir faire des imports dans Weather Station), je vais creuser un peu plus. Cela me semble moins infaisable qu'il n'y a quelques semaines. Notez cependant que si cela se faisait, les données importées ne permettraient pas de recomposer toutes les données d'historiques (je pense notamment aux valeurs psychrométriques). La "richesse" de données d'historiques de Weather Station serait donc un peu amoindrie.

Dans tous les cas, je vous tiens au courant dès que j'ai du neuf sur le sujet.

If you like Weather Station, please consider to make a review to help make it known. That would be the best way to thank me...

ReplyQuote
Posted : 14/11/2018 12:13 pm
meteolausanne
(@meteolausanne)
Eminent Member

Un tout grand merci pour votre travail Pierre,

Weatherlink est un programme qui a quasiment pas évolué et qui est très fermé j'en conviens. De moins en moins de personnes l'utilisent car la "transparence des concepteurs" n'est pas top comme vous le mentionnez si bien.

Je vais commencer doucement à mettre en place les premières pages de mon nouveau site web.

La seule chose dont je suis sûr c'est que je vais utiliser meteotemplate pour l'archivage des données car j'ai également cela sous une base Mysql en relation avec meteotemplate.

Je vais tester votre plugin et voir ses possibilités. Je m'en réjouis d'avance.

Si vous prévoyez à l'avenir pouvoir vous appuyer sur une base mysql qui est liée avec meteotemplate pour l'importation d'archives ce serait vraiment super.

J'attends avec impatience votre nouvelle version 3.7 et vous remercie pour votre travail. Si vous désirez des fichiers ou des données pour des essais vous pouvez sans autre faire appel à moi. D'ici une quinzaine de jours je vais avoir beaucoup plus de temps à consacrer à ce hobby.

ReplyQuote
Posted : 14/11/2018 9:28 pm
Pierre Lannoy
(@pierre-lannoy)
Member Admin

Je n'y manquerai pas 😉

Merci à vous.

If you like Weather Station, please consider to make a review to help make it known. That would be the best way to thank me...

ReplyQuote
Posted : 14/11/2018 9:38 pm

  
Working

To participate, please connect first!