10 January 2016

Test de la Suunto Ambit 3 Peak Nepal Edition

Mon but n’est pas de décrédibiliser Suunto. Suunto est une entreprise que j’estime beaucoup. Ils sont à l’écoute de leurs clients, conçoivent des produits fiables qui né vous laisseront pas en rade au plus mauvais moment, semblent attachés à la qualité de leurs produits au moins autant qu’aux aspects purement marketing. Seulement, disposant à la fois d’une Garmin 910 XT et d’une Suunto Ambit 3 Peak Nepal Edition (manuel), je souhaite vous faire partager les avantages et inconvénients des deux modèles, dans le but que les deux marques améliorent leurs produits, que ce soit par des mises à jour logicielles des montres déjà présentes sur le marché ou par l’introduction de nouveaux modèles plus performants. En tant qu’analyste de données, c’est naturellement sur la question de la qualité des relevés (tels qu’affichés sur la montre mais aussi tels qu’ils sont archivés sous forme de fichiers) que je serai le plus pointu. Et malgré ce que l’on peut lire sur les forums, c’est semble-t-il la 910 XT qui tire son épingle du jeu. Je vous laisse découvrir les détails de ce test qui se veut en aucun cas exhaustif, mais, à l’image de fellrnr (lien), complémentaire des nombreux tests que vous pourrez trouver sur internet, les plus complets que je connaisse étant ceux de DC Rainmaker (lien).

Utilisation sur le terrain

Marquer un tour

Avantage 910 XT. Les repères marqués sur une piste d’athlétisme sont à l’évidence plus fiables que l’estimation que peut faire un GPS ou un capteur de foulée de la distance parcourue, notamment en virage, c’est pourquoi j’ai l’habitude de marquer moi-même les tours sur ma montre. Malheureusement, marquer un tour sur la Ambit3 Peak Nepal Edition est une entreprise périlleuse : tantôt l’appui sur la touché BACK LAP n’est pas assez franc et le tour n’est pas déclenché, tantôt mon index droit, qui sert de stabilisateur en s’opposant à l’appui, vient malencontreusement déclencher le bouton START STOP et ainsi mettre l’activité en pause. La fonction LOCK pourrait ici sauver la mise, si elle né désactivait pas BACK LAP en plus de START STOP. Ce second problème est en partie lié à la présence de la touché NEXT sur le côté droit. La course des boutons est longue, autrement dit ils sont un peu mous. Quand l’appui sur la touché BACK LAP est réussi, le signal sonore de confirmation né se déclenche qu’après une seconde environ, abandonnée au doute. S’il faut reconnaître que l’utilisation de gants n’empire pas tellement les choses, dans l’ensemble la pression de la touché LAP me pose infiniment moins de problème sur la 910 XT.

Figure 0. Marquage des tours sur la Ambit3 : exemple de mauvais appui sur la touché BACK LAP.Visualisation : Movescount. La fin du quatrième fractionné n’est pas marquée (appui pas assez franc) tandis que le huitième n’est pas enregistré (appui trop long).

Qualité des données

Altimètre

Avantage 910 XT. La résolution numérique de l’altitude barométrique est de 1 mètre chez Suunto alors qu’elle est de 20 centimètres sur la 910 XT. Par ailleurs, sur la Ambit3, les variations barométriques né sont pas immédiatement traduites en termes d’altitude barométrique si bien que celle-ci évolue par à-coups, rattrapant généralement deux, trois, quatre, parfois cinq mètres en l’espace d’une seconde. L’hystérésis constitue un moyen de filtrer le bruit — qu’il vienne de l’erreur de mesure ou des petites variations rapides de la pression atmosphérique — pour né compter que le dénivelé utile. Est-ce efficace ? À première vue oui, cependant le traitement logiciel mis en place par Garmin permet d’arriver au même résultat sans dégrader les données brutes. En effet, sur une séance de 36 min 46 s sur piste, supposée rigoureusement plate, le dénivelé cumulé par la Suunto est de + 67 — 70 m, contre + 130 — 134 m pour la Garmin, mais, interprété par Movescount et Connect, cela donne respectivement + 16 — 21 m et + 8 — 10 m. À noter qu’au sein d’une marque les dénivelés donnés par les micrologiciels sont identiques à ceux donnés par les logiciels, ce qui est une bonne chose pour la compréhension. Le tableau 1 regroupe les dénivelés pour l’ensemble de la séance évoquée (descente, plat dont piste, puis remontée) tandis que le tableau 2 né tient compte que de la portion médiane sur la piste :

Tableau 1. Dénivelés, exprimés en mètres, de la séance complète (1 h 14 min 51 s).
	rubiTrack non lissé	rubiTrack lissé	affichage montre	Connect/Movescount
910 XT	+281 – 298	+83 – 91	+80 – 94	+80 – 94
Ambit3	+167 – 173	+83 – 91	+84 – 94	+84 – 94

Tableau 2. Dénivelés, exprimés en mètres, de la portion sur piste (36 min 46 s).
	rubiTrack non lissé	rubiTrack lissé	affichage montre	Connect/Movescount
910 XT	+130 – 134	+13 – 17	+8 – 10	+8 – 10
Ambit3	+67 – 70	+14 – 18	+16 – 21	+16 – 21

Tirées d’une autre séance d’entraînement, les figures 1a et 1 b illustrent, respectivement en termes d’altitude et de dénivelé, trois effets irréalistes de l’interprétation des mesures barométriques par la Suunto : le stockage sous forme d’entier, l’effet d’hystérésis et le FusedAlti (qu’il faut donc parfois désactiver). Il est à noter que le lissage de l’altitude proposé par rubiTrack est trop fort pour né faire que corriger l’absence de partie décimale et l’effet d’hystérésis. Un lissage intermédiaire serait le bienvenu.

Figure 1a. Altitude (en m) : effets combinés de FusedAlti, stockage en entiers et hystérésis sur la Ambit3.En rouge : Ambit3. En vert : 910 XT. Visualisation : rubiTrack 4 Pro. Alors que les deux montres ont été préalablement calées à l’altitude correcte de 90 m, la fonction FusedAlti (que j’aurais dû désactiver) de la Ambit3 a décalé les altitudes pour mieux coller à l’altitude GPS. En arrière plan, la courbe d’altitude de la Ambit3 lissée par rubiTrack.

Figure 1 b. Vitesse ascensionnelle (m.h-1) à la résolution 15 s.En rouge : Ambit3. En vert : 910 XT. Visualisation : rubiTrack 4 Pro. La qualité de l’enregistrement de la 910 XT en termes d’altitude se traduit par des vitesses ascensionnelles plus réalistes. Au pas de temps 15 s, la précision numérique de la vitesse verticale de la Suunto est de 240 m.h-1 contre 48 m.h-1 pour la Garmin (une heure compte 240 intervalles de 15 s).

Si la 910 XT enregistre l’altitude toutes les secondes, elle peut accuser jusqu’à une vingtaine de secondes de retard (peut-être teinté d’un lissage), notamment en descente quand la vitesse est plus grande. Dans l’exemple dans la figure suivante, on peut parler de dysfonctionnement puisque seule la Ambit 3 Peak enregistre l’aller-retour au point bas (repère de nivellement IGN à 552 m).

Figure supplémentaire : Altitudes barométriques corrigées des effets atmosphériques (points) et altitudes du modèle numérique de terrain SRTM GL1* interpolées par la méthode bilinéaire sur les points GPS (traits fins). Nota : le MNT surestime les altitudes dans les zones boisées.* Cf http ://opentopo.sdsc.edu/datasetMetadata ?otCollectionID=OT.042013.4326.1

La plupart du temps, heureusement, la 910 XT et la Ambit 3 Peak donnent des altitudes cohérentes, conformes aux relevés topographiques (figure suivante).

GPS

Avantage 910 XT. Suunto, historiquement expert de l’alti-baro (alors que Garmin et Polar excellent traditionnellement dans le GPS et le cardio, respectivement), s’est fait une très bonne réputation en termes de qualité de réception du signal GPS (voir ici). Les cartes sont désormais redistribuées entre les différents constructeurs, et, si on se limite au cas qui nous intéresse, je donnerais un léger avantage à la 910 XT sur la Ambit3 pour l’exactitude du tracé. C’est notamment vrai en début de parcours (Fig. 2). En effet, si la Garmin a besoin de plusieurs minutes pour procéder à l’acquisition des satellites, sa trace est stable dès le départ. L’Ambit3, elle, prétend trouver les satellites instantanément (à condition qu’elle ait été préalablement connectée à internet, car dans le cas contraire elle peut se montrer infiniment lente, plus lente que la Garmin si par exemple vous avez effectué plusieurs centaines de kilomètres depuis votre dernière séance) mais semble continuer de s’ajuster pendant une bonne dizaine de minutes. Ajoutons que si la 910 XT stocke réellement les coordonnées toutes les secondes, la Ambit3 avec le mode Intervalle d’enregistrement configuré à 1 s archive en réalité les coordonnées GPS à un pas de temps variable, qui vaut certes 1 s quand on court très vite mais plus souvent autour de 4 s. À en croire les forums, nous sommes nombreux à demander la possibilité de stocker l’ensemble des données toutes les secondes.

Figure 2. Qualité de la trace.En rouge : Ambit3. En vert : 910 XT. Visualisation : rubiTrack 4 Pro. Dans cet enregistrement, la trace de la Garmin est significativement meilleure en début d’activité. Et pour ceux qui s’interrogent, dans la partie droite (à l’est) j’ai suivi la rue Custine.

Par ailleurs, sur le stade Dauvin où je m’entraîné, l’Ambit3 est systématiquement perturbée lors des phases de récupération (Fig. 3a). Je cours pourtant toujours sur le couloir numéro 1, mais la trace me déporte systématiquement vers le sud. J’ignore si c’est la présence du gymnase qui perturbe le GPS ou bien si c’est le fait de repartir en sens inverse et à une allure plus faible qui trompe l’accéléromètre. Je n’ai jamais rencontré ce problème avec la 910 XT.

Figure 3a. Fractionnés avec la Ambit3 Peak Nepal Edition : biais de direction dans les phases de récupération.Visualisation : Strava. La piste du stade Dauvin mesure 300 m.

Quand je vois les belles traces issues de l’Ambit3 Peak classique (Fig. 3 b), né trouve aucune confirmation officielle du fait que la Nepal Edition est elle aussi équipée d’une puce GPS SiRFstar V, peine à m’expliquer la différence de prix avec la version régulière, je né puis me retenir d’imaginer que la Nepal Edition est peut-être une déclinaison de l’Ambit3 Peak équipée d’une puce de génération antérieure. [ajout le 10 août 2016 : Suunto affirme par email que la Nepal Edition est équipée d’une puce GPS SiRFstar V.].

Figure 3 b. Exemple de trace produite par une Ambit3 Peak (modèle classique).Visualisation : Movescount/Google. La piste d’athlétisme mesure 400 m.

On peut ainsi affirmer que la qualité de la trace est plus souvent meilleure sur la Garmin que sur la Suunto. Toutefois, sur des sorties longues, il m’est plusieurs fois arrivé que la Garmin perde complètement le signal GPS et peine terriblement à le retrouver. Désactiver puis réactiver le GPS dans la montre permet parfois de se sortir d’affaire, à condition de s’en rendre compte, mais ce n’est pas toujours le cas. La distance se trouve alors sous-estimée en raison des nombreuses lignes droites qui relient les segments où le GPS a pu fonctionner. De ce point de vue, la Suunto est plus fiable. Le pire décrochage que j’ai pu constater avec la Ambit3 Peak est illustré dans la figure ci-dessous (non numérotée). La montre n’a pu compter que sur 6 satellites contre 9 ou 10 habituellement et parfois jusqu’à 12 (au cours de cette sortie), ce qui a fait grimper l’EHPE (estimated horizontal position error) de 7 à 49 m. Après décrochage la trace met 27 s pour retrouver la bonne trajectoire (dont 11 s à partir du moment où l’EHPE redescend à 7 m), mais la distance affichée par la montre se trouve surestimée de 32 m. Si on recalcule les distances à partir des coordonnées GPS, l’écart atteint 59 m.

Figure non numérotée : exemple de décrochage avec la Ambit3 Peak (en vert) tandis que la 910 XT (en rouge) suit la bonne trajectoire.Visualisation : rubiTrack 4 Pro.

Fréquence cardiaque

Avantage 910 XT. Avec la Ambit3, j’utilise la ceinture Suunto Smart Sensor (Bluetooth), tandis que je couple la 910 XT à la ceinture cardio-fréquencemètre textile de Garmin (ANT+). Certains trouveront que la première se fait oublier plus facilement. Malheureusement, les artefacts sont là aussi nombreux, tout particulièrement sur les 10 à 15 premières minutes de course. Les données brutes sont avantageusement filtrées par Sunnto comme vous pouvez le voir sur le graphique ci-dessous (Fig. 4a). D’expérience, que ce soit avec la Suunto ou la Garmin, humidifier les électrodes et positionner la ceinture au moins une heure avant de commencer la sortie né garantissent pas l’absence d’artefact, notamment quand il fait froid comme au départ de la Saintélyon. Peut-être à cause d’une plus grande élasticité, la ceinture Suunto a tendance à glisser. Par temps très froid, la fréquence cardiaque peut n’être carrément pas mesurée (à moins que l’ensemble des relevés n’ait été rejeté par le contrôle qualité) pendant dix minutes (Fig 4 b) en dépit des précautions d’usage.

Figure 4 b. Fréquence cardiaque : exemple de signal plat en début de course.Visualisation : Movescount. En blanc, ce n’est pas l’allure mais bien la cadence qui est représentée.

Mais alors, si la donnée brute est à ce point bruitée, que doit-on penser des tests de récupération proposés par Suunto et Firstbeat, et basés sur la mesure de l’intervalle R-R [1 ,2 ] ? S’il est indéniable que Firstbeat est passé maître dans l’art de tirer de la valeur d’échantillons bruités [3 ], il m’est arrivé de m’y reprendre à cinq fois pour réaliser le test de récupération rapide (lequel dure trois minutes et se termine par un échec si la qualité de l’enregistrement est mauvaise). Pourtant, j’avais pris soin de mouiller les électrodes au préalable. Au passage, si ce test n’est pas réalisable au réveil dans des conditions identiques, sa robustesse en pâtit. Les trois premiers tests (à effectuer en période de faible charge d’entraînement) servent de calibration ; comment être sûr que des artefacts né gonflent pas artificiellement la variabilité cardiaque de référence ? Et si la calibration est menée dans de mauvaises conditions, Suunto a-t-il pensé à une procédure pour défaire la calibration sans provoquer la réinitialisation complète de la montre ?

Le raisonnement marche dans l’autre sens : si la fréquence cardiaque enregistrée par la montre est le produit d’un filtrage numérique, peut-on vraiment retrouver l’intervalle R-R à partir de la variable SUUNTO_HR via un app (exemple) suivant la formule RR=(1/(SUUNTO_HR/60)*1000) ? Ou bien la valeur calculée n’est-elle pas plus faible que la valeur réelle ?

En pratique, on constate que, même étalonnés l’un à la suite de l’autre, le test de sommeil et le test rapide donnent des niveaux de récupération très éloignés l’un de l’autre (ex. 60 et 50 %, 42 et 72 %, 53 et 27 %) et peu reproductibles (pour le second : 20 puis 47 %, 30 puis 48 %, à quelques minutes d’intervalles). On regrettera également que Suunto, à l’inverse de Polar, né propose pas d’indicateur expert comme la RMSSD.

[Ajout le 10 août 2016 : Après avoir perdu ma ceinture Suunto Smart Sensor, j’ai tenté l’expérience de la Polar H6 et en suis très satisfait puisque je n’ai encore jamais observé d’artefact ! Attention toutefois pour les nageurs : je crois qu’elle né fonctionne pas sous l’eau avec la Ambit 3.]

Fréquence de foulée

Avantage Suunto. La mesure de fréquence de foulée par l’accéléromètre présent dans la montre fonctionne étonnamment bien, sauf qu’il est arrivé que la mesure tombe à 0 (Fig. 5). Le problème fait l’objet d’un post sur un forum (lien). Il semble qu’il soit consécutif à l’activation de la navigation. Devant ce problème, j’ai opté pour une mesure déportée au niveau de la chaussure. Malgré tout, je donne l’avantage à Suunto qui a eu l’initiative de proposer une solution alternative innovante. [Ajout le 13 août 2016 : la mise à jour 2.2.16 du micrologiciel corrige le problème : “Fixed problem with running cadence during navigation”.]

Vitesse et allure

Avantage 910 XT. Sur la Ambit3, l’allure est affichée avec une résolution numérique de 5 s au km, ce qui au terme d’un marathon représente une imprécision cumulée de +/-3 min 30 s, soit la différence qui sépare la bonne allure d’une allure trop lente ou à l’inverse trop rapide (comparer vert et rouge ici). La vitesse est quant à elle affichée au dixième de km.h-1, ce qui est plus précis.

Plus grave, en utilisant un accéléromètre déporté sur le pied (Adidas miCoach SPEED_CELL Bluetooth Smart footpod, voir test) correctement calibré sur une piste d’athlétisme de 400 m, la vitesse affichée sur la montre se montre parfois anormalement faible voire nulle. L’allure, cohérente avec la vitesse, est alors fausse elle aussi.

Après plusieurs calibrations du foot pod sur l’Ambit3, j’ai l’impression qu’elles sont restées sans effet puisque la montre continue de sous-estimer distance et vitesse — je perds environ 10 mètres tous les 300 mètres. Il me faudra procéder à de nouveaux tests et également tenter de comprendre pourquoi la Ambit semble autant lisser les relevés (vitesse et cadence) du foot pod, comme si le FusedSpeed restait actif.

Figure 6. Altitude (haut), fréquence de foulée (milieu) et vitesse (bas) : cas où la Ambit3 sous-estime la vitesse.En rouge : Ambit3. En vert : 910 XT. Visualisation : rubiTrack 4 Pro. En début et fin d’entraînement, la vitesse de la Ambit3 tombe à 0 alors que la 910 XT l’estime correctement en dépit des escaliers (6 km.h-1) et feux rouges (0 km.h-1).

Fichiers

Sous Mac OS X, les moves sont transférés dans le répertoire temporaire Library/Application Support/Suunto/Moveslink2/, mais les fichiers les plus anciens sont automatiquement effacés, comme sur la montre. J’ai donc planifié sous crontab un archivage des fichiers que je n’ai pas déjà copiés (toutes les heures, à la minute 17) :

$ crontab –l
17 * * * * rsync –av –ignore-existing $HOME/Library/Application\ Support/Suunto/Moveslink2/*.sml $HOME/sml

Les fichiers SML sont natifs et de facto les plus complets, et il peut donc être intéressant de les stocker. Vous y trouverez quelques données complémentaires comme la qualité du signal GPS (par exemple, nombre de satellites et estimation de l’erreur de position horizontale) ou les valeurs des paramètres de vos Apps. Suunto offre la possibilité de télécharger depuis Movescount ses moves sous les formats FIT, XLSX, TCX, GPX et KML. Les fichiers TCX et GPX, en heures UTC, avancent d’une heure lorsque la France observe l’heure d’été, tandis que les fichiers KML, XLSX et FIT, en heure locale, sont correctement horodatés. En plus de l’heure, la longitude, la latitude, l’altitude, la fréquence cardiaque, la cadence et la vitesse que tous contiennent, les fichiers GPX, KML, XLSX et FIT ajoutent température, distance, pression au niveau de la mer et vitesse verticale. Le XLSX et probablement le FIT sont enrichis de l’écart relatif de performance et de l’intervalle R-R, nommé dans le XLSX IBI pour interbeat interval. Il existe par ailleurs d’autres subtilités. Par exemple, les fichiers GPX, TCX et KML contiendraient des données lissées et/ou interpolées dans le temps (apparition d’altitudes présentant une décimale non nulle), et supprimeraient les artefacts de fréquence cardiaque et de vitesse. Les fichiers XLSX et FIT contiendraient, comme les SML, les données brutes. On né sera donc pas surpris de constater que le temps est décrit à la milliseconde près dans les fichiers SML et GPX et à la seconde dans les fichiers TCX, KML et XLSX (avec pour ce dernier un ou plusieurs enregistrements dans la même seconde).

Conclusion

Comment conclure sans faire le parallèle entre Suunto et Nikon, d’un côté, avec de l’autre Garmin et Canon ? Les clients des premières marques citées font montre d’une confiance absolue dans leur outil et consacrent alors toute leur énergie à courir ou photographier quand les autres, doutant de leur matériel, errent de forum en forum. Certaines marques ont su inspirer confiance, et il faut leur rendre hommage : car au-delà des doutes que j’ai pu semer par ce billet je suis convaincu que cette confiance est le fruit mérité de longues années de professionnalisme de la part de Suunto ou, pour reprendre cet exemple, Nikon.