Indice γ : valider des prévisions solaires avec des tolérances

En bref

• Pour chaque point prévu, l’indice cherche une observation proche qui respecte conjointement trois tolérances : distance spatiale DTA, décalage temporel TTA et écart d’intensité IDT. Un point passe lorsque \(\gamma\leq1\).
• Le GPR est le pourcentage de points qui passent. La moyenne et le maximum de γ complètent ce taux ; le GPR est borné entre 0 et 100 %, mais γ lui-même peut dépasser 1.
• L’article de Cyril Voyant, seul auteur, applique à la vérification des prévisions une méthode issue de la physique médicale. Il est publié dans l’International Journal of Forecasting, 42(4), 1207–1214 (2026), doi:10.1016/j.ijforecast.2026.03.002.

Le problème et la contribution

Si une structure nuageuse est prévue un peu trop à l’est, le RMSE pixel à pixel pénalise à la fois l’endroit prévu et l’endroit où elle s’est produite : c’est la double pénalité. Le travail propose une règle d’acceptation qui associe les trois écarts dans des unités physiques, choisies avant de comparer les modèles. Le γ-index vient de la comparaison des distributions de dose en radiothérapie (Low et al., 1998) ; l’apport de cet article est sa transposition et son analyse pour des champs de prévision spatio-temporels.

Questions fréquentes

Pourquoi le RMSE seul ne suffit-il pas toujours ?

Un déplacement d’une structure cohérente crée simultanément une absence au lieu observé et une fausse présence au lieu prévu. Le RMSE reste utile pour quantifier les erreurs ponctuelles ; le γ-index ajoute une lecture tenant compte de déplacements acceptables pour l’usage envisagé.

Que signifie γ ≤ 1 ?

Il existe au moins une observation voisine dont les écarts combinés en espace, en temps et en intensité se situent dans la région de tolérance normalisée. Ce seuil dépend directement des trois tolérances choisies ; il n’est pas une preuve générale de qualité opérationnelle.

Définition et calcul

Pour un point prévu \((x,y,t)\), on cherche dans un voisinage spatio-temporel l’observation qui minimise la distance normalisée. \(I_{\mathrm{pred}}\) et \(I_{\mathrm{obs}}\) sont exprimées dans la même unité, par exemple W/m² :

$$\gamma(x,y,t)=\min_{\substack{(x',y')\in\Omega_{\mathrm{DTA}}\\ t'\in\Omega_{\mathrm{TTA}}}}\sqrt{\frac{(x-x')^2+(y-y')^2}{\mathrm{DTA}^2}+\frac{(t-t')^2}{\mathrm{TTA}^2}+\frac{\big(I_{\mathrm{pred}}(x,y,t)-I_{\mathrm{obs}}(x',y',t')\big)^2}{\mathrm{IDT}^2}}.$$

Le voisinage de recherche de l’article s’étend à \(1{,}5\times\mathrm{DTA}\) dans chaque direction spatiale et à \(1{,}5\times\mathrm{TTA}\) en temps. Cette fenêtre sert à trouver le minimum ; le passage reste défini par γ ≤ 1. Pour \(N=N_xN_yN_t\) points évalués :

$$\mathrm{GPR}=\frac{100}{N}\sum_{i=1}^{N}\mathbf{1}(\gamma_i\leq1),\qquad \bar\gamma=\frac{1}{N}\sum_{i=1}^{N}\gamma_i,\qquad \gamma_{\max}=\max_i\gamma_i.$$

GPR donne une proportion ; \(\bar\gamma\) résume l’écart moyen ; \(\gamma_{\max}\) révèle des désaccords localisés que les moyennes peuvent masquer. Ils doivent être présentés avec le biais et les erreurs ponctuelles.

Choisir les tolérances

• DTA : distance acceptable, à choisir selon la taille physique de la maille. L’article utilise une maille, soit environ 2 km sur la grille corse.
• TTA : décalage acceptable dans le temps. Avec interpolation linéaire entre images, une demi-période d’échantillonnage peut servir de point de départ ; l’expérience corse utilise 30 min.
• IDT : écart d’intensité acceptable. L’article utilise 50 W/m² pour l’irradiance, ordre de grandeur de 10 %, à adapter à la variable et à la décision.

Dans les conditions expérimentales présentées, changer une tolérance de ±50 % modifie le GPR de moins de 10 % et \(\bar\gamma\) de moins de 0,3. Ce test de sensibilité ne garantit pas la même stabilité ailleurs. L’article propose comme repères pratiques GPR > 80 % et \(\bar\gamma<0{,}7\) : ce ne sont pas des normes universelles.

Ce que montrent les expériences

Dans une scène synthétique, un déplacement d’environ un pixel, soit 2 km, associé à 10 min de retard et à un bruit gaussien, laisse plus de 80 % des pixels à γ ≤ 1 avec DTA = 2 km, TTA = 30 min et IDT = 50 W/m². Le RMSE pixel à pixel reste fortement pénalisé par le déplacement.

Sur des champs satellitaires HelioClim-3 et CAMS en Corse, sous des perturbations contrôlées, les valeurs rapportées sont : RMSE pixel à pixel de 20,95 à 37,65 W/m² ; \(\bar\gamma\) de 0,29 à 0,35 ; GPR de 67,35 à 68,64 %. Ces GPR sont en dessous du repère pratique de 80 % : la stabilité de γ face à de petits déplacements ne doit pas être présentée comme une validation de tous les champs. Le biais moyen, de −7,2 à 3,6 W/m², apporte un autre diagnostic.

Les indicateurs convergent davantage sous ciel clair ou totalement couvert. Leur écart est plus instructif sous nuages fragmentés, où les gradients spatiaux accentuent la double pénalité.

Limites et portée

La composante temporelle n’est pas pleinement exploitée dans cette première implémentation ; la validation publiée porte surtout sur l’espace. Une recherche temporelle complète coûte davantage et une TTA égale à toute la période d’échantillonnage pourrait avantager artificiellement la persistance. Une DTA d’un pixel convient à des grilles modérées de 1 à 5 km ; sur une grille plus grossière, elle peut dépasser l’échelle physique des nuages. L’IDT doit venir des besoins de l’application, pas d’une valeur fixée partout.

L’article évoque une future perte d’apprentissage pénalisant \(\max(0,\gamma-1)\). Cette idée est une perspective, pas un résultat d’entraînement validé dans l’étude. Le γ-index complète les méthodes de vérification spatiale et les erreurs classiques ; son résultat dépend des tolérances et du rééchantillonnage.

Attention aux unités du code MATLAB

La formule publiée utilise des kilomètres et des minutes. Dans la version publique de computeGammaMetrics.m, les écarts spatiaux sont calculés en indices de pixels et les écarts temporels en indices d’images avant division par DTA et TTA. Les unités ne coïncident donc directement que si une cellule vaut 1 km et un pas temporel vaut 1 min.

Pour l’exemple public, choisir res_ini = res_end = 1 garde des cellules de 1 km. Une interpolation des images vers un pas voisin d’une minute peut utiliser timestep_end = 1/60 heure, au prix d’un temps de calcul beaucoup plus grand ; il faut vérifier le pas effectivement obtenu. Sinon, convertir explicitement les distances en kilomètres et minutes dans le calcul. Le redimensionnement spatial public utilise res_end/res_ini comme facteur de taille d’image : il faut vérifier son effet avant de changer la résolution. L’exemple livré avec le dépôt conserve des pas d’une heure ; dans son terme temporel, un décalage d’une image pèse alors \((1/30)^2\), au lieu de \((60/30)^2\) pour TTA = 30 min. Ne pas interpréter cet exemple comme une validation physique des unités temporelles.

Autre distinction à documenter lors d’une reproduction : l’équation (2) décrit un GPR sur \(N_xN_yN_t\) points spatio-temporels, tandis que la fonction publique retourne une carte γ à deux dimensions après minimisation sur les images et calcule son GPR sur \(N_xN_y\) pixels. Il faut préciser laquelle de ces deux agrégations est utilisée quand on compare des résultats.

Reproduire l’exemple public

Le dépôt fournit main.m et computeGammaMetrics.m, avec une scène synthétique. Il ne redistribue pas les observations satellitaires à accès restreint. Une fois les dépendances MATLAB indiquées dans le dépôt installées :

% Dans le répertoire du dépôt téléchargé :
main

Avant une étude sur vos données, contrôler la taille physique des pixels, le pas des images, l’interpolation, le domaine de recherche et l’alignement des champs.