Prévision solaire expliquée · Article publié · Code ouvert

Métriques NICEᵏ : évaluer une prévision solaire face à la persistance

En bref

  • NICEᵏ compare une prévision déterministe à la persistance simple : répéter la dernière observation connue. Les deux erreurs sont calculées aux mêmes dates cibles.
  • NICE¹ utilise la MAE, NICE² la RMSE et NICE³ la racine de l’erreur cubique moyenne. NICEΣ combine ces trois rapports ; le cas équilibré emploie trois poids égaux.
  • L’échelle utile de NICE va de 0 à 1 : 0 pour une prévision parfaite, 1 pour la persistance simple. Un modèle retenu pour son gain sur cette référence doit rester sous 1 pour la norme considérée.

Ce que NICE ajoute

La RMSE dépend de l’échelle du signal ; la MAE donne moins de poids aux grands écarts. Une comparaison relative devient difficile si chaque étude choisit une référence différente. L’équipe de l’article fixe une référence explicite, la persistance simple, puis compare trois normes d’erreur. La référence et le modèle doivent toujours être évalués sur le même ensemble d’observations.

Les figures suivantes illustrent une démonstration synthétique du dépôt NICE. Elles ne remplacent pas l’évaluation sur les données des 68 stations SIAR étudiées dans l’article.

Trois jours d’un signal solaire synthétique avec persistance simple, persistance intelligente et modèle autorégressif AR(1).
Signal synthétique sur trois jours. La persistance simple reprend la dernière observation et se décale d’une heure. La persistance intelligente corrige ce décalage avec la forme du ciel clair ; AR(1) utilise aussi la corrélation du résidu.
NICE¹, NICE², NICE³ et NICEΣ pour les deux modèles, sous la ligne de référence égale à 1.
Scores de la même démonstration. La ligne à 1 est la persistance simple ; 0 correspondrait à une prévision parfaite. Figure redessinée à partir de results/demo_scores.csv, pour la persistance intelligente et AR(1) seulement.

Questions fréquentes

Que mesure NICEᵏ ?

La norme d’erreur d’un modèle divisée par celle de la persistance simple au même horizon, sur les mêmes dates cibles. NICE mesure un gain relatif sur une évaluation déterministe, pas la valeur opérationnelle complète d’un modèle.

Que signifie une valeur de 0,8 ?

La norme considérée est 20 % plus faible que celle de la persistance sur cet échantillon. Ce pourcentage ne vaut pas pour toutes les autres normes, tous les sites ou tous les usages économiques.

Et si le quotient brut sort de cette échelle ?

Une valeur supérieure à 1 signale que le modèle échoue face à la persistance sur la norme considérée : elle est hors de l’échelle utile 0–1 présentée par l’article. Le code la conserve pour rendre cet échec visible. Si l’erreur de persistance vaut zéro, le quotient est indéfini.

La méthode et ses équations

Les formules reprennent la définition empirique de l’article. Pour éviter une collision de notation, N désigne ici le nombre de cibles évaluées et h l’horizon en pas de temps. À chaque cible j, le modèle propose une valeur et la persistance reprend l’observation disponible h pas plus tôt.

Une seule référence pour les trois normes

$$\hat y_{P,j}=y_{j-h},\qquad E_k(X)=\left(\frac{1}{N}\sum_{j=1}^{N}|y_j-\hat y_{X,j}|^k\right)^{1/k}.$$

Avec les mêmes dates cibles et le même masque de valeurs valides pour le modèle et la référence :

$$\mathrm{NICE}^{k}=\frac{E_k(X)}{E_k(P)},\qquad k\in\{1,2,3\},\quad E_k(P)>0.$$

NICE¹ rapporte les MAE ; NICE² rapporte les RMSE ; NICE³ rapporte les racines des erreurs cubiques moyennes. L’article part de la RMSE, impose 0 pour une prévision parfaite et 1 pour la persistance, puis généralise aux normes Lk. Les grands écarts pèsent davantage quand k augmente ; au-delà de 3, ils peuvent dominer l’interprétation.

Associer les trois lectures

$$\mathrm{NICE}^{\Sigma}=w_1\mathrm{NICE}^{1}+w_2\mathrm{NICE}^{2}+w_3\mathrm{NICE}^{3},\qquad w_i\geq0,\quad \sum_i w_i=1.$$

Dans le cas équilibré de l’article et du calculateur, w₁ = w₂ = w₃ = 1/3. Une application sensible aux grandes erreurs peut choisir un autre poids pour NICE³ ; ces poids doivent être annoncés.

Pourquoi la persistance dépend du signal

Pour une série faiblement stationnaire de variance σ² et d’autocorrélation ρ(h), l’erreur quadratique moyenne théorique de la persistance suit :

$$\mathbb E\!\left[(y_j-y_{j-h})^2\right]=2\sigma^2\left(1-\rho(h)\right).$$

Une forte autocorrélation réduit l’erreur de persistance et rend cette référence plus difficile à dépasser. Cette relation suppose la stationnarité faible ; l’article juge le rapport empirique d’erreurs le plus utile sur les données étudiées. Les dérivations théoriques de NICE¹ et NICE³ ajoutent une hypothèse de normalité.

Lire et rapporter le résultat

  • Afficher aussi les MAE, RMSE et erreurs cubiques en unités physiques : le rapport seul ne donne pas la taille des écarts.
  • Préciser horizon, pas de temps, dates cibles, persistance choisie, valeurs manquantes et éventuel masque nocturne.
  • Une valeur inférieure à 1 ne prouve ni l’intérêt économique du modèle ni sa supériorité à toutes les autres références possibles.

Essayer le calculateur

Garder la démonstration ou coller deux colonnes alignées : observations et prévisions. Choisir l’horizon en pas de temps. Le calculateur affiche NICE¹, NICE², NICE³ et NICEΣ face à la persistance simple aux mêmes dates cibles.

Reproduire un exemple

Quatre observations horaires, quatre prévisions et la persistance issue de l’heure précédente. L’exemple du README passe explicitement la référence à la fonction pour montrer l’alignement.

y     = [500 450 600 550];   % observations (W/m²)
y_hat = [460 480 560 580];   % prévisions du modèle
y_P   = [400 500 450 600];   % dernières observations disponibles
m = nice_metrics(y, y_hat, y_P);
fprintf('NICE1 %.3f NICE2 %.3f NICE3 %.3f NICE_Sigma %.3f\n', ...
    m.NICE1, m.NICE2, m.NICE3, m.NICE_Sigma);

Valeurs attendues pour cet exemple : NICE¹ = 0,400 ; NICE² = 0,365 ; NICE³ = 0,340 ; NICEΣ = 0,368. Le modèle évite ici surtout le grand écart de persistance, d’où une baisse plus marquée pour la norme cubique. Le dépôt fournit aussi demo_nice.m, ses figures et les scripts de l’article dans paper_scripts/.

Article, équipe et code

Article publié : Cyril Voyant, Milan Despotovic, Luis Garcia-Gutierrez, Rodrigo Amaro e Silva, Philippe Lauret, Ted Soubdhan et Nadjem Bailek, « NICEᵏ metrics: Unified and multidimensional framework for evaluating deterministic solar forecasting accuracy », Sustainable Energy Technologies and Assessments, vol. 83, article 104588, 2025, doi:10.1016/j.seta.2025.104588. La méthode et la publication sont le travail de cette équipe ; Cyril Voyant signe cette page de présentation.