Durant l'été, nous vous proposons de découvrir ou redécouvrir certains articles "à succès" publiés depuis l'ouverture du blog Finance & Stratégies.
Le backtesting et le benchmarking correspondent à une double exigence. Tout d’abord, ces deux méthodes sont incontournables dans la mise en place d’une gestion optimale du risque et sont des outils essentiels de surveillance du dispositif de notation des banques. D’autre
part, elles constituent, dans le cadre de l’implémentation de la réforme Bâle II, un enjeu réglementaire pour la validation IRBA (approche Advanced Internal Rating Based).
Rôles du Backtesting et du Benchmarking
Dès lors que les banques ou compagnies d’assurance développent des « modèles internes » d’évaluation du risque (défaillance, pertes, sinistres…), elles doivent s’assurer, au cours du temps, de la performance, de la qualité et de la stabilité de ces modèles. Les pratiques du backtesting et benchmarking (lorsque la mise en place de cette dernière est pertinente et possible) s’avèrent alors indispensables : elles constituent un pré requis, et pas seulement une « Best Practice », pour tout dispositif de gestion des risques basé sur des « modèles internes ».
Si ces pratiques sont essentielles à la prévision des risques, elles s’inscrivent dans un cadre réglementaire récent (Bâle II pour l’activité bancaire ou Solvency II pour l’assurance).
Dans le contexte du nouvel accord de Bâle, les banques sont tenues de démontrer la performance de leur système de notation[1]. Le backtesting[2], méthodologie quantitative et/ ou qualitative nécessaire mais non suffisante, vise à contrôler le caractère prédictif des modèles mis en place dans le cadre d’une gestion pro-active du risque. Il consiste à comparer rétroactivement les paramètres issus du système de notation (PD, LGD, EAD pour l’IRBA) aux réalisations observées sur la période analysée. Il s’agit ainsi de s’assurer, dans une logique de vérification de la performance des processus, que les paramètres de risque « réalisés » sont bien dans les intervalles de valeurs attendues par rapport aux paramètres de risque estimés.
Le Benchmarking[3], quant à lui, est une méthodologie quantitative et/ou qualitative permettant de confirmer la cohérence de la notation vis-à-vis d’outils externes pertinents. Il vise à identifier et analyser les écarts entre les paramètres internes de risques et ceux issus d’un « benchmark » ou « référent » externe. Ce dernier peut être un modèle externe ou un dispositif de place (pool de données, consortium…).
Quelle activité pour quelle analyse ?
Backtesting et Benchmarking sont deux activités complémentaires de supervision des dispositifs d’évaluation et de gestion des risques pour les établissements bancaires et les compagnies d’assurance. Utilisées de manière adéquate, elles permettent de calibrer (ou re-calibrer) les modèles de notation et donc les outils de risque destinés à l’octroi de produits ou à l’évaluation du comportement des clients, en répondant notamment aux problématiques suivantes :
- Les anticipations de risque de l’entité sont-elles cohérentes avec la matérialisation de ce risque (réalisation) ? On cherche ici à backtester le paramètre de risque ex post avec le paramètre estimé (activité 1 de backtesting, schéma ci-dessous).
- Quel est le positionnement de l’entité vis-à-vis des entités de la place ?
- Les anticipations de risque de l’entité sont-elles cohérentes avec celles de la place ? Le Benchmarking de l’estimation en interne avec le système de référence externe permet de répondre à cette question (activité 2 de benchmarking de modèle).
- Les réalisations de risque sont-elles cohérentes avec celles de la place ? (activité 3 de benchmarking des pertes ou des sinistres).
La réponse à ces questions fournit un cadre complet pour le pilotage et la supervision du dispositif de risque.
Les points clés du Backtesting & Benchmarking
L’industrialisation
Si l’interprétation qualitative et le processus de décision ne peuvent être automatisés, l’industrialisation des flux de données et des traitements (collecte, stockage de données souvent hétérogènes et consolidation d’informations provenant de SI divergents) doit permettre une analyse optimale des résultats et une réalisation récurrente d’exercices. L’objectif est de produire un reporting adapté fiabilisant ainsi l’activité et minimisant son coût à la fois en terme de budget et de temps.
La convergence des nomenclatures
Dans le cadre du benchmarking, la nomenclature des données en interne étant a priori différente de celle des données du dispositif externe, la comparaison des paramètres de risque sur une même nomenclature s’avère indispensable. Le mapping consiste alors à mettre en correspondance les sources de données par l’adoption de règles rigoureuses et documentées. Dans la pratique on retient le système qui permettra d’optimiser la granularité de la correspondance entre les deux sources afin de minimiser la perte d’information.
La synthèse des analyses et la communication
Elément primordial du Backtesting et du Benchmarking, la restitution des résultats doit respecter trois points clés :
- Une restitution peu ardue en termes statistiques et mathématiques, permettant de rendre opérationnels les résultats et de convertir les analyses en actions correctrices ;
- Une souplesse dans la manipulation, le passage en revue et la lecture des résultats ;
- Des annexes détaillant les éléments clés de l’analyse.
La gouvernance
Un projet de Backtesting et / ou Benchmarking est transverse car il requiert la participation de plusieurs entités de la banque. En effet, pour être valide, une action correctrice affectant un paramètre de risque doit être décidée collégialement lors de comités entre la direction centrale des risques, les métiers, les commerciaux et la direction financière.
L’enjeu d’un tel projet n’est donc pas seulement de s’assurer de l’exactitude et la cohérence des systèmes et procédures de notation ainsi que de l’estimation des facteurs de risques, mais aussi de concevoir et proposer un véritable outil de pilotage des risques et d’aide à la décision.
[1] BIS §500, CAD §109 : « Credit institutions shall have robust systems in place to validate the accuracy and consistency of rating systems, processes, and the estimation of all relevant risk parameters. A credit institution shall demonstrate to its competent authority that the internal validation process enables it to assess the performance of internal rating and risk estimation systems consistently and meaningfully.»
[2] BIS §501, CAD §110 : « Banks must regularly compare realised default rates with estimated PDs for each grade and be able to demonstrate that the realised default rates are within the expected range for that grade. Banks using the advanced IRB approach must complete such analysis for their estimates of LGDs and EADs. Such comparisons must make use of historical data that are over as long a period as possible. »
[3] BIS §502, CAD §111 : « Banks must also use other quantitative validation tools and comparisons with relevant external data sources. The analysis must be based on data that are appropriate to the portfolio, are updated regularly, and cover a relevant observation period. »
Jeu de briques
Snake
Pacman
Bubble