Rapport épuré

Février 2015

Table des matières

• Singles et abréviations
• Sommaire exécutif
• Réponse de la gestion
• 1 Contexte
• 2 Objectif, portée, méthode et énoncé de conformité.
  • 2.1 Objectif
  • 2.2 Portée
  • 2.3 Méthode
  • 2.4 Énoncé de conformité
• 3 Constatations
  • 3.1 Stratégie de gestion du rendement
  • 3.2 Outils de gestion du rendement
• 4 Conclusion
• 5 Recommandations
• Annexe A - Objectif et critères de vérification
• Annexe B - Références (politiques, lignes directrices et rapports)

Singles et abréviations

AAP

Architecture d'alignement des programmes

BCG

Bureau du contrôleur général

CMR

Cadre de mesure du rendement

CRG

Cadre de responsabilisation de gestion

CT

Conseil du Trésor

DPPS

Direction de la planification et des politiques stratégiques

EMS

État-major supérieur

GRC

Gendarmerie royale du Canada

POGS

Priorités organisationnelles et Gestion des stratégies

PRD

Plan de rendement du détachement

PRG

Plan de rendement général

PRS

Plan de rendement du service

PVR

Plan de vérification axé sur les risques

RMR

Rapport ministériel sur le rendement

RO

Renseignements organisationnels

RPP

Rapport sur les plans et les priorités

SCT

Secrétariat du Conseil du Trésor

SGRR

Structure de la gestion, des ressources et des résultats

SPAR

Système des plans annuels de rendement

TBP

Tableau de bord prospectif

Sommaire exécutif

Un modèle de gestion du rendement bien conçu facilite l'administration des plans et priorités des organisations ainsi que la présentation de rapports sur l'atteinte des objectifs connexes. Afin de concevoir un tel modèle, il faut cependant déterminer dans un premier temps quelle information il y a lieu de recueillir et comment elle offrira une valeur ajoutée aux différents intervenants. Cette démarche s'avère compliquée à la GRC, car idéalement, le modèle de gestion du rendement devrait répondre aux besoins des détachements, des divisions, des provinces et des territoires, de la Direction générale et du gouvernement fédéral. Un modèle efficace permettrait de saisir une seule fois l'information afin qu'elle puisse être regroupée et utilisée dans des perspectives variées pour répondre à diverses exigences de gestion et de rapport.

La formule qu'emploie actuellement la GRC pour la gestion du rendement et la production des rapports connexes gagnerait à faire l'objet d'une planification et d'une orientation stratégiques accrues afin que les intervenants reçoivent des informations exactes et cohérentes à valeur ajoutée. Il y a lieu de simplifier et d'uniformiser la collecte et la compilation de l'information requise pour optimiser l'utilisation des ressources. Des mesures sont en cours pour modifier l'actuel Système des plans annuels de rendement (SPAR), mais un rigoureux travail d'étude et de planification s'impose en ce qui concerne la nature et la présentation de l'information requise, ainsi que les capacités de rapport désirées, avant que d'autres dépenses soient consacrées à des modifications technologiques. Ce n'est qu'en énonçant des objectifs clairs et en veillant à bien les faire comprendre à tous les usagers qu'il sera possible de concevoir un système adapté aux besoins à combler.

Le présent rapport de vérification comporte des recommandations qui visent à améliorer les modalités en vigueur pour les rapports de rendement et qui pourraient se traduire par une bonification de l'information appuyant la prise de décisions, ainsi que par des gains d'efficience continuss. La réponse de la gestion témoigne de la détermination des cadres supérieurs à donner suite aux constatations et aux recommandations qui ressortent de la vérification. La gestion travaille d'ailleurs présentement à l'élaboration d'un plan d'action détaillé. Une fois ce plan approuvé, la Vérification interne de la GRC en surveillera la mise en œuvre et réalisera une vérification complémentaire au besoin.

Réponse de la gestion

La Direction de la planification et des politiques stratégiques (DPPS) souscrit aux constatations issues de la vérification de l'information à l'appui des rapports de rendement et reconnaît la nécessité d'améliorer la formule et les outils de gestion du rendement qu'utilise actuellement la GRC afin de répondre aux besoins de ses programmes et activités, tant à l'échelon fédéral que dans les provinces et les territoires. Il faut un plan détaillé pour assurer l'uniformité, l'efficience et la valeur ajoutée de la gestion du rendement et de la production des rapports connexes dans l'ensemble de l'organisation.

Le succès de toute mise en œuvre repose sur la communication et sur l'établissement de politiques, de modalités et d'outils efficaces. Une discussion sur les constatations ressortant de la vérification et sur les aspects problématiques du SPAR aura donc lieu avec les commandants divisionnaires et d'autres cadres supérieurs lors de la réunion de l'Équipe de gestion supérieure du commissaire en février 2015. Cette discussion aidera la DPPS à examiner l'actuelle formule de gestion du rendement et à élaborer une stratégie appropriée qui énoncera clairement les objectifs à l'égard des rapports en la matière, de sorte que la nouvelle formule tienne compte des besoins des intervenants et donne lieu à des gains d'efficience.

La DPPS est résolue à donner suite aux recommandations de l'équipe de vérification dans le courant du prochain exercice financier. Un plan d'action détaillé à l'égard de ces recommandations sera soumis au Comité ministériel de vérification avant sa réunion de juin 2015.

La dirigeante principale de la Planification et des Politiques stratégiques,
Rennie Marcoux

1 Contexte

La gestion du rendement est essentielle à la prestation de services de police efficaces et à la capacité de la GRC de faire rapport sur son engagement à assurer la sécurité des foyers et des collectivités de tous les Canadiens. La gestion du rendement repose sur l'élaboration de mesures du rendement, ainsi que sur la collecte, la compilation, l'analyse et la présentation des données en la matière.

La collecte de données sur le rendement sert à quatre fins principales. Elle permet d'abord de répondre aux exigences fédérales énoncées par le Conseil du Trésor (CT), premièrement dans la Politique sur la structure de la gestion, des ressources et des résultats (SGRR), et deuxièmement dans la Politique sur l'évaluation de 2009. Selon la Politique sur la SGRR, chaque ministère doit établir un Cadre de mesure du rendement (CMR) faisant état des résultats attendus aux fins de rapport sur les programmes nommés dans l'architecture d'alignement des programmes (AAP), notamment en ce qui concerne les indicateurs de rendement. La Politique sur l'évaluation exige quant à elle l'élaboration de stratégies de mesure du rendement des programmes, y compris l'établissement d'indicateurs de rendement qui permettent d'évaluer le succès des programmes et d'assurer la disponibilité des données requises aux fins d'évaluation. Troisièmement, les divisions de la GRC qui fournissent des services de police contractuels recueillent des informations détaillées sur le rendement afin de répondre aux exigences municipales, provinciales et territoriales en la matière. Quatrièmement, chaque service et détachement de la GRC doit faire une planification de ses activités et documenter son rendement selon les indicateurs établis afin d'améliorer ses façons de travailler et ses résultats.

La DPPS appuie l'augmentation du rendement et l'amélioration continue. Son rôle consiste à coordonner la production des rapports sur le rendement de la GRC à l'intention des organismes centraux et du Parlement, ainsi qu'à assurer la conformité de la GRC à la Politique sur la SGRR. De plus, la DPPS se charge de cerner et d'évaluer les risques organisationnels susceptibles d'influer sur l'application des politiques de la GRC et sur la prestation de ses programmes et services.

Jusqu'en 2014, le tableau de bord prospectif (TBP) était le principal outil de gestion qu'utilisait la GRC pour la compilation de données stratégiques sur le rendement. Il a par la suite été abandonné progressivement, comme en témoigne le rapport de décision de décembre 2013 de l'État-major supérieur (EMS). Pour remplacer le TBP, la DPPS travaille à créer un Plan de rendement général (PRG) dans le SPAR afin d'assurer la saisie de l'information sur la gestion du rendement qui est nécessaire à la production de rapports en fonction du CMR. Le SPAR, en place depuis 2007, a été conçu à l'intention des détachements situés dans les divisions qui assurent des services de police contractuels, afin qu'ils puissent dresser des Plans de rendement du détachement (PRD) énonçant les priorités, les initiatives et les cibles à atteindre dans les rapports destinés aux municipalités, aux provinces et aux territoires. Certains groupes fédéraux et administratifs utilisent aussi le SPAR pour dresser des Plans de rendement du service (PRS), mais ce n'est pas obligatoire.

Des remaniements au sein de la GRC ont récemment nécessité la révision de l'AAP et du CMR, démarche qui a donné lieu à certaines modifications aux indicateurs de rendement et aux sources d'information. La transition du TBP au SPAR s'inscrit, tout comme la révision de l'AAP et du CMR, dans la mise en œuvre de la nouvelle formule de gestion du rendement de la GRC.

En avril 2014, le commissaire a approuvé la réalisation d'une vérification de l'information recueillie à l'appui des rapports de rendement dans le cadre du Plan de vérification axé sur les risques (PVR) pour 2014-2017. Cette vérification a comporté une évaluation des progrès accomplis relativement à la réponse de la gestion à la vérification interne horizontale de la conformité à laPolitique sur la SGRR menée par le Bureau du contrôleur général (BCG), réponse dans laquelle la DPPS s'était engagée à élaborer une nouvelle formule de gestion du rendement pour la GRC. Le plan d'action de la gestion précisait que la DPPS dresserait un plan d'activités incorporant la SGRR à tous les aspects de la planification et de l'affectation des ressources avant le 1er avril 2014.

2 Objectif, portée, méthode et énoncé de conformité

2.1 Objectif

Évaluer l'efficacité et l'efficience des processus et modalités en voie d'établissement aux fins de la gestion stratégique du rendement au sein de la GRC.

2.2 Portée

La vérification a comporté une évaluation de la gestion du rendement à la GRC qui a mis l'accent sur les types d'information recueillis, la façon dont l'organisation présente cette information et l'utilisation qui en est faite à chacun de ses échelons. Un suivi a également été effectué quant aux plans d'action de la gestion dressés à la suite de la vérification interne horizontale de la conformité à la Politique sur la SGRR menée par le BCG.

2.3 Méthode

La planification de la vérification s'est achevée en septembre 2014. Au cours de cette phase, l'équipe de vérificateurs a procédé à des entrevues avec le personnel de la DPPS et avec des membres de la haute direction et a analysé les politiques et les documents d'orientation pertinents sur la gestion du rendement. Les critères qui ont servi à élaborer les procédés de vérification reposent sur les politiques et les lignes directrices de la GRC, ainsi que sur le document du BCG intitulé Critères de vérification liés au Cadre de responsabilisation de gestion : outil à l'intention des vérificateurs internes. Les objectifs et les critères de vérification sont énoncés à l'annexe A.

Pendant la phase d'examen, qui a duré jusqu'en novembre 2014, l'équipe de vérificateurs a employé diverses techniques : elle a examiné des documents ayant trait à la gestion du rendement, s'est entretenue avec des membres de la haute direction et avec le personnel de la DPPS, a analysé des PRD et des PRS et s'est penchée sur les informations recueillies au moyen de questionnaires envoyés à 48 destinataires incluant des chefs de détachement et de service, des planificateurs et des officiers hiérarchiques dans quatre divisions (E, H, O, V) et un secteur d'activité (Services de police spécialisés). Ces destinataires ont été choisis parmi ceux qui avaient dressé un PRD ou un PRS au cours des deux années précédentes.

2.4 Énoncé de conformité

La mission de vérification est conforme aux normes de vérification interne du gouvernement du Canada, comme en font foi les résultats du programme d'assurance et d'amélioration de la qualité.

3 Constatations

3.1 Stratégie de gestion du rendement

Selon la Politique sur la SGRR, tous les ministères et organismes fédéraux doivent recueillir des données sur le rendement afin de mesurer, de surveiller et d'évaluer leurs réussites et afin de saisir les occasions d'apporter des améliorations. Ces données servent à fixer de nouvelles priorités, de nouveaux objectifs et de nouvelles cibles pour la prochaine année. Les vérificateurs s'attendaient à voir une stratégie de gestion du rendement définissant les exigences quant aux données sur le rendement à recueillir en vue de la production de rapports et de l'amélioration des programmes. Ils s'attendaient également à ce que les données sur le rendement recueillies par les détachements et les services respectent les exigences du CMR de la GRC, les priorités divisionnaires et les exigences en matière d'évaluation des programmes et à ce qu'elles appuient la planification des activités à l'échelon local. Idéalement, les plans devaient permettre le regroupement des données afin de répondre aux exigences de rapport et de soutenir la prise de décision à tous les échelons.

Les vérificateurs ont d'abord cherché à déterminer si une formule et une stratégie avaient été établies, puis si un plan avait été dressé pour faire en sorte que les bonnes données sur le rendement soient recueillies à chaque échelon de l'organisation. Ils se sont ensuite penchés sur les exigences quant à la présentation de rapports au gouvernement fédéral et quant à la présentation de rapports sur les services de police contractuels aux provinces et aux territoires. Finalement, l'équipe a déterminé comment l'information était recueillie et regroupée en vue de la production des rapports requis.

La DPPS a pour mandat de favoriser l'amélioration continue et le rendement accru des programmes ainsi que de faire rapport sur la gestion du rendement à l'échelon ministériel. En réponse à la vérification interne horizontale de la conformité à laPolitique sur la SGRRmenée par le BCG en 2013, la DPPS a dressé un plan d'action qui prévoyait un engagement à mettre en œuvre une nouvelle formule de gestion du rendement pour la GRC avant avril 2014. Cette formule devait incorporer la SGRR à tous les aspects de la planification et de l'affectation des ressources. Bien qu'elle n'ait pas dressé un plan de mise en œuvre détaillé et assorti d'échéances, la DPPS travaille à l'élaboration d'une nouvelle formule de gestion du rendement qui comprend une AAP et un CMR révisés ainsi que de nouveaux outils pour faciliter la production de rapports.

Exigences en matière de gestion du rendement

Après la révision de l'AAP, un nouveau CMR a été soumis à l'approbation du Secrétariat du Conseil du Trésor (SCT) en novembre 2014. Le CMR a été remanié en profondeur afin d'inclure des indicateurs de rendement améliorés qui mesurent les résultats et l'efficience au moyen de données statistiques et de sondages auprès des clients. L'AAP et le CMR n'étant pas des documents statiques, ils feront l'objet de révisions ultérieures qui permettront de raffiner certains des indicateurs du CMR afin d'inclure d'autres mesures touchant les activités opérationnelles.

La majorité des exigences de rapport liées au CMR visent les services fédéraux. Ces services éprouvent encore de la difficulté à établir des indicateurs pour mesurer l'impact de leur travail. C'est compréhensible, vu la diversité et la complexité de leurs fonctions. Certains utilisent des cibles et des indicateurs qui mesurent les extrants plutôt que les résultats. Des efforts s'imposent pour faire en sorte que tous les services recueillent et documentent des données sur leur rendement dans leur PRS afin de respecter les exigences de rapport du CMR et de favoriser l'amélioration du rendement. Ce n'est pas le cas à l'heure actuelle, les PRS n'étant pas utilisés pour fournir l'information requise selon le CMR. Priorités organisationnelles et Gestion stratégique (POGS) a aidé certains services administratifs et fédéraux à établir des plans stratégiques, mais jusqu'à maintenant, la priorité a été accordée à la révision des PRD. Afin de jeter les bases nécessaires à la conduite d'évaluations, le Groupe de l'évaluation de la GRC a collaboré avec POGS pour aider les services fédéraux à définir et à améliorer leurs indicateurs de rendement. Il est essentiel d'établir des paramètres concrets et utiles avant de déterminer le mécanisme à privilégier pour la saisie et l'analyse des données.

Selon les conditions des contrats que la GRC a signés avec les provinces et les territoires pour la prestation de services de police, les divisions sont tenues de faire rapport à leur province respective sur la réalisation de leurs objectifs et priorités. L'information recueillie dans cette optique sert non seulement à rendre compte du rendement, mais aussi à fixer les priorités futures. La difficulté tient à la nécessité de satisfaire aux exigences propres à chaque province. La plupart des commandants divisionnaires se disent satisfaits de l'information sur la gestion du rendement qu'ils reçoivent des planificateurs ou du personnel chargé de fonctions stratégiques, mais connaissent plus ou moins les modalités régissant la collecte de cette information et l'ampleur du travail qui y est consacré.

Les services, les détachements et les divisions progressent vers une amélioration de la gestion du rendement, mais les travaux en ce sens s'accomplissent essentiellement en vase clos et de façon manuelle. Le caractère très laborieux du processus augmente les risques quant à l'accessibilité de l'information requise à chaque échelon. Peu de démarches ont été faites pour déterminer s'il y aurait un moyen plus efficient et reproductible d'obtenir cette information.

Communication et conseils

Consciente de l'importance de la communication, surtout en période de changement, la DPPS préside un comité consultatif qui fait participer les planificateurs aux discussions portant sur les questions d'intérêt national liées à la gestion stratégique du rendement et qui propose des améliorations en la matière. Le mandat de ce comité précise que les participants aux discussions doivent communiquer les améliorations et les changements proposés à leur division, secteur d'activité ou secteur de service respectif. C'est utile, mais il y a également lieu de veiller à ce qu'un message cohérent et clairement appuyé par le centre de décision soit diffusé à tous les services et à toutes les divisions.

Pour assurer l'efficacité d'une stratégie de gestion du rendement, il faut exposer clairement les attentes en la matière, définir avec précision les rôles et les responsabilités de chaque intervenant et établir un mécanisme de surveillance qui permet de vérifier le respect des exigences. La DPPS travaille à un guide sur la gestion stratégique du rendement qui s'inscrit dans cet objectif. Il serait toutefois utile d'en modifier la version actuelle pour définir clairement les rôles et les responsabilités des intervenants, y compris en matière de surveillance. Le guide devrait par ailleurs expliquer comment chaque élément du processus est intégré à la production de rapports aux différents échelons et comment le PRG servira à recueillir des données sur le rendement des programmes à l'appui du nouveau CMR. Les commandants divisionnaires ont signalé qu'ils ne reçoivent aucune rétroaction de la DPPS quant à la qualité des plans versés dans le SPAR et que les attentes relatives à l'établissement de ces plans sont mal communiquées, surtout en ce qui concerne le respect des exigences fédérales en matière de gestion du rendement. En faisant des démarches actives auprès des responsables de plans, des détachements et des services pour vérifier que tous comprennent l'incidence de la transition sur leur travail, on favoriserait le bon déroulement du virage. En offrant un soutien accru aux planificateurs et aux responsables de plans afin que tous les intervenants reçoivent les conseils, les outils et la rétroaction dont ils ont besoin pour mettre en œuvre la nouvelle formule, on renforcerait le processus de gestion du rendement dans l'ensemble de l'organisation.

3.2 Outils de gestion du rendement

En décembre 2013, l'EMS a discuté et convenu de l'abandon du TBP et de l'élaboration d'un outil de renseignements organisationnels (RO). Suite à cette décision, la DPPS a annoncé en février 2014 que le SPAR deviendrait le principal outil de gestion stratégique du rendement de la GRC. L'ajout d'un logiciel d'ID devait permettre au SPAR de produire des renseignements plus exacts et à jour sur le rendement. L'atteinte de cet objectif dépendra toutefois des capacités du système et de la qualité des données qui y sont versées. Fait inquiétant, le SPAR n'offre actuellement aucune capacité de recherche ou de regroupement d'informations; or, pour être efficace, il doit permettre le regroupement des informations venant de tous les échelons et faciliter la compilation et l'extraction de données aux fins de rapport et de décision. Un plan dressé tout récemment expose les modifications à apporter au SPAR en vue d'y incorporer un PRG, mais pas celles qui s'imposent en vue d'y conjuguer efficacement un outil de RO.

En raison des lacunes que présente le SPAR, les divisions utilisent actuellement plusieurs méthodes et systèmes pour la collecte, le suivi et l'évaluation de l'information sur le rendement, tels que des tableurs électroniques et des bases de données locales. La plupart des rapports sont donc produits manuellement, ce qui limite la capacité des planificateurs de répondre rapidement aux demandes ou de surveiller continuellement les progrès. Le fait d'uniformiser et de rendre plus accessibles les outils qu'emploient les détachements et les services pour recueillir, compiler et présenter l'information sur le rendement améliorerait l'efficience et favoriserait le regroupement de l'information à l'échelle divisionnaire, ce qui faciliterait la surveillance du rendement et le respect des exigences de rapport.

Un examen des données contenues dans le SPAR a révélé des lacunes sur les plans de l'exhaustivité et de la comparabilité. En effet, selon une analyse quantitative des plans de 2013-2014, certaines informations essentielles sur le rendement ne seraient pas toujours consignées. Par exemple, 16 % des plans visés ne mentionnent ni enjeux, ni objectifs, ni mesures; 18 % ne font état d'aucune priorité ou initiative stratégique; et 39 % ne comportent aucune évaluation des risques. De plus, les données ne sont pas consignées de manière uniforme, ce qui limite les possibilités d'analyse et de comparaison. Certains responsables de plans présentent les progrès sous forme de pourcentage, tandis que d'autres les expriment en chiffres bruts. À ces pratiques divergentes s'ajoute le fait que le système oblige les utilisateurs à entrer des données texte plutôt que des données numériques dans un grand nombre de champs. Beaucoup tiennent un genre de journal ou de registre où ils décrivent en long et en large les progrès réalisés dans la mise en œuvre des initiatives. Cette tendance aux exposés narratifs complique l'analyse et la validation des données par les planificateurs; non seulement l'efficience et la fiabilité en souffrent-elles, mais il devient alors difficile de déterminer si des progrès ont été réalisés. Mentionnons enfin que l'immense variété des indicateurs de rendement utilisés dans les détachements et les services vient elle aussi entraver le regroupement des données à l'échelle divisionnaire.

Il n'existe présentement aucun mécanisme qui permette à la DPPS de confirmer le nombre de plans qui devraient être dressés chaque année. L'analyse quantitative a révélé que le nombre de plans (PRD et PRS) dans le système avait diminué au cours des cinq dernières années. De 2012-2013 à 2013-2014, ce nombre a baissé de 17 %, passant de 1 134 à 939. De ces 939 plans, 376 venaient de services fédéraux, comparativement à 570 en 2009-2010.

Les détachements sont actuellement les principaux utilisateurs du SPAR. S'ils voient l'utilité de dresser des plans de rendement, ils trouvent cependant le SPAR peu convivial. Les responsables de plans ont éprouvé des difficultés techniques au moment de l'établissement de leurs plans et de la compilation des données. À cause des capacités de rapport limitées du SPAR, problème auquel s'ajoutent les incohérences dans les données consignées, les commandants divisionnaires ont de la difficulté à surveiller régulièrement les progrès et à prendre rapidement des mesures correctives. Ils doivent plutôt se fier aux données compilées manuellement par les planificateurs pour assurer l'atteinte des cibles fixées pour les détachements. De leur côté, les détachements et les services doivent aussi produire des rapports manuellement pour répondre aux besoins des planificateurs divisionnaires. Ce processus très laborieux entraîne des dédoublements et augmente les risques d'inexactitude des données.

Un plan a récemment été dressé dans le but de modifier le SPAR pour en améliorer la convivialité ainsi que la fonction de rapport et y intégrer des PRG, mais il reste encore à approuver. Ce plan prévoit aussi la modification du SPAR en fonction des exigences du CMR. Il documente l'adaptation de l'application sur une période de trois ans, sans toutefois mentionner le besoin d'examiner et d'uniformiser la présentation de l'information dans le système, ni la nécessité de passer du simple dépôt de données à une solution dynamique et interrogeable. Il sera essentiel de franchir cette étape avant d'élaborer un outil de RO pour la consultation des données. L'utilisation d'un outil de RO améliorera la capacité d'extraire, de compiler et de présenter les données sur la gestion du rendement, mais une planification rigoureuse s'impose d'abord pour assurer la collecte des bonnes données et la capacité de les compiler en fonction de diverses exigences de rapport.

4 Conclusion

La gestion du rendement fait partie intégrante de la gouvernance dans le secteur public, et la GRC doit faire la collecte et l'analyse des données portant sur son rendement de manière à pouvoir se conformer aux exigences des politiques sur la SGRR et sur l'évaluation. Pour être efficace, le plan de gestion du rendement doit comporter de solides indicateurs de rendement, s'appuyer sur un outil qui permet le regroupement des données et leur présentation tant au Parlement qu'aux provinces et aux territoires, et définir les responsabilités des services et des détachements, de même que les attentes à leur endroit.

Plusieurs modifications ont été apportées pendant le déroulement de la vérification, et la révision des pratiques de gestion se poursuit. Le TBP ayant été abandonné avant la mise en place d'un nouveau régime de gestion du rendement, l'organisation peut difficilement rendre compte de ses réalisations pendant la période de transition sans une intervention manuelle considérable.

Le fait d'améliorer la planification et la communication à l'échelle de l'organisation faciliterait le passage à la nouvelle formule de gestion du rendement de la GRC. Il y aurait également lieu de modifier les politiques et les documents d'orientation en fonction des changements apportés. Finalement, il est essentiel que la haute direction participe au virage et y donne son aval pour en assurer l'acceptation.

Les démarches en cours pour instaurer la nouvelle formule de gestion du rendement offrent une occasion d'établir de solides indicateurs de rendement et de simplifier notre façon de recueillir, de consigner et de présenter l'information sur le rendement. Avec un plan détaillé, il devrait être possible de mettre en place une formule qui répondra à tous les besoins de l'organisation. Ce plan devrait comporter un cadre commun grâce auquel des données uniformes seraient versées dans un outil dynamique et interrogeable de manière à pouvoir être utilisées à des fins multiples. L'adoption d'une formule normalisée pour la gestion du rendement augmenterait l'efficience en réduisant les dédoublements et fournirait une base solide pour la présentation de rapports sur le rendement à tous les échelons.

5 Recommandations

1) La dirigeante principale de la Planification et des Politiques stratégiques devrait :

Dresser un plan global pour la collecte et la présentation de l'information sur le rendement dans l'ensemble de la GRC, qui répond de façon efficiente aux exigences de rapport à tous les échelons, qui permet le regroupement des données et qui facilite la surveillance et la gestion du rendement.

2) La dirigeante principale de la Planification et des Politiques stratégiques devrait :

Poursuivre l'élaboration et la mise en œuvre d'outils pour favoriser l'exécution de ce plan, y compris des politiques, des guides de l'utilisateur et des systèmes.

3) La dirigeante principale de la Planification et des Politiques stratégiques devrait :

Établir d'autres mécanismes pour la communication des objectifs et des exigences en matière de gestion du rendement à la haute direction.

Annexe A - Objectifs et critères

Objectif : La vérification avait pour objectif d'évaluer l'efficacité des modalités mise en place à l'appui de la gestion stratégique du rendement au sein de la GRC.	Critère 1 : Il y a eu établissement d'un plan pour la mise en œuvre de la nouvelle formule de gestion stratégique du rendement.
	Critère 2 : Des politiques et des modalités sont en place pour la gestion stratégique du rendement.
	Critère 3 : Des mécanismes de surveillance sont en place pour la gestion stratégique du rendement.
	Critère 4 : L'information sur le rendement répond aux besoins de la haute direction, des divisions, des détachements et des services en ce qui concerne la prise de décision stratégique.

Annexe B - Références (politiques, lignes directrices et rapports)

Politiques, directives et guides du Conseil du Trésor

Politique sur la structure de la gestion, des ressources et des résultats (SGRR)
Politique sur l'évaluation

Rapports annuels de la GRC

Rapport ministériel sur le rendement (RMR)
Rapport sur les plans et les priorités (RPP)

Rapports externes

Vérification interne horizontale de la conformité à la Politique sur la structure de la gestion, des ressources et des résultats menée par le Bureau du contrôleur général (BCG), mars 2013

Vetted Report

February 2015

Table of Contents

• Acronyms and Abbreviations
• Executive Summary
• Management's Response to the Review
• 1 Background
• 2 Objective, Scope, Methodology and Statement of Conformance
  • 2.1 Objective
  • 2.2 Scope
  • 2.3 Methodology
  • 2.4 Statement of Conformance
• 3 Audit Findings
  • 3.1 Performance Management Strategy
  • 3.2 Performance Management Tools
• 4 Conclusion
• 5 Recommendations
• Appendix A - Audit Objectives and Criteria
• Appendix B - Policies, Guidelines and Report References

Acronyms and Abbreviations

APPS

Annual Performance Planning System

BI

Business Intelligence

BSC

Balance Scorecard

DPP

Detachment Performance Plan

DPR

Departmental Performance Report

EPP

Executive Performance Plan

MAF

Management Accountability Framework

MRRS

Management, Resources and Results Structures

OCG

Office of the Comptroller General

OPSM

Organizational Priorities and Strategic Management

PAA

Program Alignment Architecture

PMF

Performance Measurement Framework

RBAP

Risk-Based Audit Plan

RCMP

Royal Canadian Mounted Police

RPP

Report on Plans and Priorities

SEC

Senior Executive Committee

SPPD

Strategic Policy and Planning Directorate

TB

Treasury Board

TBS

Treasury Board of Canada Secretariat

UPP

Unit Performance Plan

Executive Summary

A well designed performance management model is a key tool to aid an organization in managing its priorities and plans and to report on its progress in achieving established performance objectives. Key to the design of such a system is determining what information should be collected, and how it will add value to the various stakeholders. Within the RCMP, development of such a system is complicated in that ideally, it should meet local, divisional, provincial, headquarters, and federal requirements. A well-designed system would allow information to be entered once and subsequently amalgamated and viewed from different perspectives to meet a host of management and reporting requirements.

The current approach to performance management and performance reporting within the RCMP would benefit from additional strategic planning and direction to ensure it provides consistent, accurate, value-added information to stakeholders. A more streamlined and consistent approach to gathering and collating the required information is warranted, to ensure maximum benefits are derived from the resources expended. While efforts are currently underway to modify the existing Annual Performance Planning System, careful planning and consideration of the required information, its format, and desired reporting capabilities is needed prior to investing further in any technology changes. Only through clearly articulating the objectives, and ensuring all users have a consistent understanding of its purpose, can an appropriate system be developed to meet the need.

This audit report includes recommendations that seek to improve existing performance reporting processes and which could result in improved information for decision-making as well as on-going efficiency gains. The management response demonstrates the commitment from senior management to address the findings and recommendations. A detailed management action plan is currently being developed. Once approved, RCMP Internal Audit will monitor its implementation and undertake a follow-up audit if warranted.

Management's Response to the Review

Strategic Policy and Planning Directorate (SPPD) agrees with the findings of the Audit of Information to Support Performance Reporting. SPPD recognizes that improvements are required to the current approach and tools used for performance management in the RCMP in order to meet the requirements of the RCMP's programs and activities, at the federal and provincial/territorial levels. A comprehensive plan is required to ensure that performance management and reporting is consistent, efficient and value-added across the RCMP.

Communication is a key component of successful implementation, as is providing effective policies, procedures and tools. A discussion on the findings of this audit and the challenges associated with the APPS will be held with Commanding Officers and other senior managers at the February 2015 meeting of the Commissioner's Senior Management Team. This discussion will assist SPPD in its examination of the current approach and the development of an appropriate strategy which clearly articulates performance reporting objectives. A focus will be placed on ensuring the resulting approach meets the needs of stakeholders and creates efficiencies in reporting requirements.

SPPD commits to taking action on the recommendations during the next fiscal year. A detailed management action plan which addresses the report recommendations will be developed for review by the Departmental Audit Committee prior to their June 2015 meeting.

Rennie Marcoux
Chief Strategic Policy and Planning Officer

1 Background

Performance management is a key element in the delivery of effective policing and is crucial to the RCMP's ability to report on its commitment to safe homes and communities for all Canadians. Central to performance management is the development of performance measures, the collection of performance data, and the compilation, analysis and reporting of performance information.

Performance measures are collected for four principal purposes. Two of these are federal government requirements related to performance management reporting: The Treasury Board (TB) Policy on Management, Resources and Results Structures (MRRS) and the 2009 Policy on Evaluation. The policy on MRRS calls for each department to create a Performance Measurement Framework (PMF) that outlines the expected results, including performance measures, for reporting on programs identified in the Program Alignment Architecture (PAA). The Policy on Evaluation requires the development of Program Performance Measurement Strategies, which include performance measures to assess the success of a program and ensure data availability for evaluations. As well, RCMP contract policing divisions collect extensive performance information to satisfy municipal, provincial and territorial requirements. Finally, each RCMP unit and detachment is expected to be engaged in business planning and to track performance metrics in order to improve processes and results.

Performance enhancement and continuous improvement is supported by the Strategic Policy and Planning Directorate (SPPD). Their role includes the coordination of RCMP performance reporting to central agencies and Parliament and ensuring RCMP compliance with the Policy on MRRS. It also includes identifying and assessing corporate risks that may affect the delivery of RCMP policies, programs and services.

Until 2014, the Balance Scorecard (BSC) was the RCMP's main performance management tool to compile strategic performance data. As per the SEC Record of Decisions of December 2013, the BSC was phased out. To replace it, SPPD is developing an Executive Performance Plan (EPP) within the Annual Performance Plan System (APPS) to record the performance management information necessary to report on the PMF. The APPS has been in place since 2007. It was designed for detachments in contract provinces to create Detachment Performance Plans (DPP) that establish priorities, initiatives and targets to report to municipalities, provinces and territories. Some federal and administrative units also use the APPS to create Unit Performance Plans (UPP) but this has not been mandatory.

Restructuring within the RCMP required both the PAA and PMF to be recently revised. This revision included some changes to performance indicators and information sources. The transition from the BSC to the APPS, and the revised PAA and PMF, are all part of the new performance management approach currently being implemented in the RCMP.

In April 2014, the Commissioner approved an audit of information to support performance reporting as part of the 2014-17 Risk-Based Audit Plan (RBAP). The scope of the audit included an assessment of the progress on the management response to the Office of the Comptroller General (OCG) Horizontal Internal Audit of Compliance with the Policy on MRRS. In response to the audit, SPPD committed to a new performance management approach for the RCMP. The management action plan stipulated that SPPD would develop a business plan to incorporate the MRRS within all aspects of planning and resource allocation by April 1, 2014.

2 Objective, Scope, Methodology and Statement of Conformance

2.1 Objective

To assess the effectiveness and efficiency of the processes and procedures being put in place for strategic performance management within the RCMP.

2.2 Scope

The audit scope included an assessment of performance management in the RCMP with a focus on the types of performance information collected, how the information is reported and how the information is used at all levels of the organization. The audit also included a follow-up to the Management Action Plans resulting from the OCG Horizontal Internal Audit of Compliance with the Policy on MRRS.

2.3 Methodology

Planning for the audit was completed in September 2014. Interviews were conducted with SPPD staff and senior management and relevant policies and guidance documents regarding performance management were examined. Audit criteria used to develop audit tests were based on RCMP policies and guidelines, and the Audit Criteria related to the Management Accountability Framework: A Tool for Internal Auditors developed by the Office of the Comptroller General. Audit objectives and criteria are available in Appendix A.

The examination phase, which concluded in November 2014, employed various auditing techniques including: the review of performance management related documents; interviews with senior management and SPPD staff; and the analysis of Detachment Performance Plans (DPP) and Unit Performance Plans (UPP); as well as information obtained through questionnaires sent to 48 detachment and unit commanders, planners and line officers across four Divisions (E, H, O, V) and one business line (SPS). These sites were judgmentally selected from those that had completed a DPP or UPP over the past two years.

2.4 Statement of Conformance

The audit engagement conforms to the Internal Auditing Standards for the Government of Canada, as supported by the results of the quality assurance and improvement program.

3 Audit Findings

3.1 Performance Management Strategy

The Policy on MRRS requires that all federal departments and agencies collect performance information in order to measure, monitor and assess their successes and realize opportunities for improvements. This information is used to set new priorities, objectives and targets for the following year. The auditors expected that a strategy for performance management would be in place that would define the requirements to collect performance information needed for reporting and program enhancement. Performance information collected at the detachment and unit levels was expected to align with the RCMP PMF, divisional priorities and program evaluation requirements as well as support local business planning. Ideally the plans would allow for consolidation to fulfill reporting requirements and support decision-making at all levels.

The audit first examined whether an approach and a strategy had been established and then whether a plan had been developed to ensure that the right performance data is captured at all levels of the organization. Federal government reporting requirements and the contract policing requirements to report to the provinces were then reviewed. Lastly, the team assessed how the information is collected and consolidated to complete the required reporting.

SPPD has a mandate to support enhanced program performance and continuous improvement as well as to report performance management information at the department level. In response to the 2013 OCG Horizontal Internal Audit of Compliance with the Policy on MRRS, SPPD established a management action plan that included a commitment to implement a new performance management approach for the RCMP by April 2014. The approach was to incorporate the MRRS within all aspects of planning and resource allocation. While a detailed implementation plan with associated milestones has not been developed, a new performance management approach that includes a revised PAA, a revised PMF and new tools to facilitate reporting is under development.

Performance Management Requirements

Following the revision of the PAA, a new PMF was submitted to TBS for approval in November 2014. The PMF has been substantially revised to include improved performance indicators that measure outcomes and efficiency using statistically based data and client-based surveys. The PAA and the PMF are not static documents and will be reviewed again in the future, giving the opportunity to further refine some of the PMF indicators to include additional measures of operational activities.

Federal units constitute the majority of PMF reporting requirements. These units continue to face challenges in developing metrics that measure the impact of their work. This is understandable given the diversity and complexity of the work they undertake. Some units are tracking established targets and indicators that measure outputs as opposed to outcomes. Efforts are required to ensure that all units are collecting and recording performance information in their UPP in support of PMF reporting and to facilitate performance improvement. Currently this is not the case as UPPs are not being used to provide the information required for PMF reporting. Organizational Priorities and Strategic Management (OPSM) has provided assistance to some administrative and Federal units to establish strategic plans, however, their focus to date has been on reviewing detachment level plans. To establish a foundation for future evaluations, the RCMP Evaluation Group, in conjunction with OPSM has provided some assistance at the unit level to develop and improve Federal unit performance indicators. Establishing relevant, measurable metrics is a key step prior to considering the mechanism to be used to capture and analyze the resulting data.

Under the terms of the RCMP contracts with provinces to provide policing services, divisions are required to report on the implementation status of their objectives, priorities and goals to their respective provinces. In addition to reporting on performance, this information is used to set future priorities. The challenge at this level is to meet the requirements of the individual provinces. Most Divisional Commanding Officers stated they are satisfied with the performance management information they receive from their divisional planners or strategic staff however they had limited awareness of the processes in place to gather this information, or of the level of effort involved.

Although units, detachments and divisions are all making progress in improving performance management, the efforts remain largely siloed and manual. This process is very labour intensive and increases the risk that performance information required at all levels is not readily available. There has been limited effort to determine if the information could be obtained in a more replicable, efficient manner.

Communication and Guidance

Recognizing the importance of communication, in particular during a period of change, SPPD chairs a working level advisory committee that engages planners in discussions on national issues related to strategic performance and communicates proposed improvements. The terms of reference for this committee indicate that proposed improvements and changes are to be communicated by the attendees within their respective Division, Business Line or Corporate Service Sector. While this is a positive step, efforts are needed to ensure that a consistent message with clear endorsement from the policy centre is disseminated to all units and divisions.

A successful performance management strategy requires clearly communicated expectations, clearly defined roles and responsibilities and a monitoring and oversight mechanism to ensure the implementation meets the requirements. SPPD is developing a Strategic Performance Management Guide to meet this requirement. The current draft guide would benefit by clearly detailing roles and responsibilities, including the requirement for monitoring and oversight. The guide should indicate how each element in the process is integrated into reporting at the various levels. In addition, it should include information on how the EPP will be used to capture program level performance information to support the new PMF. CO's indicated that they do not receive feedback from SPPD on the quality of their plans within APPS and expectations regarding the completion of plans are not well communicated, especially in terms of meeting federal performance management requirements. Actively reaching out to plan owners, detachments and units to ensure that they all understand how the transition will impact their work, would contribute to a smooth implementation. Increased support to planners and plan owners would strengthen the performance management process throughout the organization by ensuring that all have the guidance, tools and feedback necessary to implement the new approach.

3.2 Performance Management Tools

In December 2013, the discontinuation of the BSC and the development of a BI tool was discussed and approved by Senior Executive Committee (SEC). Subsequent to this decision, SPPD announced in February 2014 that the APPS would become the primary strategic performance management tool used by the RCMP. The APPS in conjunction with Business Intelligence (BI) software, was intended to deliver accurate and more timely performance information. Whether the APPS can fulfill this role in the future depends on the capabilities of the system and the quality of the data stored in it. Of concern, the APPS does not currently have the capacity to search for or consolidate information. To be efficient and effective, the APPS must allow information to be consolidated from all levels, and facilitate the compilation and extraction of data for use in reporting and decision-making. Only recently, a plan has been developed outlining necessary changes to the APPS to support the inclusion of an EPP. However, the plan does not outline the changes required to the APPS to ensure that it can be used effectively with a BI tool.

Currently, Divisions use several methods and systems to collect, track and assess performance information such as spreadsheets and local databases because of the APPS limitations. As a result most reports are generated manually, limiting the planners' capability to respond quickly to requests or monitor progress on an ongoing basis. Standardizing the tools used by detachments and units to record, tabulate and report performance information and increasing access to these tools would improve efficiency and allow for consolidation of the information across the Division. This would facilitate performance monitoring and the fulfillment of reporting requirements.

Analysis of APPS data highlighted areas for improvement with respect to completeness and comparability. A quantitative analysis of the 2013-2014 plans indicated that essential performance information was not always being recorded. For example, 16% did not include issues, objectives and measures; 18% of plans did not identify strategic priorities and initiatives; and 39% did not include a risk assessment. In addition, the data was not recorded in a standardized format limiting analysis and comparability. Some plan owner's recorded progress as a percentage, while others measured progress in raw numbers. Moreover, a large portion of the fields use text rather than numeric formats. In many cases a diary or log book approach has been used and lengthy dialogues are provided to outline progress in implementing initiatives. This use of text complicates analysis and validation of information by planners, reduces efficiency and reliability, making it difficult to determine if progress occurred. Performance indicators used across detachments and units varied greatly, further inhibiting the consolidation of data across the divisions.

There is currently no mechanism in place for SPPD to be able to confirm the number of plans that should be completed each year. Quantitative analysis indicated that the recorded number of plans (DPPs and UPPs) in the system decreased over the past 5 years. Between 2012-2013 and 2013-2014 the number of plans decreased by 17%, from 1,134 to 939 plans. Of the 939 plans, 376 were federal UPPs. By comparison, 570 federal UPPs were completed in 2009-2010.

Detachments are currently the main users of the APPS and although they see the value in completing performance plans, users indicated that the APPS is cumbersome and not user-friendly. Plan owners experienced IT-related challenges when developing their plans and compiling data. APPS reporting limitations, combined with inconsistency in the information recorded, make it difficult for Division Commanding Officers to monitor progress on a regular basis and take any necessary corrective action in a timely manner. Rather, they must rely on manually aggregated data from planners to ensure detachment targets are met. Similarly, manual reports must be produced by detachments and units in response to the needs of divisional planners. This is very labour intensive, results in duplication of effort and increases the risk of data inaccuracy.

A plan to modify the APPS to include EPPs and improve the ease of use and reporting function has recently been developed although it is not yet approved. This plan also includes the modification of the APPS to align with PMF requirements. The plan documents the transition of the application over a three-year period however it does not address the requirement to review and standardize the format of information within the system nor to change it from a data repository to a dynamic searchable tool. This is a necessary step before a BI tool can be developed to access the data. The use of a BI tool will improve the ability to extract, compile and report data related to performance management. However, careful planning is required to ensure that the right data is captured at the source and can be compiled to support different reporting requirements.

4 Conclusion

Performance management is a key part of public governance and the RCMP must be in a position to comply with MRRS and Evaluation requirements by collecting and analyzing data related to its performance. To be successful, the performance management plan should include strong performance indicators; be supported by a tool that allows consolidation and reporting to both Parliament and the provinces; and define the expectations and accountabilities at the unit and detachment level.

Several changes have been made over the time period of this audit and performance management practices continue to be revised. The BSC was phased out before having a new performance management system in place, making it difficult for the organization to report on its accomplishments during this period without significant manual intervention.

The transition to a new performance management approach in the RCMP would benefit from improved planning and communication across the organization. Policies and guidance documents should also be amended to reflect the changes. The involvement and approval by senior management in this transition is essential to ensure acceptance of the changes.

The implementation of the new performance management approach, currently in progress, is an opportunity to develop strong performance indicators and streamline the way we collect, record and report performance information. With a comprehensive plan, an approach that meets all departmental requirements should be achievable. Such a plan would include a common framework that would allow the same data in a dynamic searchable tool to be used for multiple purposes. Adopting a standardized performance management approach would result in efficiencies by reducing duplication of effort and would provide a sound basis to report performance at all levels.

5 Recommendations

1) The Chief Strategic Policy and Planning Officer should:

Develop an overarching plan for collecting and reporting performance information across the RCMP that: efficiently meets reporting requirements at all levels; allows for consolidation of data; and facilitates performance monitoring and management.

2) The Chief Strategic Policy and Planning Officer should:

Continue to develop and implement tools, including policies, user guides and systems, appropriate to achieve the plan.

3) The Chief Strategic Policy and Planning Officer should:

Develop additional mechanisms for communicating performance management objectives and requirements to Senior Management.

Appendix A - Audit Objectives and Criteria

Objective: The objective of this audit engagement is to assess the effectiveness of the processes and procedures being put in place for strategic performance management within the RCMP.	Criterion 1: A plan was established to implement the new strategic performance management approach.
	Criterion 2: Policies and procedures are in place for strategic performance management.
	Criterion 3: Monitoring and oversight mechanisms for strategic performance management are in place.
	Criterion 4: Performance information meets the needs of Senior Management and the Divisions/Detachments/Units for strategic decision-making

Appendix B - Policies, Guidelines and Report References

Treasury Board Policies, Directives, and Guide

Policy on Management, Resources and Results Structures (MRRS)

Policy on Evaluation

RCMP Annual Reports

Department Performance Report (DPR)

Report on Plans and Priorities (RPP)

External Reports

Office of the Comptroller General (OCG) Horizontal Internal Audit of Compliance with the Policy on MRRS, March 2013