Retour d’expérience Microsoft Copilot 365

Article écrit par Thierry Sanson, Associé, et Romain VANACKER, Consultant Senior.

Microsoft a déployé son IA dans la suite Office depuis quelques mois.  Quelle est la promesse de Microsoft ? Est-elle tenue ? Qu’apporte l’IA de Microsoft dans le quotidien des entreprises ? Nous nous attacherons à répondre à ces questions dans ce premier retour d’expérience de Microsoft Copilot 365, la version payante de l’IA intégrée à la suite Office.

La promesse de Microsoft

Selon Microsoft, CoPilot permet d’améliorer la productivité et d’amplifier la créativité humaine. De plus, l’IA est censée être responsable et sécurisée. Elle est intégrée dans les principales applications Office (Word, PowerPoint, Excel et Outlook).

Copilot garantit la sécurité et la confidentialité des données en adhérant aux obligations existantes et en s’intégrant aux stratégies de votre organisation. Il utilise votre contenu avec les mêmes contrôles d’accès que les autres services Microsoft 365.

Que peut concrètement faire cette IA au sein des applications Office ? Nous avons demandé à CoPilot quelles sont ses principales fonctions et nous nous sommes concentrés sur les applications les plus utilisées, à savoir :

Selon Microsoft 365 Copilot voici quelques exemples de fonctions pour chacune des applications :

• Outlook : Copilot peut vous aider à organiser votre boîte de réception, planifier des réunions, répondre à des e-mails et gérer vos contacts.
• Word : Copilot peut vous aider à rédiger des documents, formater du texte, insérer des images et collaborer avec d’autres utilisateurs.
• Excel : Copilot peut vous aider à créer des feuilles de calcul, utiliser des formules, créer des graphiques et analyser des données.
• PowerPoint : Copilot peut vous aider à créer des présentations, insérer des images et des vidéos, ajouter des animations et collaborer avec d’autres utilisateurs.
• Teams : Copilot peut vous aider à résumer des réunions, poser des questions post réunion en utilisant les informations de transcription, prendre une réunion en cours de route, suivre une réunion à laquelle vous n’assistez pas, résumer les messages échangés dans un canal ou l’ensemble des canaux

Notre retour d’expérience

Nos tests

Nous avons testé les fonctions de CoPilot 365 dans un mode “bac à sable”, c’est à dire sans accès aux documents de l’entreprise (autres que ceux utilisés pour les tests). Pour chacun des tests, nous avons mesuré le degré de réponse par rapport à nos attendus sur une échelle de 0 (ne répond pas du tout) à 3 (répond totalement).

Nos tests se sont concentrés principalement sur les axes suivants :

• Corrections, Reformulation, Style : capacité à corriger ou améliorer un élément ;
• Production de contenu : capacité à produire du contenu à partir de quelques instructions ;
• Recherche d’information : capacité à rechercher et restituer de l’information pertinente à partir d’un ou plusieurs fichiers bureautiques ou courriers électroniques ;
• Structuration de l’information : capacité à structurer autrement une information (ex: regroupement par thème) ;
• Synthèse d’information : capacité à synthétiser de l’information à partir d’un ou plusieurs fichiers bureautiques ou courriers électroniques ;

Pour chacun des axes, nous avons réalisé plusieurs cas de test, et cela sur les applications Word, Excel, PowerPoint, Outlook, soit 57 cas de test exécutés. Nous nous plaçons du point de vue d’un utilisateur bureautique et non de celui d’un spécialiste de la rédaction de prompts.

Résultats

Outlook

L’utilisation de CoPilot dans l’outil de messagerie de Microsoft se concentre sur deux fonctions principales :

• La synthèse d’un fil de conversation
• L’aide à la rédaction de message, soit en écrivant pour vous le message à partir de quelques instructions, soit en reprenant votre texte et en vous présentant une rédaction alternative. Le ton est personnalisable ainsi que la longueur du message.

La pertinence de la synthèse laisse parfois à désirer lorsque le fil de discussion est long (plus de 5 messages à notre avis). En revanche, l’aide à la rédaction de message est plutôt de bonne facture et permet de réellement gagner du temps.

Word

L’utilisation de CoPilot au sein de Word nous a paru pertinente sur la recherche et l’interprétation d’informations contenues dans un texte. En effet, il a été capable de répondre en faisant les calculs au sein de données présentées sous forme de tableau dans le texte (par exemple : qui a réalisé la meilleure campagne, sur quel type de produits, à quelle période). L’assistant permet également de présenter des plans, transformer des données textuelles en tableau de façon plutôt efficace. CoPilot a pu également faciliter la réécriture de petits paragraphes. Cependant, pour la production de contenu ou la synthèse d’information, CoPilot nous a moins convaincus. Une limite sur la quantité, la profondeur des informations que l’outil peut analyser et/ou produire rend ces deux fonctions moins intéressantes.

Excel

CoPilot ne permet pas de produire de contenu, ce qui est un peu frustrant. Nous aurions aimé lui demander de produire des tableaux de chiffres à partir de données disponibles sur internet, mais l’exploitation des données d’un tableau existant est intéressante. Un point d’attention toutefois : Excel ne sait exploiter que des tables, il est donc nécessaire que vos tableaux soient transformés en tables (utiliser la fonction “mettre sous forme de tableau”). Nous avons apprécié pouvoir poser des questions et obtenir des résultats qui nécessitaient parfois des calculs (exemple : quelle campagne a produit le meilleur chiffre d’affaires ?). Excel est en mesure de produire des graphiques à partir de tableaux croisés dynamiques créés à la volée en posant une question (exemple : quels sont les revenus par campagne et par mois ?). Il peut également produire des formules en fonction de vos demandes. De plus, lorsque CoPilot n’est pas en mesure d’exécuter lui-même les instructions du prompt, il tente de vous aider sur la démarche à mettre en œuvre. CoPilot n’est probablement pas en mesure de produire des formules complexes mais dépanne pour une utilisation raisonnable.

PowerPoint

De toutes les applications Microsoft Office, PowerPoint est probablement le parent pauvre de l’intégration CoPilot. Nous avons trouvé que la production de diapositives à partir d’un sujet ou d’un fichier word est généralement de mauvaise qualité : pas d’utilisation d’un modèle PowerPoint d’entreprise et peu de cohérence visuelle entre les diapositives produites. Ceux qui pensaient utiliser CoPilot pour produire des slides tout seul en seront pour leur frais. La synthèse d’informations fonctionne tant qu’il y a peu de diapositives. A partir de 20 diapositives, les réponses ne sont plus pertinentes. En revanche, la recherche et l’exploitation d’informations au sein d’une présentation est souvent pertinente.

Teams

Comme pour Outlook, CoPilot a été plutôt efficace dans la réécriture de messages avant diffusion. Nous l’avons trouvé assez peu pertinent sur la recherche d’informations, que ce soit pour résumer une série de réunions pour lesquelles les transcriptions étaient disponibles ou pour rechercher des documents, la faute probablement au mode d’indexation des documents. En effet les derniers documents produits sont ignorés, rendant par la même occasion la fonction de recherche moins intéressante. Concernant les réunions, nous avons testé la fonction « préparer cette réunion », la réponse apportée était sans intérêt. CoPilot peut également produire un compte rendu de la réunion ou vous permettre de rattraper une réunion dans laquelle vous être arrivé en retard  (si celle-ci est enregistrée et la transcription active). Ici encore, l’idée est bonne. Cependant, la réalisation est en demi-teinte et dépend très largement de la qualité de la transcription. La réponse est parfois bluffante, parfois risible, à l’image du prompt « Suggérer des questions de suivi ». Cela fonctionne… parfois. Nous espérons que la pertinence des résultats sur les réunions augmentera avec l’amélioration des transcriptions.

CoPilot permet de gagner du temps sur des petites tâches précises. Même si les contenus produits par l’assistant manquent de profondeur et sont limités en taille, son utilisation permet d’éviter le “syndrome de la page blanche”, ce qui en soit reste intéressant. CoPilot est peut-être sorti un peu trop tôt, il nous semble bridé quant aux informations produites. Son utilisation dans PowerPoint est au mieux anecdotique, et sur les autres applications, il apporte des petits plus sur la rédaction de courriers électroniques ou de petits paragraphes. La recherche d’information au sein d’un (ou d’un ensemble de) fichier(s) bureautique(s) est appréciable ; le compte-rendu automatique de réunions Teams est également prometteur quoique dépendant de la qualité de la transcription. Nous aurions préféré qu’il soit rédigé autrement : moins orienté procès-verbal et davantage sur le contenu et thématiques abordées avec un peu plus de profondeur, mais l’IA s’en sort parfois bien . Cependant, nous sommes loin de l’outil révolutionnaire montré dans les présentations marketing et qui va faciliter la production et l’analyse de contenu bureautique.

Concernant la sécurité et le respect des données privées, Microsoft indique sur son site que « les invites, les réponses et les données accessibles via Microsoft Graph ne sont pas utilisées pour former les LLM de base, y compris ceux utilisés par Microsoft Copilot pour Microsoft 365 ». Pour l’utilisation de son IA pour les utilisateurs Européens, « le trafic de l’UE reste à l’intérieur de la limite de données de l’UE ». De plus, « Microsoft Copilot pour Microsoft 365 expose uniquement les données organisationnelles sur lesquelles les utilisateurs individuels possèdent au moins des autorisations d’affichage », vous ne devriez donc pas avoir accès via CoPilot à des données pour lesquelles vous n’avez pas les droits. Les éléments échangés (invites, données, réponses) sont par ailleurs stockés sur Azure de façon chiffrée. Il convient cependant de rester prudent sur l’usage de l’IA, notamment via l’usage de plugins (ce que permet Microsoft dans Teams notamment).

Ce premier retour d’expérience est quelque peu en demi-teinte. Google a intégré à son tour son IA Gemini dans sa suite bureautique Workspace offrant des fonctions similaires. Aiguillonné par une offre concurrente, Microsoft devra probablement améliorer son offre en matière d’IA bureautique. Les progrès en matière d’IA étant très rapides, notre retour d’expérience sera très probablement à revoir d’ici un an. Nul doute que CoPilot aura gagné en fonctionnalités et la limite de token observée à date sera levée, permettant des réponses plus étoffées et de meilleure qualité.

Cet article a été rédigé à 100% par un humain.

Envie d’en savoir plus sur Périclès Group ?

Spécialisé dans les domaines de la Banque, de la Finance, de l’Assurance et de la Protection Sociale, notre Cabinet place l’expertise au cœur de son savoir-faire. Nos équipes interviennent à la fois sur les phases stratégiques, organisationnelles, de mise en œuvre et s’adaptent aux spécificités de chaque projet. Nos antennes françaises, luxembourgeoises et anglaises seront ravies d’échanger avec vous autour de vos besoins en assurance, finance et actuariat. Pour nous contacter, cliquez ici.