En 2023, un groupe de chercheurs de Stanford, de Berkeley et de Samaya AI a publié un article dont le titre est depuis devenu un mème dans le milieu de l’apprentissage automatique : *Lost in the Middle: How Language Models Use Long Contexts* (Perdu au milieu : comment les modèles de langage utilisent les longs contextes).
Le constat était simple et dérangeant. Lorsque l’on soumet de longs documents à des modèles de langage de grande taille, ces derniers ne les lisent pas de manière uniforme. Ils prêtent attention au début. Ils prêtent attention à la fin. En revanche, leurs performances chutent discrètement pour tout ce qui se trouve au milieu.
Les chercheurs ont vérifié ce phénomène sur diverses tâches et différents modèles. Ils ont observé un effondrement des performances lorsque la réponse était enfouie au milieu du document, même si celui-ci restait bien dans les limites de la fenêtre de contexte annoncée du modèle. Ce schéma a donné lieu à ce qu’ils ont appelé une courbe de performance en forme de U : la précision était élevée au début et à la fin, mais chutait au milieu. Le milieu était « perdu ».
L’impact n’était pas négligeable. Pour certaines tâches, la précision des modèles chutait de 20 à 30 points de pourcentage lorsque l’information pertinente se trouvait au milieu d’un long document, par rapport au cas où cette même information figurait aux extrémités. L’expression « Lost in the Middle » s’est imposée car elle désignait, avec une clarté douloureuse, une limite que presque personne n’avait remarquée, mais dont presque tout le monde subissait silencieusement les conséquences.
C’est ici que la découverte devient intéressante : le phénomène « Lost in the Middle » ne relève pas vraiment de l’IA.
Il concerne tout système, biologique ou numérique, devant lire un contenu complexe d’un bout à l’autre tout en parvenant à comprendre ce qui se trouve en son milieu.
Comment l’IA perd le juste milieu
Lorsque l’on soumet une entrée très longue à un grand modèle de langage (un rapport, un document de politique générale, une note de synthèse en plusieurs chapitres ou l’historique d’une conversation de plusieurs milliers de mots), le modèle ne traite pas l’ensemble du contenu avec une attention égale. Son mécanisme d’attention interne accorde plus de poids aux éléments situés au début et à la fin.
Les chercheurs ont attribué ce phénomène à une propriété intrinsèque liée à la manière dont ces modèles ont été entraînés. Ils développent ce que l’on appelle un biais d’attention en forme de « U ». Les jetons (tokens) situés au début de l’entrée retiennent l’attention, tout comme ceux situés à la fin. En revanche, tout ce qui se trouve entre les deux est, de manière imperceptible, sous-pondéré, quelle que soit son importance réelle.
C’est un point crucial, car plus l’entrée est longue, plus la partie médiane est importante. Une instruction (prompt) courte ne comporte pratiquement pas de milieu. Un document de 75 000 mots, lui, en possède un immense. Or, c’est précisément dans ces longs documents (notes de synthèse, évaluations par pays, rapports consolidés, analyses impliquant de multiples parties prenantes) que les informations les plus déterminantes se retrouvent souvent enfouies à mi-parcours, dans une section jugée insuffisamment importante pour figurer en première page.
Les ingénieurs en IA ont réagi en développant de nouvelles techniques : entraînement prenant en compte la position, mécanismes de calibration, ou encore meilleurs systèmes de récupération d’information capables d’extraire le passage pertinent du milieu pour le replacer à un endroit que le modèle lira effectivement. Tout un domaine de recherche a vu le jour pour garantir que le contenu central ne soit pas perdu.
Mais voici ce qui m’a frappé en prenant connaissance de ces travaux : cette même courbe en « U » est documentée dans la cognition humaine depuis plus de soixante ans. Les psychologues l’appellent l’« effet de position sérielle ». Lorsqu’on demande à des personnes de mémoriser une liste d’éléments, elles retiennent avec une grande précision les premiers (effet de primauté) et les derniers (effet de récence), mais oublient ceux du milieu. La forme de la courbe est identique. La cause diffère. Mais les implications sont les mêmes.
Si une machine lisant un long document privilégie le début et la fin, et qu’un humain lisant un long document fait de même, alors nous sommes confrontés à un problème qui dépasse ces deux cas de figure.
Comment les humains perdent le juste milieu
Il arrive constamment aux humains de se perdre dans la complexité des choses. C’est simplement un phénomène que nous nommons rarement.
Une dirigeante lit attentivement le résumé analytique d’un long rapport, ainsi que les recommandations qui y figurent à la fin. En revanche, elle ne fait que survoler les quarante pages intermédiaires — celles qui contiennent les preuves concrètes, les réserves méthodologiques et les conclusions nuancées venant complexifier les affirmations principales. Lorsqu’elle participe à la réunion de décision deux semaines plus tard, elle ne retient que le cadrage initial et la recommandation finale. Le contenu intermédiaire a disparu de sa mémoire.
Une administratrice examine un document stratégique d’une centaine de pages. Elle se souvient du premier chapitre, qui exposait le problème, et du dernier, qui proposait la solution. Les quatre chapitres intermédiaires — ceux qui contenaient l’analyse reliant le problème à la solution — se sont effacés. Au moment de voter sur la stratégie, son choix repose uniquement sur les extrémités du document. Le cœur du raisonnement, situé au milieu, n’a pas été pris en compte dans la décision.
Une équipe assiste à une longue présentation. Les participants retiennent l’accroche du début et l’appel à l’action final. La partie centrale, consacrée à l’exposé des éléments probants par l’intervenant, se résume dans leur mémoire à une impression vague : « ils ont parlé de données pendant un moment ».
Il ne s’agit ni d’un manque d’intelligence ni d’un défaut d’engagement, mais de schémas cognitifs prévisibles. L’attention humaine — tout comme l’attention des modèles informatiques — suit une courbe en forme de U. Nous accordons une importance excessive à ce que nous avons vu en premier et en dernier, et une importance moindre à ce qui se trouvait au milieu.
Or, c’est précisément sur la base de cette sous-estimation que nous prenons, en permanence, des décisions lourdes de conséquences.
Comment les organisations perdent le « milieu » par défaut
Une fois admis que les individus se perdent dans le « milieu » des documents, l’étape suivante s’avère inconfortable. Les organisations — composées d’humains qui lisent des documents et prennent des décisions — ont tendance, par défaut, à se perdre dans ce milieu. Ce phénomène s’amplifie à mesure que l’échelle augmente.
Prenons l’exemple d’une institution de financement du développement évaluant un portefeuille de projets d’investissement. Chaque proposition compte des centaines de pages. Le comité d’investissement lit le début (résumé de l’opération, structure financière) et la fin (recommandations, conditions). Le milieu — là où figurent l’évaluation du risque-pays, le diagnostic des capacités des partenaires et l’analyse contextuelle expliquant la viabilité du projet dans cet environnement spécifique — n’est lu que par bribes et mémorisé de manière fragmentaire.
L’investissement est validé. Dix-huit mois plus tard, le programme affiche des résultats décevants. L’analyse *a posteriori* révèle des problèmes qui avaient pourtant été soulevés dans le milieu de la proposition initiale. L’information était présente, mais personne ne s’en souvenait vraiment au moment de la prise de décision.
Prenons le cas d’une ONG internationale concevant un nouveau programme couvrant cinq pays. L’analyse contextuelle de chaque pays s’étend sur des dizaines de pages. L’équipe de conception lit attentivement le cadrage initial et les recommandations finales. En revanche, les sections intermédiaires — dynamiques de pouvoir locales, historique institutionnel, mécanismes de confiance, règles informelles régissant le fonctionnement réel — ne sont assimilées que par fragments. La conception finale tend à présenter les cinq pays comme plus similaires qu’ils ne le sont réellement, car les différences déterminantes se trouvaient au cœur de chaque analyse nationale.
Prenons enfin l’exemple d’une acquisition d’entreprise. Le rapport de due diligence compte des milliers de pages. Le conseil d’administration lit la synthèse et la recommandation relative à l’opération. L’évaluation culturelle, l’analyse des risques d’intégration et le chapitre consacré à la structure de pouvoir informelle de l’entreprise cible se trouvent tous dans le corps du document. Six mois après le début de l’intégration, les problèmes qui surgissent sont précisément ceux sur lesquels le milieu du rapport avait discrètement alerté.
Dans chaque cas, l’organisation ne manquait pas d’informations. Celles-ci étaient bien présentes, au milieu du document. Ce qui a fait défaut, c’est la discipline nécessaire pour lire cette partie centrale avec autant d’attention que le début et la fin. Ce décalage constitue une forme institutionnelle du phénomène « se perdre dans le milieu » (*Lost in the Middle*). C’est l’une des causes d’échec décisionnel en entreprise les moins souvent identifiées ou nommées.
Savoir lire le milieu est une compétence fondamentale.
C’est pourquoi j’en suis venu à penser que la capacité à « lire le milieu » n’est pas un simple atout facultatif. C’est l’une des compétences fondamentales de l’intelligence contextuelle dans l’ère qui s’ouvre à nous.
Les documents que nous devons interpréter sont de plus en plus longs. Les contextes dans lesquels nous évoluons gagnent en complexité et en strates. Les décisions que nous prenons reposent de plus en plus sur la synthèse d’informations volumineuses, de sources multiples et d’échéances étendues. Dans ce contexte, le système (qu’il soit machine, humain ou organisationnel) capable de bien lire le milieu dispose d’un avantage décisif sur celui qui en est incapable.
Les ingénieurs en IA le savent bien. Ils ont bâti toute une discipline pour éviter que le milieu ne soit perdu de vue. Ils réentraînent les modèles, calibrent les mécanismes d’attention et conçoivent des systèmes de recherche capables de faire remonter à la surface les passages enfouis. Pour eux, la gestion du milieu relève du travail d’ingénierie.
La plupart des organisations n’ont pas franchi ce pas. Il n’existe aucun rôle organisationnel dédié à la lecture du milieu. Aucun diagnostic ne permet de mettre en lumière ce que le milieu d’un document révélait mais que personne n’a vraiment retenu. Aucune discipline ne vient contrer systématiquement le biais cognitif qui accorde la primauté à la première et à la dernière page au moment de décider.
C’est précisément là qu’intervient l’intelligence contextuelle. Et c’est exactement la lacune que le cadre MAPS vise à combler.
Lorsque vous analysez un environnement opérationnel à travers les quatre dimensions de MAPS (Mind/Mentalité, Authority/Autorité, Power/Pouvoir, Systems and Social Trust/Systèmes et Confiance sociale), vous lisez délibérément le milieu. Vous examinez la strate où les décisions se prennent réellement, où réside la confiance, où s’exerce le pouvoir et quels sont les cadres cognitifs qui orientent l’action des individus. Rien de tout cela ne figure dans la synthèse pour la direction ni dans les recommandations. Tout cela est enfoui au cœur de la réalité opérationnelle, dans la couche située entre le récit principal et la conclusion formelle.
MAPS est, en un sens, une méthode pour refuser que le milieu ne soit perdu. Ce cadre fait remonter la dimension contextuelle à la surface, là où elle peut réellement façonner la décision. Il accomplit pour les organisations et les individus ce que le calibrage de l’attention et les chaînes de recherche d’information réalisent pour les systèmes d’IA.
Le modèle, une fois de plus
Les systèmes d’IA se perdent au milieu de longs documents en raison de la structure de leur mécanisme d’attention.
Les humains se perdent au milieu de longs documents en raison de la structure de la mémoire humaine.
Les organisations se perdent au milieu de longs processus décisionnels parce qu’elles sont composées d’humains lisant de longs documents.
Une même courbe en forme de U, à trois échelles différentes. Les ingénieurs en IA ont développé une discipline pour compenser cette courbe de leur côté. L’intelligence contextuelle — dont MAPS constitue la forme structurée — est la discipline équivalente pour les humains et les organisations.
Si vous occupez un poste où des décisions lourdes de conséquences reposent sur des informations volumineuses et complexes (comités d’investissement, instances de conception de programmes, équipes de direction examinant des documents stratégiques, hauts dirigeants interprétant des analyses par pays, ou toute personne gérant un portefeuille d’engagements complexes), voici la question que je vous pose : que contiennent les parties médianes de vos documents les plus importants que vous ne lisez pas actuellement ? Et quel est le coût de ne fonder vos décisions que sur les extrémités de ces documents ?
C’est au milieu que réside le contexte. En prendre connaissance n’est plus facultatif.
Catherine Jura Sentamu est la fondatrice de l’Edify Learning Forum et l’auteure de *The Context Tax: Turning Context into a Measurable and Actionable Intelligence Layer*. Elle est la créatrice du cadre MAPS (Mind, Authority, Power, and Systems and Social Trust).
Note sur les sources : Le phénomène « Lost in the Middle » a été documenté pour la première fois dans l’article de Liu et al. intitulé « Lost in the Middle: How Language Models Use Long Contexts » (arXiv, 2023). Des recherches ultérieures l’ont associé à un biais d’attention intrinsèque en forme de U propre aux modèles de type Transformer, ainsi qu’à l’effet de position sérielle — un phénomène bien connu de la mémoire humaine — décrit initialement par Murdock (1962).
