Iznogoud et "l’expertise indépendante durable" : le triste exemple du FORMINDEP

Une "exceptionnelle expertise indépendante" ?

Surtout quand on se présente comme instance de contre-expertise, il faut n’avoir peur de rien, en effet, pour promouvoir la sinistre mascarade de cette récente réévaluation comme le couronnement d’un engagement public. C’est que, abstraction faite des incroyables insuffisances que cette réévaluation cristallise à elle seule (Quelle justification ? Quelle motivation ? Quelle sanction ?...), une innovation apparemment majeure suffit pour justifier la jobarde autosatisfaction du FORMINDEP : l’un des leurs a été choisi comme "expert" pour cette comédie technico-réglementaire !!! Te Deum et champagne dans les chaumières de nos pieux jansénistes...

Rappelons que, comme par hasard, cette question des modalités ayant présidé au choix des experts retenus par la Haute Autorité de Santé (HAS) venait au premier rang des critiques émises par l’auteur de ces lignes à l’encontre de cette nouvelle escroquerie apparue dans le sillage de "l’affaire" Médiator. Puisque grâce à un formidable effort de transparence [2], accès nous est donné à ce parangon d’expertise "indépendante et durable" célébré par le FORMINDEP, examinons-en la crédibilité au filtre des "critères intrinsèques" que j’ai déjà proposés à diverses reprises dans un effort pour offrir au profane la possibilité de s’approprier des éléments de fait afin d’exercer un contrôle citoyen sur l’expertise.

Crédibilité a priori

Pour aussi bruyamment parrainé qu’il soit par le FORMINDEP, il est expert de quoi, ce gars ? Sanctifié par l’éminente cosignature d’un sénateur réputé pour son engagement contre les lobbies de l’expertise, un article très peu postérieur à cette réévaluation montre que l’intéressé n’a apparemment pas mieux pour justifier son statut d’expert que la glorieuse "mission" dont la HAS l’a chargé (au terme d’un processus de sélection dont, répétons-le, on ne sait strictement rien). Or, c’est normalement la reconnaissance préalable d’une compétence qui devrait justifier des missions d’expertise - et pas l’inverse...

S’il est donc impossible de reconstituer sur la base de quelle compétence le gars-là a été choisi comme "expert" par la HAS, essayons de remonter un peu en amont - à l’aune de sa signature, par exemple : "spécialiste en médecine générale" dixit. Depuis la nuit du 4 août, il y a en France deux sous-populations d’abrutis : ceux qui sont fiers d’avoir une particule nobiliaire dans leur nom de famille et ceux qui regrettent de n’en point avoir. Mais par rapport à ces deux sous-populations, il en est une troisième, celle des super-abrutis qui se targuent d’une particule qu’ils n’ont pas - on a même connu un président de la République qui se complaisait à ce jeu-là... Il en va de même en médecine : par rapport aux abrutis qui ne se sentent plus de leur "spécialité" et à ceux qui complexent de n’en point avoir, il y a la catégorie des super-abrutis qui se targuent d’une "spécialité" qu’ils n’ont pas : il semble bien que notre expert ès missions d’expertise fasse partie de ce dernier groupe...

S’il s’agit maintenant de repartir un peu en aval dans l’espoir de recueillir quelques informations complémentaires (abstraction faite de la déontologie "expertale" qui devrait consister à jouer la transparence sur ses compétences, sur ses liens et sur ses méthodes) [3], cette pénible impression d’une quête de reconnaissance coûte que coûte est encore confirmée par une cosignature du même à propos cette fois, du surdiagnostic des cancers mammaires ; des contributeurs au forum de Prescrire ne m’ont pas attendu pour insinuer que cet attelage difficilement justifiable à la signature d’autres experts incontestables de la question (B. Junod, Ph. Zahl) n’ait valeur d’imposture. Outre ce recoupement d’élémentaire logique, je peux ajouter qu’ayant reçu personnellement le première version de l’excellent Junod, ce dernier annonçait bien son intention d’en référer à Zahl - autre spécialiste incontesté du domaine - , mais ne faisait aucune mention de quelque contribution significative chez quelque membre du FORMINDEP que ce soit [4]. Surtout par les temps qui courent, ça la fout mal de participer au jeu des signatures fantômes, et on n’a pas l’impression que "l’expertise indépendante durable" ait grand-chose à gagner à de telles impostures...

Crédibilité a posteriori

Venons-en à présent aux éléments de fait - certains facilement vérifiables - qui permettent d’évaluer la prodigieuse contribution du FORMINDEP - ou de ses adhérents - à "l’expertise indépendante durable".

Au chapitre préalable "Adéquation des moyens mis en oeuvre" [5], constatons d’abord que les critères retenus par le FORMINDEP pour objectiver la dimension herculéenne du travail accompli sont pour le moins vaseux : "24 kilos de documents, soit environ 15 000 pages, en 7 semaines (...) 300 heures de travail". Outre que la durée d’un travail n’a jamais été un critère de qualité [6], c’est un B A BA de toute personne ayant un minimum de culture informatique que le nombre de pages ne dit strictement rien sur le contenu effectif desdites pages [7]. Quant au poids, j’ai également eu à connaître l’expertise d’un dossier d’AMM extirpé à grand peine d’un local d’archives frappé par une inondation... Rien que du pertinent, par conséquent, dans les critères de crédibilité mis en avant par le FORMINDEP : l’expertise "durable" (300 heures...) est en marche...

S’il s’agit maintenant d’entrer dans la critique même de "l’expertise" en question, c’est un festival : on ne sait pas par quel bout commencer et comme on n’est pas mandaté pour ça par la HAS, on ne va quand même pas y passer 300 heures... Essayons d’aller à l’essentiel, en posant d’emblée que si "7 semaines" nous étaient données, on pourrait raffiner en citant presque chaque ligne.

Au niveau de la forme, tout d’abord.

• Il est déjà patent que notre "expert" ne maîtrise pas les fonctions élémentaires du traitement de texte, notamment en ce qui concerne l’établissement d’une table des matières automatique - ce qui en dit long sur sa pratique de l’écriture scientifique. Il semble ignorer également qu’on ne commence jamais une phrase par un chiffre - les questions de conventions étant toujours un indicateur intéressant du respect qu’on porte à l’Autre...

• "L’expert" ne semble pas non plus avoir une grande maîtrise de la syntaxe [8] ("des critères de jugements clés" [p. 3]) et j’offre une mission d’expertise au linguiste assez malin pour m’expliquer ce que peut bien signifier : "La qualité générale des études allait de modérée à pauvre, avec une absence d’identification des éléments clés qui permettent d’évaluer la qualité des essais ce qui rend les résultats incertains" (p.3).

• On ne saisit pas non plus l’esprit de systématique qui conduit l’auteur à mentionner la collaboration Cochrane tantôt avec une majuscule, tantôt sans, et on regrette qu’un médecin "spécialiste" - de surcroît "expert" mandaté par l’administration sanitaire - ignore que les noms de médicaments s’écrivent en majuscules quand il s’agit de leur nom de marque et en minuscules quand on évoque leur dénomination commune internationale (DCI).

• On s’interroge, également, sur l’esprit de synthèse et les capacités d’exposition de l’expert quand on constate, sur la seule base de son plan (p. 2), qu’il lui faut entre deux ("Le Donézépil") et plus de 25 mots ("Peut-on extrapoler, les données des essais cliniques réalisés avec les médicaments spécifiques de la maladie d’Alzheimer (MA), à tous les patients porteurs d’une MA ?") pour titrer ses sections... Dans le même ordre d’idées, on ose à peine mentionner qu’il a juste oublié de mettre un titre [9] en première page de son rapport. Remarque similaire relativement à la dénonciation implacable, en page 13 et sans le moindre renvoi, d’un "risque iatrogène et d’interactions médicamenteuses graves majeurs" (bonjour derechef pour la syntaxe), alors que le risque iatrogène ne sera pas abordé avant la p. 14 et qu’il faudra attendre la p. 22 pour entendre détailler les interactions...

• On ne distingue aucune systématique de référencement, que ce soit dans la forme ou dans l’emplacement des renvois, dont deux sont proposés dès la table des matières [10]. Aucune bibliographie récapitulative n’est disponible. Que signifie, dans le même ordre d’idées, "cf. tableau 6 p. 85" ou "cf. tableau 3 p. 79" - en l’absence de tout tableau : si la référence-qui-va-de-soi est la méta-analyse du National Institute for Health and Clinical Excellence (NICE), où est l’apport de la présente expertise, où sont les "300 heures" de travail ? On s’interroge sur la nature des "autres publications" proposées en p. 20 sans le moindre renvoi ou - encore plus incongru - sur l’identité précise des auteurs récapitulés sous la catégorie "les Allemands" (p. 19) : les Boches, les Schleuhs, le paysan bavarois moyen, les néo-nazis, Madame Merkel, Daniel Cohn-Bendit ou quelque autre "juif allemand" ? L’auteur semble également ignorer que le premier signataire d’un article ("l’équipe de Gill" : p. 19) n’est pas nécessairement le patron des co-auteurs, lesquels ne sont même pas supposés travailler dans la même "équipe" [11]... Que dire encore d’une référence comme "PenTAG page 191" (p. 14) sachant que PenTAG n’est que le nom du groupe de travail chargé par le NICE d’évaluer les anti-Alzheimer ?

• Toujours en matière de référence, on ne saura jamais d’où viennent les "1058 notifications spontanées" qui fondent le travail censément "très complet" cité en note 34, ni à qui elles étaient adressées, ni sur quelle période...

• Au mépris des règles les plus élémentaires de la publication scientifique, le lecteur n’aura droit à aucune table récapitulative des trop nombreuses abréviations qui parsèment ce rapport : MMSE, ADAS-cog, CIBIC-plus, ITT, NICE, RCP [12]...

• Autre indicateur d’amateurisme, voire d’une franche incompétence : les anglicismes ("effet adverse", "dose-dépendant") et, plus encore, les traductions littérales attestant une claire absence de maîtrise du domaine en question. Il en va ainsi avec "la solidité" (robustness, le plus probablement) des critères d’inclusion, ou avec l’incessant emploi du mot "pertinent" en lieu et place du "cliniquement significatif" qui, dans ce contexte, rend compte du très polysémique mot anglais relevant. Indépendamment de l’anglais, d’autre part, et jusqu’à plus ample informé, on ne parle pas d’ajustement "aux" comorbidités (p.20), mais d’ajustement "sur" ou, à la rigueur, "pour" les comorbidités.

Ainsi et pour s’en tenir aux simples questions de forme, même pour un lecteur comme l’auteur de ces lignes qui n’a aucune prétention à l’expertise ni en statistiques, ni sur la maladie d’Alzheimer, il apparaît clairement que l’heureux élu [13] présenté par le FORMINDEP comme l’intrépide prophète d’une "expertise indépendante durable" ne vole pas plus haut qu’un amateur dépourvu d’une élémentaire culture générale et, tare beaucoup plus grave pour un "expert", d’une pratique élémentaire de la vérification [14].

Quand on en vient aux questions de fond...

... les choses s’aggravent encore.

• La première faille de fond qui saute aux yeux du moins initié - surtout relativement à un travail de revue censément systématique - c’est l’absence de toute méthode [15] : aucune systématique ni d’inventaire des sources (quelles bases de données, quels mots clés, quelles règles d’arbitrage ?), encore moins de hiérarchisation. Il est, en particulier, patent que l’auteur - mêlant allègrement études publiées dans des journaux à comité de lecture, articles en ligne, notices Vidal [16], extraits de Prescrire, communiqués de l’AFSSAPS, voire simples courriers privés (note 44), etc. - ignore tout de la distinction pourtant fondamentale entre sources primaires, secondaires et tertiaires. Il ignore également - vice assez gênant chez un "expert" mandaté par l’autorité sanitaire - les recommandations réglementaires pourtant fort contraignantes de cette autorité concernant la légitimité des sources, notamment en matière de pharmacovigilance [17].

• La même remarque vaut pour la méthodologie d’analyse, dont toute personne dotée d’un minimum de culture scientifique sait qu’elle doit faire l’objet d’une explicitation : hormis l’analyse en intention de traitement (ITT) compulsivement présentée - à tort et sans la moindre justification - comme le Saint Graal de la recherche clinique [18], adjointe à l’analyse en Last Observation Carried Forward (LOCF) présentée à l’inverse - mais également sans plus de justification [19] [20] - comme le summum de la tare, on chercherait en vain la moindre indication de la ou des méthodes tant soit peu systématiquement mises en oeuvre pour passer les sources primaires à la moulinette d’une revue authentiquement critique. L’auteur se borne pour l’essentiel à reprendre succinctement (et sans en détailler la logique, qui lui échappe manifestement) la revue du NICE (sans en préciser la date...), ce qui ouvre - on l’a dit - sur une interrogation fondamentale concernant la valeur ajoutée de sa propre contribution. Le sommet du ridicule est atteint quand, malgré son impuissance logiquement attendue à proposer le moindre éclairage original, l’auteur parsème sa reprise extrêmement peu maîtrisée des résultats publiés par le NICE de "je" totalement incongrus dans le genre technico-scientifique de la revue systématique [21].

• S’il faut en croire "l’expert" de la HAS-FORMINDEP, "sur les cognitions, les données de la nouvelle étude ne sont positives que dans une seule des 6 analyses, ce qui constitue un biais majeur" (p. 7). Un biais étant caractérisé par une "erreur systématique dans un résultat statistique" [22], on se demande en quoi l’hétérogénéité des résultats provenant d’études statistiques pourrait, en soi, constituer "un biais". Le raisonnement méthodologiquement correct devrait être exactement inverse : constater l’hétérogénéité des résultats et s’interroger (sans a priori) sur les biais qui ont pu contribuer à une telle discordance - au lieu d’attribuer a posteriori à un "biais" la discordance des données. Pour autant que notre "expert" soit à la recherche d’un biais instructif, il lui suffirait de SE relire pour constater que si l’étude PEIMA citée en p. 23-24 (et qui minimise les risques iatrogènes des médicaments anti-Alzheimer) mérite d’être discréditée au motif qu’elle reposerait sur "une analyse d’imputabilité (...) de plus en plus controversée", celle citée juste avant (p. 22) pour documenter les foucades de l’auteur sur les dangers des médicaments en question n’a inclus que les effets indésirables "imputables aux anticholestérasiques" : d’où il ressort que selon qu’elles confortent ou non l’auteur dans son idée préconçue sur la toxicité des anti-Alzheimer, les données de pharmacovigilance filtrées par une "analyse d’imputabilité" sont acceptables ou non. Merci au FORMINDEP pour cette éloquente démonstration "d’indépendance" expertale : est "indépendant" qui conforte les a priori du FORMINDEP - abstraction faite de tout questionnement motivé sur la compétence de "qui"...

• Parmi les autres indicateurs d’incompétence, on relèvera l’assertivité récurrente de "l’expert" relativement aux effets "minimes et très incertains" (p. 5, p.6), à l’effet "minime" (p. 7) ou "infime" (p.7) des médicaments en question, au mépris obstiné de la mise en garde pourtant ancienne et parfaitement fondée de Nakao et Axelrod [23] concernant la supériorité des chiffres sur les mots et le caractère extrêmement peu objectif des considérations qualitatives en lieu et place des évaluations quantitatives.

• De nouveau avec l’assertivité du profane vaguement informé d’un problème qu’il ne maîtrise pas vraiment, l’expert du FORMINDEP croit ensuite pertinent de partir en guerre contre les essais contrôlés randomisés qui seraient "par nature" fondés sur l’exclusion de nombreux patients (p. 13) : "majeur", ce point mettrait "les prescripteurs, les patients et leurs aidants dans une position difficile". C’est sans doute vrai, mais on attend avec intérêt que notre "spécialiste en médecine générale" nous fournisse, a contrario, la liste des médicaments auxquels il limite - évidemment - ses prescriptions et qui ont, eux, été autorisés sur la base d’études cliniques correspondant effectivement aux patients rencontrés en pratique réelle...

• Pour le meilleur comme pour le pire, la pharmacovigilance est un domaine méthodologiquement plus "mou" que les études d’efficacité, qui appelle moins de statistiques complexes qu’une élémentaire rigueur intellectuelle et un minimum de culture scientifique [24]. Mais on chercherait vainement la moindre rigueur intellectuelle chez un expert qui promeut comme "très complète" (p. 22) une étude fondée sur des notifications spontanées quand il est notoire que la notification spontanée est ("par nature", justement) le processus de collecte le plus aléatoire qu’on puisse imaginer ; semblablement et toujours à propos de la même étude, on s’interroge sur la logique circulaire qui, apparemment, a conduit ses auteurs à analyser les notifications à partir de la notice Vidal, sachant que ces notifications sont celles... dont se nourrit le Vidal. On peine également à comprendre comment une investigation qui met en évidence des bradycardies peut "conforter" (p. 19) une étude qui, elle, inventoriait entre autres des "fractures de la hanche" sachant qu’il s’en faut de beaucoup pour que toutes les fractures de la hanche chez les sujets âgés soient en rapport avec une bradycardie...

• Après tant d’insignes incongruités, notre expert ès missions d’expertise parvient encore à se surpasser dans sa conclusion : "En tenant compte de ces éléments, de la gravité de la maladie et de l’absence d’alternative médicamenteuse, le Service Médical Rendu (SMR) est insuffisant". Il s’agit-là d’un parfait exemple du vice le plus grave qui puisse fausser le processus expertal, à savoir un essai d’empiètement de l’évaluation sur la décision - laquelle, justement, devrait échapper à l’expert. En l’espèce, il est demandé aux experts d’opérer les évaluations qui devraient permettre - mais dans un second temps seulement - à la Commission de Transparence de se prononcer sur le Service Médical Rendu, et on ne saurait admettre que les premiers soient associés à cette décision de la seconde.

Récapitulatif et questions

Par rapport à la promesse du FORMINDEP de "refonder une expertise publique de haute qualité", on peut dire que c’est raté pour la qualité : c’est presque à chaque ligne qu’on pourrait critiquer la forme comme le fond de ce document indigent que l’on n’accepterait pas comme thèse chez un étudiant. Un ratage aussi patent appelle au moins trois types de remarques, concernant l’administration sanitaire, le FORMINDEP et les politiques.

• Il est impensable que même s’ils ne sont pas tous des génies, les membres de la HAS - je veux dire : les anciens, les cheloux, ceux qui ont été recrutés avant l’âge de "l’expertise indépendante durable" - n’aient pas pris la mesure de cette lamentable contribution. Force est donc de conclure au double jeu démagogique de l’autorité sanitaire qui a parfaitement compris le type de hochet avec lequel on fait taire les dissidents de surface [25]. C’est là le jeu pervers institué par Kouchner sous prétexte de "démocratie sanitaire" et qui permet aux inamovibles de l’autorité sanitaire de pouffer d’un rire entendu une fois refermée la porte de la salle où sont venus se pavaner les représentants des associations X ou Y, trop flattés d’être invités dans la Cour des Grands pour s’apercevoir qu’ils se font fait b*** dans les grandes largeurs et que rien de vraiment significatif n’avance jamais relativement à leur cause [26].
• On ne peut contester au FORMINDEP d’avoir remporté quelques belles victoires, notamment celle consistant à faire annuler par le Conseil d’Etat deux recommandations polluées par les conflits d’intérêts. Mais par delà ces quelques précédents spectaculaires, force est de constater une nette insuffisance de sa réflexion critique - dont on trouverait bien d’autres exemples sans difficulté.
  • Il faudra bien qu’un jour, le FORMINDEP comprenne que le vrai problème n’est pas tant celui des liens d’intérêts que tout ce qui menace l’indépendance de l’expert. Or, il faut bien voir [27] que l’incompétence représente elle aussi une singulière menace sur l’indépendance, dans la mesure où celui qui ne sait pas tend toujours, consciemment ou non, à aligner son discours sur ceux qui parlent le plus fort. En l’espèce, on n’aurait aucune peine à documenter que sur certains points méthodologiquement cruciaux qu’il ne maîtrise manifestement pas, notre expert ès missions d’expertise pose comme allant de soi des a priori qui recoupent dangereusement la pratique quotidienne des lobbies pharmaceutiques, par exemple lorsqu’il tient pour centrale l’analyse en intention de traitement [28], ou dans sa foi de néophyte en la crédibilité des méta-analyses (fussent-elles du NICE) ou encore lorsqu’il reprend à son compte l’insupportable argument que "les effets indésirables graves et rares ne peuvent apparaître dans [les] études [cliniques]" [29].
  • Indépendamment de ces questions relatives à la compétence expertale, on ne manque pas d’être choqué par l’indécente euphorie du FORMINDEP relativement à l’iniquité de cette réévaluation dont il était posé, avant même qu’elle ne soit achevée, qu’elle n’aurait aucun impact sur la décision politique de remboursement. Si le simple fait qu’un des leurs a été élevé au grade "d’expert" suffit au FORMINDEP pour ignorer ce scandale médical et sociétal, force est de constater qu’il suffit d’une assiette de soupe même pas propre pour noyer son esprit critique. Or, la vanité, le désir de paraître, la soif de reconnaissance sont, elles aussi, des menaces redoutables sur l’indépendance et la situation de notre système sanitaire est trop grave pour que l’on s’en remette aux vizirs qui n’ont apparemment pas d’objectif moral ou politique plus élevé que devenir calife à la place du calife.
• On s’étonne, enfin, de voir les Parlementaires qui se sont le plus engagés dans la dénonciation du système afficher leur connivence avec les acteurs d’une telle débâcle critique. Si François Autain avait eu le courage d’élargir ses auditions (même en privé...) hors du cercle bien reconnaissable des inamovibles du système assorti de quelques badauds inoffensifs, il serait peut-être parvenu à comprendre que son idée d’une expertise statutairement "indépendante" des fabricants est une dangereuse illusion comme illustré d’une part par l’espèce (le mirage de l’indépendance conduisant à la promotion de l’incompétence) et d’autre part par l’exemple suivant (qui illustre, cette fois, le devenir attendu des exceptionnels experts compétents quand ils sont initialement indépendants) : travaillant avec des juristes universitaires - évidemment pas impliqués dans les processus d’évaluation pharmaceutique et, à ce titre, strictement indépendants du système - je constate répétitivement que dès que les intéressés publient un article sur le dommage corporel assez remarquable pour risquer d’influer la jurisprudence dans un sens défavorable aux fabricants, ils sont presque instantanément contactés par des firmes qui leur proposent, l’air de rien, de juteuses consultations. Cherchez l’erreur... J’en conclus que, déjà bien trop rares pour répondre aux besoins du système [30], les exceptionnels experts qui auraient réussi à préserver leur virginité seront, tout autant que les autres, exposés au même risque de corruption une fois révélés par les missions qui leur auront été confiées. Il s’ensuit que, outre une authentique promotion de la morale très antagoniste avec les tendances fortes de notre société auxquelles les Parlementaires n’offrent pas un front de résistance très convaincant [31], la solution politique au problème de l’expertise passe par un renforcement des procédures de contrôle et de sanction [32] : pour déclaratif qu’il soit lui aussi, la crédibilité de notre système fiscal repose précisément sur un potentiel de contrôles et de sanctions [33].

Conclusion

Ceux qui croient à l’implacable logique de la Vérité verront le doigt de la Providence dans le fait qu’il n’ait pas fallu plus d’un an pour ridiculiser les principaux acquis des Parlementaires qui se sont, consciemment ou non, le plus engagés dans l’entourloupe politico-médiatique autour de Médiator.

• Instantanément dénoncées sur ce site comme un piège dangereux, les fameuses études de la CNAM tellement célébrées par Gérard Bapt lui sont maintenant retournées par le Directeur général de l’AFSSAPS lorsque le premier interroge le second sur les problèmes de tolérance liés au vaccin Gardasil : nous voilà donc revenus aux temps obscurs et procrastinatoires de l’ère pré-Médiator, quand le doute n’était pas d’emblée supposé "profiter au patient", à ceci près que l’on pouvait quand même espérer avoir un accès public - éventuellement critique... - aux principales études, normalement enregistrées dans les bases de données idoines et destinées à une publication après contrôle par les pairs...

• La dangereuse illusion que l’on pourrait trouver des experts statutairement "indépendants" a conduit au lamentable rapport indécemment célébré par le FORMINDEP et dont on vient de faire une brève critique dans le présent article : François Autain ne fera croire à personne que quiconque pourrait "retrouver la confiance" avec des expertises aussi nulles...

A quand une commission d’enquête sur les missions parlementaires qui ne servent à rien ?