Le paradigme bayésien

Le théorème de Bayes

Le terme bayésien provient du nom du révérend Thomas Bayes (Angleterre, XVIII^ème). En 1763, ce dernier publie un article¹ (posthume) dans lequel il expose le théorème suivant : \[\Pr(A|E)=\frac{\Pr(E|A)\Pr(A)}{\Pr(E|A)\Pr(A) + \Pr(E|\bar{A})\Pr(\bar{A})}=\frac{\Pr(E|A)\Pr(A)}{\Pr(E)}\] La postérité désigne ce théorème sous le nom de théorème de Bayes. Ce dernier en donne en réalité une version continue dans son travail : \[g(x|y)=\frac{f(y|x)g(x)}{\int f(y|x)g(x)\,\text{d}x}\] où \(X\) et \(Y\) sont deux variables aléatoires connaissant les réalisations \(x\) et \(y\), \(f(y|x)\) représente la distribution conditionnelle de \(Y\) sachant la réalisation de \(X\), et \(g(x)\) la distribution marginale de \(X\). Le mathématicien français Laplace a également retrouvé ces résultats, de manière indépendante. Laplace et Bayes ont tous les deux poussé ces travaux en décrivant l’incertitude sur les paramètres \(\theta\) d’un modèle paramétrique \(f(y|\theta)\) par une distribution de probabilité \(\pi\). Le théorème de Bayes s’écrit alors : \[p(\theta|y)=\frac{f(y|\theta)\pi(\theta)}{\int f(y|\theta)\pi(\theta)\,\text{d}\theta}\]

La différence fondamentale entre l’approche fréquentiste et l’approche bayésienne est donc que cette dernière considère les paramètres non pas comme fixes (i.e. pour lesquels il existe une vraie valeur), mais plutôt comme des variables aléatoires. Il s’agit donc d’une différence philosophique profonde même si les ponts entre les deux approches sont nombreux.

Cette manière de considérer les paramètres comme des variables aléatoires induit une distribution marginale \(\pi(\theta)\). Cette distribution est appelée a priori (ou parfois prior, ce qui est un anglicisme). Sa spécification est à la fois un atout de l’analyse bayésienne, puisqu’elle permet de formaliser les hypothèses sur l’objet d’étude et d’en tenir compte dans la modélisation, mais aussi une faiblesse puisqu’elle introduit nécessairement une subjectivité dans l’analyse. Ces deux facettes d’une même pièce seront d’ailleurs tour à tour mises en avant par les bayésiens tout comme par leurs détracteurs.

Bayésiens vs. Fréquentistes : un débat dépassé

Les idées du révérend Bayes, retrouvées indépendamment puis approfondies par Laplace, ont eu une influence profonde sur le développement de la statistique au cours de la deuxième moitié du XVIII^ème siècle et du XIX^ème. Mais avec la naissance de la statistique moderne au tournant du XX^ème avec Galton et Pearson, puis ensuite avec Fisher et Neymann en particulier, la théorie fréquentiste est devenue dominante. Ce n’est qu’à la fin du XX^ème siècle que la statistique bayésienne est revenue sur le devant de la scène, notamment grâce à l’avènement de l’ordinateur et au développement de méthodes numériques efficace qui ont permis de dépasser certaines limitations auparavant présentes dans l’analyse bayésienne.

Sous l’influence de Fisher notamment, qui a fermement marqué son rejet du raisonnement bayésien, le XX^ème siècle a vu la communauté statistique se scinder en deux entre les partisans de l’approche bayésienne et les tenants de l’approche fréquentiste (considérant les paramètres comme fixes), avec parfois des débats virulents opposant les deux communautés.

Aujourd’hui, ces querelles de chapelles sont dépassées, en partie grâce aux succès pratiques qu’ont rencontrés chacune des deux approches sur des problèmes modernes et complexes, notamment dans le domaine de la santé. De plus, un certain nombre de méthodes, telles que par exemple les méthodes bayésiennes empiriques, se situent à la frontière entre les deux approches et permettent de faire le pont entre elles. Le (bio)-statisticien d’aujourd’hui se doit donc d’être pragmatique et versatile, intégrant l’analyse bayésienne dans sa boîte à outils pour résoudre les problèmes auxquels il est confronté.

“Être ou ne pas être bayésien, là n’est plus la question : il s’agit d’utiliser à bon escient les outils adaptés quand cela est necessaire.” — Gilbert Saporta