Les métamorphoses du calcul

#Sommaire-

Certains chercheurs, en outre de leur talent scientifique, sont dotés de celui de la vulgarisation, art qui après avoir été longtemps méprisé accède aujourd'hui à la reconnaissance, par exemple parce qu'il est indispensable aux échanges entre spécialistes de disciplines différentes, de plus en plus nécessaires. Mathématicien et informaticien reconnu, Gilles Dowek ne dédaigne pas d'y consacrer un peu de temps et quelques pages bien écrites, pour notre instruction et notre plaisir. Vous pourrez par exemple lire sur son site le texte de son intervention à l'Académie des sciences pour l'enseignement de l'informatique au lycée, dont je ne puis qu'approuver les termes. Il appartient à une génération de mathématiciens qui a (enfin !) compris que l'informatique était une science, pas un sous-produit de l'analyse numérique (ce serait plutôt le contraire), et que cette science nouvelle, issue de la logique plutôt que du calcul, mais appliquée au calcul, allait bouleverser les mathématiques.

Raisonnement ou calcul ?

L'analyse de Dowek part du postulat généralement admis par l'histoire des sciences : la mathématique est née en Grèce au V^e siècle avant notre ère avec Pythagore, Thalès et Anaximandre. Elle s'est constituée en substituant le raisonnement au calcul, que les Mésopotamiens et les Égyptiens pratiquaient déjà à l'époque depuis au moins une vingtaine de siècles avec des méthodes (nous dirions des algorithmes) perfectionnées et efficaces. Les Indiens et les Chinois avaient eux aussi des techniques de calcul fort savantes, décrites par exemple dans le livre de Marcel Granet La Pensée chinoise, mais il est peu probable que les Grecs en aient eu connaissance, alors qu'ils connaissaient au moins en partie celles de Mésopotamie et d'Égypte. On aurait pu penser que leur nouvelle méthode de raisonnement, qui fait appel à la logique pour construire la démonstration d'une hypothèse à partir d'un ensemble d'axiomes, et dont Dowek donne une explication et quelques exemples particulièrement éclairants et compréhensibles même par le lecteur le plus rétif aux mathématiques, cette nouvelle forme de raisonnement donc aurait pu s'ajouter à l'édifice existant de méthodes de calcul pour l'enrichir et l'améliorer : il n'en fut rien. La nouvelle mathématique, sans se tenir totalement à l'écart du calcul utilitaire, lui préféra le plus souvent l'abstraction pure et établit la hiérarchie entre ses différentes branches selon ce critère. Dans ma jeunesse on aurait parlé de coupure épistémologique, quelques années plus tard de changement de paradigme (paradigm shift pour faire plus chic).

Scission entre mathématique et physique

Les conséquences de cet événement furent considérables. Il en résulta la séparation entre mathématiques et science de la nature, scission érigée en théorie par Aristote, dont l'autorité allait être hégémonique jusqu'à la Renaissance européenne. Cette séparation excluait de la science de la nature non seulement le calcul, mais aussi l'observation et l'expérimentation. Il y eut bien sûr des savants qui franchirent cet interdit, généralement parce qu'ils n'étaient pas que mathématiciens, mais aussi astronomes, ingénieurs ou médecins. On peut citer Archimède, mon ami Pierre Wassef attire mon attention sur Ératosthène, qui vécut un siècle après Aristote et qui, bien que mathématicien, a passé sa vie à observer les étoiles. Il a donné une estimation de la circonférence de la terre basée sur le raisonnement et le calcul, allant jusqu'à compter le nombre de pas qui séparent Assouan d'Alexandrie. Mais il n'en reste pas moins que pour des siècles les mathématiques seront sous le signe presque exclusif du raisonnement.

Plus tard, la totalité des traités d'algèbre arabes seront dédiés au calcul, de Khawarezmi à Khayyam, en passant par Al Karaji ou Ibn El-Haytham, et ce sont d'ailleurs leurs travaux qui pénètreront en Europe à la fin du moyen-âge, par l'intermédiaire par exemple de Fibonacci, ce qui contribuera à y renouveler les mathématiques du calcul.

On trouvera une analyse plus détaillée de la science antique et médiévale ainsi que de la naissance de la science des temps modernes dans un autre grand livre de vulgarisation, Le chiffre et le songe de Jacques Blamont, chez Odile Jacob.

Dowek explique également de façon lumineuse les innovations radicales introduites par les pythagoriciens : alors que le calcul repose sur des méthodes applicables de façon mécanique, une démonstration même élémentaire fait appel à l'imagination et à l'intuition ; dans l'exemple qu'il emprunte à un disciple anonyme du maître, la démonstration qu'aucun carré ne peut être le double d'un carré, il n'existe aucune règle pour nous indiquer la démarche à adopter.

Cette démonstration (comme d'autres de nature comparable) induit deux autres innovations importantes : l'infini (le théorème est vrai pour tous les nombres entiers), et les nombres irrationnels, puisque le carré de l'hypoténuse d'un triangle rectangle isocèle de petit côté égal à 1 sera 2, nombre qui n'est donc le carré d'aucun nombre entier ni même fractionnaire, et pour lequel il faudra inventer .

Mathématisation de la nature et réintroduction du calcul

Pour la réhabilitation du calcul il faudra attendre Galilée et la mathématisation de la physique. Mais si la nouvelle science de la nature engendre un essor considérable de nouvelles méthodes de calcul qui culminera avec le calcul différentiel et intégral inventé par Leibniz et Newton et formalisé par Laplace, le raisonnement continue à occuper une place tout à fait hégémonique en mathématiques, si l'on excepte la tentative visionnaire de Leibniz, dont le projet de caractéristique universelle visait à produire tous les raisonnements par un calcul, ce en quoi il fut le précurseur de Frege, Russel, Whitehead, Gödel, Church, Turing et des autres créateurs de l'informatique.

Le calcul peut-il remplacer le raisonnement ?

Si David Hilbert a formulé le projet de remplacer le raisonnement par le calcul, ce qui aurait atteint le but poursuivi par Leibniz, Gottlob Frege, dès 1879, avait fourni les premières armes de cette offensive sous les espèces d'une notation formelle des propositions logiques, qui aboutira dans les années 1920 à la logique des prédicats. Le problème à résoudre pour atteindre le but est connu comme le problème de la décision : « les Grecs avaient introduit le raisonnement pour résoudre des problèmes qu'ils n'arrivaient pas à résoudre par le calcul. Mais, a posteriori, rien ne garantissait qu'il n'existait pas un algorithme, que les Grecs n'auraient pas entrevu et qui aurait pu se substituer au raisonnement... Le problème de trouver un algorithme pour décider si une proposition est démontrable ou non dans la logique des prédicats a été formulé par Hilbert dans les années vingt sous le nom de “problème de la décision” ».

En 1936 Alonzo Church et Alan Turing ont apporté une réponse négative à ce problème, connue comme le théorème de Church : il n'existe pas d'algorithme de décision pour la logique des prédicats. Pour obtenir ce résultat, ils ont dû l'un et l'autre élaborer un formalisme qui leur permette de faire du calcul un objet... de calcul : ce seront le λ-calcul de Church et la machine de Turing, dont il sera démontré qu'ils sont équivalents. Aujourd'hui encore le λ-calcul est le meilleur moyen de décrire en termes mathématiques un programme d'ordinateur, et dire de la machine de Turing qu'elle est le mètre-étalon (théorique) de la calculabilité est une métaphore acceptable. Le langage de programmation que j'utilise pour mes enseignements, Scheme, est directement issu du λ-calcul.

Le programme de Hilbert ne sera pas réalisé, mais ce travail n'aura pas été accompli en vain, puisqu'il ne débouchera sur rien moins que l'invention de l'informatique. Aujourd'hui la postérité de ces travaux se trouve dans les programmes de démonstration automatique, dans la démonstration de théorèmes mathématiques à l'aide d'ordinateurs. Les premières démonstrations de ce type, comme le théorème des quatre couleurs, ont soulevé des polémiques quant à leur recevabilité, mais le processus de leur acceptation semble maintenant irréversible.

Des raisonnements qui sont des programmes d'ordinateur

La réintroduction du calcul dans les mathématiques, le fait que le raisonnement doive désormais partager le terrain avec lui dans une proportion de plus en plus équilibrée est, nous dit Dowek, une véritable révolution mathématique. L'utilisation du calcul pour les démonstrations engendre des raisonnements constructifs, qui peuvent ressembler à l'écriture d'un programme d'ordinateur, et qui peuvent d'ailleurs si bien y ressembler que ce sont en fait des programmes.

Emmanuel Saint-James a bien décrit dans son livre La Programmation applicative (de Lisp à la machine en passant par le λ-calcul) la nature de ce passage du raisonnement au programme : « La programmation est une transmission d'un raisonnement à une machine, capable de le reproduire. Par cette reproduction, sans laquelle il n'est point de science, l'ordinateur s'affirme comme un instrument d'objectivation du raisonnement. Il s'inscrit dans la lignée des appareils qui ont permis de passer de l'expérience empirique à l'expérimentation scientifique : l'informatique se distingue des mathématiques par un outil d'expérimentation permettant d'observer, vérifier, réfuter un raisonnement. »

Pierre Wassef me fait remarquer que les ordinateurs sont aussi devenus un instrument d'exploration pour un grand nombre de mathématiciens, et pas seulement un instrument « d'objectivation du raisonnement ». Nombre de découvertes mathématiques depuis les années 1970 sont nées de cette façon, il est assez important de le mentionner car voilà bien un terme, découverte, qui ne s'appliquait pas aux mathématiques mais plutôt aux sciences dites expérimentales, et qui maintenant s'y applique de plein droit, grâce à l'informatique, qui ne peut cependant être réduite à ce rôle.

Les mathématiciens tels que Dowek qui ont bien voulu se pencher sur ces questions de programmation que leurs collègues méprisaient ont pu tirer tout le profit de ce mariage des mathématiques et de l'informatique pour ouvrir, à ces deux sciences, de nouveaux horizons auxquels la lecture de ce livre, couronné du Grand prix de philosophie de l'Académie française, paru aux Éditions le Pommier, pourra vous donner envie d'aller voir.