1. Pertinence du terme catégorie en mathématiques ?

Lorsque l’on m’a proposé de faire un exposé sur le thème « les catégories dans les sciences », j’ai été un peu surpris et j’ai éprouvé un sentiment d’hésitation. En effet, si j’ai bien compris la demande, le concept de catégorie est pris ici dans son sens général, et est posé comme objet d’un débat interdisciplinaire. Or, s’il est exact que je suis bien un catégoricien, c’est-à-dire un spécialiste de cette discipline mathématique que l’on appelle la théorie des catégories - ce qui semble donner du sens à ma participation à un tel débat - je me suis d’abord demandé s’il n’y avait pas comme une erreur de casting, et ma première réaction a donc été presque négative. En effet, la pertinence du mot « catégorie » dans l’intitulé de ma discipline n’est pas très claire et on peut estimer que ses origines sont à la fois obscures et discutables [1]. Je me suis donc, avant tout, interrogé sur le rapport qu’il pouvait y avoir entre les différentes acceptions usuelles et philosophiques du mot catégorie et le concept qui porte ce même nom en théorie des catégories ? Et, question subsidiaire, quelle est la liaison entre les idées mathématiques de catégorie et de classification, étant entendu que, au moins dans le langage courant, ces deux notions sont conceptuellement liées ?
Voilà donc les deux questions préalables que je me suis posées et dont les réponses, comme on va le comprendre, ne vont pas de soi.

2. A propos de terminologie

D’une manière générale les mathématiciens, de même que les physiciens, les biologistes, etc. choisissent très librement leur terminologie pour désigner leurs objets d’étude ou leurs constructions idéelles. Personne ne se méprend quand un physicien nous parle de la saveur des quarks. De même, quand un mathématicien nous dit qu’il va « plonger un anneau dans un corps », on ne lui demande pas si ça fait mal. Dans cette dernière expression, il n’y a que le verbe « plonger » qui a une certaine valeur métaphorique. En général, le choix des noms ou des expressions scientifiques relève d’un mélange chaotique de bon sens, de tradition, d’esthétique ou, même, d’un certain goût pour la plaisanterie. Justement, le choix du mot « catégorie », par Eilenberg et Mac Lane, créateurs du concept au début des années 40, relève en partie de ce dernier cas. Ils l’ont emprunté - Mac Lane dira « volé » - à la philosophie, notamment à celle d’Aristote autant qu’à celle de Kant, mais sans l’accompagner de justifications sérieuses. Toutefois, dire que c’est sans justification sérieuse, ne signifie pas dire que c’est sans signification profonde. On peut en effet penser que le choix de ce mot, de par le niveau élevé d’abstraction qu’il évoque, de par son caractère globalisant et universel, traduisait l’ambition que ces auteurs plaçaient dans leur concept. Mais, pour le dire franchement, il ne m’est pas apparu spontanément qu’il pouvait y avoir un rapport digne d’une discussion importante entre les acceptions du mot catégorie en mathématiques avec celle du langage courant ou celles employées en philosophie. Et il me paraissait même qu’il y avait à peu près la même absence de lien entre le mot « catégorie » utilisé en mathématiques avec celui de « classification » utilisé dans le langage courant, qu’il y en a entre le mot « groupe » utilisé en mathématiques avec celui de « groupement » du langage courant (d’ailleurs, curieusement, un groupe est une catégorie particulière : une catégorie qui n’a un seul objet … ce qui « classe » peu de choses !).

Et puis je pense aussi à un précédent (qui n’est pas sans rapport avec celui discuté ici), celui du mot structure, apparu à la fois en mathématiques et dans divers autres domaines (linguistique, sociologique, etc.) qui a donné son nom à ce qu’on a appelé le « structuralisme ». Mais, en réalité, cette dénomination recouvrait des phénomènes conceptuels qui n’avaient - peut-être - guère plus de liens entre eux qu’une idée générale insuffisante pour former une théorie et l’emploi, pour les désigner, d’un terme commun séduisant.

3. Le concept de classification en mathématiques

Avant de pouvoir expliquer en quoi je suis revenu de cette première impression quasi négative, j’ai quelques remarques à faire sur la notion de classification en mathématiques. Comme je l’ai déjà indiqué, le langage courant établit une liaison conceptuelle entre les idées de classification et de catégorie. Et il est vrai qu’en mathématiques on classifie beaucoup, et depuis longtemps. On classifie des nombres, des fonctions, des courbes, des variétés, des nœuds, des langages formels, etc. et puis, surtout, il y a un type d’objets dont la classification va nous conduire mathématiquement tout droit, ou presque, vers les catégories : la classification des structures mathématiques.

S’il y a beaucoup de classification en mathématiques, au point qu’on pourrait dire qu’elles en sont le royaume, cela tient à la définition suivante : chaque fois qu’on a une fonction entre deux ensembles (les mathématiciens appellent souvent cela une « application », en donnant à ce mot un sens proche du sens propre : mettre une chose sur une autre), on peut considérer comme un ensemble dont on peut classifier les éléments grâce à leur valeur prise dans le second ensemble . Valeur qui est donnée, plus précisément, « calculée », par la fonction . Un élément de est ainsi placé dans la classe des éléments qui ont la même valeur que lui, la valeur . On appelle parfois les éléments de V des « invariants », car c’est ce qui ne varie pas pour les éléments qui sont dans une même classe déterminée par cette fonction (valeur qui participe donc à la caractérisation des éléments de .

Ainsi on classe les fleurs selon leur couleur, ou selon tout autre système de détermination plus substantiel. On classe les énoncés mathématiques en fonction de leur valeur de vérité. Quand cette valeur est le vrai, l’énoncé s’appelle un théorème. Comme vous le voyez, la complexité d’un classement, n’est pas représentée par celle du système de valeurs, mais par la plus ou moins grande difficulté du calcul de la fonction . Parfois ce « calcul » est très simple à effectuer quand il s’agit, par exemple, de classer les fleurs par couleurs (du moins si on n’est pas daltonien), mais souvent, extraordinairement complexe quand il s’agit de reconnaître si un énoncé est un théorème ou n’en est pas un.

4. Une définition épistémologique délicate

Je dois maintenant vous dire que, même si je trouve cette notion de classification intéressante, du point de vue conceptuel elle me pose un problème, car elle contient ce qui en logique s’appelle une autoréférence. En effet, dans son énonciation elle fait appel à sa propre définition. Cette circularité est camouflée par son utilité technique qui est indéniable, mais le mot « ensemble » qui y figure est synonyme du mot « classe » (dans son sens courant), et qui dit classe, dit classification. Ainsi, pour classer les fleurs, il faut d’abord avoir classé les choses du monde en fleurs et non-fleurs. Il faut aussi les avoir classées en choses et non-choses. Par exemple, on ne se demande pas quelle est la couleur de la bonté ou la saveur des catégories.

Je n’irai pas plus loin dans l’analyse de ce concept, je veux juste faire remarquer que le processus de classification est le propre du vivant (et même, plus largement, de la matière), c’est-à-dire, d’objets gouvernés par des tropismes : s’orienter c’est déjà classifier.

5. Les structures : une classification qui couronne un siècle de mathématiques.

J’en viens à la classification mathématique fondamentale des structures que j’évoquais ci-dessus. Mais qu’on me permette d’aborder les choses à partir d’une anecdote très personnelle et qui, je pense, peut éclairer mon propos. Quand j’étais adolescent, cela remonte à la fin des années 40, mon intérêt pour la science a d’abord été une vraie passion pour l’entomologie qui est l’étude et la classification des petites bêtes à six pattes. Je prenais conscience, à travers cette science, de l’immense diversité animale qui règne dans la nature et dans laquelle on a déjà inventorié des centaines de milliers d’espèces d’insectes (inventaire qui pourtant ne donne qu’une faible partie de ce qu’on suppose exister). J’étais fasciné par la classification de ces insectes. Il se trouve que, pour des raisons très improbables, et qui seraient trop longues à expliquer ici, cet intérêt m’a conduit assez directement à vouloir faire des mathématiques, et cela bien avant que je ne devienne un étudiant à l’Université. C’est donc avec une certaine candeur que j’ai entrepris la lecture des premiers fascicules des « Éléments de mathématiques » de Nicolas Bourbaki. Comme vous le savez sans doute, le projet de Bourbaki était centré sur le concept de structure : une structure est constituée d’un ou plusieurs ensembles munis de données (opérations et relations) et d’axiomes sur ces données. Ce fût alors pour moi un peu une surprise de voir apparaître dans ces « Éléments », a priori si éloignés des choses de la Nature, les structures traitées comme si elles appartenaient à un règne animal ou végétal. On y parlait d’ « espèce de structure ». Par exemple les ensembles mathématiques etc. sont, chacun, munis d’une opération adéquate - qui est l’addition usuelle pour les deux premiers et la composition pour le troisième - et forment ainsi, des structures différentes, mais c’est structures sont, comme le dit Bourbaki, de la même « espèce », à savoir, l’espèce de structures de groupe. L’architecture des « Éléments » était alors, un peu, comme celle d’un manuel de zoologie, qui partant de l’étude des familles de structures les plus simples va vers celles dont l’anatomie est plus complexe. Je pourrais encore, par jeux, laisser filer la métaphore : les structures d’une espèce engendrent, par « produit » entre elles, de nouvelles structures de la même espèce, etc. Une espèce de structure apparaît donc comme une collection de structures apparentées. Plus précisément, elles forment une collection de toutes les structures dont l’anatomie est semblable, satisfaisant un même système d’axiomes et pouvant en produire d’autres de la même espèce par combinaison entre elles.

Cette conception « zoologique » des objets mathématiques a eu un impact considérable sur le développement de cette science pendant plusieurs décennies. Pour comprendre ce qu’il y avait de nouveau dans cette manière de repenser les mathématiques, ou « la mathématique » [2], et d’en tirer une classification des disciplines mathématiques, il faut la comparer à celles pratiquées antérieurement. En particulier, avec celle qui créaient un clivage traditionnel entre Algèbre et Analyse. Clivage qui a, depuis, perdu une grande partie de sa pertinence.

6. Des structures aux catégories (un changement de paradigme)

On va voir maintenant comment ce concept d’espèce de structure va se métamorphoser en un concept plus riche, et dont l’essence est d’introduire une dynamique, à savoir, le concept de catégorie qui jusque là, même chez Bourbaki en ses début, n’était pas repéré. Mais je dois d’abord, peut-être, rappeler informellement et brièvement ce qu’est catégorie. C’est d’abord un graphe : il y a des nœuds (qu’on appelle plutôt objets dans ce contexte) et des flèches (qu’on appelle aussi morphismes) qui vont d’un nœud source à un nœud but . On retrouve ici l’exemple fondamental des ensembles et des applications qui forment, respectivement, les nœuds et les flèches de ce qu’on appelle la catégorie des ensembles. Ensuite, il en est de même (à un bémol près, très significatif que je vais introduire plus loin) quand on envisage, au lieu d’ensembles, des structures d’une espèce plus riche que celle d’ensemble (ces derniers représentant, en quelque sorte, la base des structures, ou structure de niveau 0) et, au lieu d’applications, des « homomorphismes » qui sont des applications qui, comme le suggère leur étymologie, conservent la « forme » entre structures (on emploie aussi le terme plus bref de « morphisme » dans la versions abstraite de cette notion). Le caractère dynamique d’une catégorie est alors donné par le fait que deux flèches (ou morphismes) qui se suivent et peuvent donner une nouvelle flèche, dite composée et notée

Si, jusqu’à présent, une espèce de structure apparaissait comme une collection statique de structures - collection de toutes les structures satisfaisant un même système d’axiomes -, l’introduction de morphismes entre ces structures crée une dynamique qui renverse une hiérarchie : les objets deviennent seconds tandis que les morphismes sont, du point de vue de l’action, les éléments premiers. Ainsi le bémol que j’ai évoqué plus haut porte sur le point suivant : à une même espèce de structure sont parfois associés des morphismes de natures différentes. En voici un exemple : aux espaces topologiques, on associe généralement, comme morphismes, les applications continues, mais aussi, parfois, selon une autre perspective, on leur associe une autre notion de morphisme, les applications, dites, « ouvertes ». On doit alors considérer que sous le nom d’« espace topologique » on a, en réalité, affaire non pas à une, mais deux espèces de structures différentes puisque soumises à des dynamiques différentes. Ce point de vue est le résultat d’une constatation : le travail effectif du mathématicien est uniquement sous-tendu par les morphismes, même si ce sont les structures qui portent les intuitions de ce travail. Ce sont les morphismes qui donnent leur forme aux structures (on pourrait dire, qui les « sculptent » et les auscultent).

7. Structures de structures

Une conséquence de ce changement de paradigme est qu’un nouveau cycle de structures apparaît : les catégories elles-mêmes forment à leur tour une nouvelle espèce de structures. Ce sont, en quelque sorte, des structures d’un ordre supérieur. Disons, de manière informelle, que ce sont des « structures de structures ». Comme on l’a noté plus haut, elles possèdent deux sortes d’éléments, les objets et les flèches, et ont donc aussi deux sortes d’égalités, une pour les objets (les nœuds du graphe), laquelle ne sert à peu près à rien, et une vitale pour les morphismes (les flèches). Cette deuxième égalité est le moteur des calculs (d’où est tiré le concept de « diagramme commutatif »).

Munies d’une axiomatisation adéquate, les catégories possèdent alors leur propre notion de morphisme appelé foncteur (autre emprunt fantaisiste à la philosophie, celle de Carnap). Dans cette nouvelle espèce de structure … pardon, dans cette nouvelle catégorie, la catégorie des catégories, on voit alors apparaître un nouveau phénomène : ses morphismes, c’est-à-dire les foncteurs, vont à leur tour vont devenir des structures et on aura des morphismes entre foncteurs, des morphismes de morphismes …

Ce changement d’échelle (ou de dimension) évoque, pour moi, un autre phénomène biologique, celui de l’évolution des plantes : la famille de plantes à laquelle appartient la marguerite s’appelle les « composées » (ou astéracées). En général, dans une plante, les fleurs, pour des raisons d’efficacité de pollinisation, l’évolution a tendance, sur une même tige, à les faire se rapprocher les unes des autres. Elle les conduit à se grouper comme dans les ombellifères, puis la tendance va vers la fusion. Ainsi, la marguerite n’est pas une fleur, mais une fleur de fleurs. Chaque pétale de la marguerite est une fleur. Une autre plante va même plus loin : l’edelweiss est une fleur de fleurs de fleurs ... Les catégoriciens aussi connaissent un phénomène d’itération similaire : après les catégories il y a les 2-catégories qui sont, pourrait-on dire, des catégories de catégories. On pourrait aussi évoquer le passage des protozoaires aux métazoaires. Mais, au-delà du plaisir de faire des métaphores, cela montre le caractère vivant et évolutif du concept de catégorie.

8. Réflexivité des mathématiques

L’introduction des catégories a renforcé l’autonomie formelle des mathématiques et a représenté un saut qualitatif dans l’extension du domaine de leurs compétences : ce qui conduit à ce qu’on peut appeler leur « réflexivité ». C’est-à-dire qu’elles n’ont cessé d’intégrer des fragments du langage et de la logique dans ce domaine de compétence. L’Histoire commence loin, en Mésopotamie, où, pour des nécessités comptables, l’écriture des nombres (mais aussi celle de l’écriture en général) a été inventée. Et l’acquisition de cette réflexivité s’est faite tout au long de cette Histoire par palier successifs. En tout premier lieu, on peut distinguer l’introduction du zéro d’origine indienne qui a été introduit en occident au Moyen-âge par les savants arabes. Il ouvre une porte à la pensée en mettant en acte la distance irréductible (nécessaire) entre un symbole et son signifié. Puis, également, l’introduction du symbole de l’égalité par Robert Recorde au 16e siècle qui est, en quelque sorte, le premier fragment du langage logique qui devient un objet formel, et qui donc peut, ainsi, être soumis au formalisme. Cette nouvelle porte s’ouvre alors en grand au 19e siècle pour faire entrer les autres symboles du langage de la logique, connecteurs et quantificateurs, comme objets mathématiques. Et, enfin, l’étape catégorique qui fait passer du calcul dans les structures au calcul des structures. Ensuite, il est facile de se persuader que cette étape n’est pas la dernière d’une activité dont on a tant de mal à cerner les contours.

Conclusion

En guise d’épilogue, je voudrais répondre ici à une question qui m’a été posée au cours de l’exposé oral de ce texte : en quoi la représentation des applications par des flèches, au-delà d’une jolie métaphore (la flèche étant le symbole d’une synthèse entre l’espace et le temps), introduirait-elle une dynamique dans l’univers cantorien des ensembles et des structures ? En quoi ces flèches on-t-elle un rapport avec la temporalité (l’idée d’un avant et d’un après) ? La réponse tient dans la capacité de composition de ces flèches (pour une relation d’ordre, cela correspond à la propriété de transitivité, comme l’est l’ordre temporel de causalité). On peut mieux comprendre cela en comparant l’univers des ensembles dont la description ou la construction est traditionnellement basée sur la relation d’appartenance, laquelle n’est en rien transitive, avec ce même univers vu comme une catégorie et dans lequel le concept constructeur, ou descripteur, est celui de morphismes, et les morphismes sont composables - ce qui est le moteur de toute transformation.