Utiliser la lexicométrie en histoire (2) : les aspects concrets

Après vous avoir donné un panorama général de l’histoire de la lexicométrie, je voudrais maintenant vous montrer quels logiciels on peut utiliser, et surtout quelles étapes très concrètes vous devrez suivre avant d’analyser votre corpus [1].

Les commandements de la lexicométrie

1. Avoir ses textes à disposition

Avant d’être analysés par un logiciel, vos textes doivent avoir été recopiés. Ce travail est particulièrement chronophage. Il faut donc que vous vous assuriez que personne ne l’ait déjà entrepris avant vous. Si vous avez la chance que vos textes aient été numérisés ou qu’ils aient été pris en photo, vous pourrez gagner du temps avec des logiciels de reconnaissance de caractères. Cette application existe pour certains textes de Gallica (il s’agit du mode texte), mais aussi sur google books. Les modernistes ainsi que les médiévistes auront sans doute moins de résultats puisque ces logiciels sont perturbés par les lettrines et les orthographes exotiques des textes. Il ne faut donc pas s’attendre à des miracles.

Après avoir acquis ces textes, il faudra les convertir obligatoirement en mode texte pour que le logiciel de lexicométrie puisse commencer à fonctionner. Avoir recopié ses textes n’est cependant pas suffisant, car le mode de constitution du corpus est déterminant.

2. Respecter des règles strictes de composition du corpus :

L’analyse lexicométrique est de type statistique. Un traitement lexicométrique donnera toujours des résultats, mais pour qu’ils aient un sens statistique [2] et qu’ils soient ainsi admis dans une réflexion historique, il faut redoubler d’attention au moment de la constitution du corpus. Ces précautions sont mises en évidence par Antoine Prost [3]. Il dégage trois règles essentielles, selon lesquelles le corpus doit être :

  • Homogène : les textes doivent être environ de même longueur, concerner le même public, porter sur le même thème. Il m’a ainsi été impossible dans mes propres recherches de comparer dans une même étude des sonnets et des épîtres dédicatoires puisque ces deux textes ne sont pas de même nature.
  • Diachronique : les textes ne peuvent pas avoir été écrits le même jour.
  • Contrasté : les textes doivent recéler des différences puisque ce sont justement ces différences que l’on cherche à observer.

Les logiciels

Les logiciels de lexicométrie sont foison, comme le soulignent Claire Lermercier et Claire Zalc [4]. Elles expliquent [5] néanmoins que les trois logiciels les plus sérieux pour faire une analyse lexicométrique sont : Alceste [6], Lexico3 [7] et Hyperbase. Aucun d’eux n’est malheureusement libre de droit, et leur coût varie de l’un à l’autre, Alceste restant particulièrement onéreux. L’aspect pécuniaire n’est évidemment pas le seul critère de distinction entre ces logiciels. La grandeur du corpus s’avère ainsi déterminant. Alceste accepte les corpus assez petits, ce qui n’est pas le cas d’Hyperbase. Les différences se font aussi sentir au niveau des options des logiciels. La lemmatisation, c’est-à-dire la simplification des différentes formes de mots [8], n’est ainsi pas nécessaire avec Alceste ou Hyperbase alors qu’elle l’est avec Lexico3. Hyperbase propose une analyse très fine des pronoms et des temps, ce que ne permet pas Lexico3, ou du moins pas directement, puisque cela exige une nouvelle lemmatisation. Il faut aussi prendre en compte la difficulté d’emploi du logiciel. Le maniement de Lexico3 est ainsi beaucoup plus aisé que celui d’Alceste [9].

Tous ces critères sont donc déterminants pour choisir le logiciel. Leurs différences ne doivent cependant pas effrayer. J’ai ainsi soumis mon corpus à deux logiciels différents (à savoir Alceste et Lexico3) pour voir si leurs résultats différaient. Ce ne fut pas le cas, bien au contraire. Par ailleurs, des lemmatisations différentes ou le recours à des extensions du logiciel peuvent pallier à certains manques du logiciel « de base » utilisé. Ainsi Coocs  développé par William Martinez [10], permet d’étudier les cooccurrences, ce que ne permettait pas Lexico3 initialement.

Après avoir choisi le logiciel, il faut passer par plusieurs étapes que je vais maintenant détailler.

Le problème spécifique du grec ancien : Utiliser un logiciel de lexicométrie sur un corpus en grec s’avère assez compliqué. L’alphabet grec mais surtout les esprits et les accents ont rendu très difficile le traitement lexicométrique de ces textes. Ce problème est en train d’être réglé par certaines équipes de recherches, qui tentent de le dépasser [11], mais il reste très difficile d’utiliser la lexicométrie sur ce type de texte.

Quand vous êtes sûr que votre corpus satisfait à ces différents critères, vous devez commencer à préparer vos textes pour l’analyse.

Les étapes préparatoires à l’analyse lexicométrique

  • Le balisage du corpus

L’ordinateur ne peut pas faire la différence entre les textes d’un corpus. Il faut donc les lui indiquer par des balises. Celles-ci se présentent de la façon suivante, pour le logiciel lexico3 :

<auteur=ronsard>

Elles suivent plusieurs règles : pas d’espace entre les mots, pas de majuscules, pas d’accent. Au-delà d’un simple découpage (appelé aussi segmentation) du corpus, cela permet à l’historien de sélectionner des points d’entrées sur son corpus, des questionnements. J’avais ainsi choisi de me demander si les différences que je notais au sein du corpus étaient dues à la personnalité des auteurs ou aux dates d’écriture. Cela m’a permis de sélectionner bien d’autres balises que la simple balise auteur. J’ai choisi de baliser mon corpus des balises suivantes : auteur, profession de l’auteur, date de publication, republication éventuelle et titre de l’œuvre. (Vous pouvez bien sûr en mettre autant que vous voulez). 

Le moment du balisage est donc bien un temps de réflexion qui permet de s’interroger sur son propre sujet. Bien souvent on revient sur le balisage pour le préciser ou au contraire supprimer certaines balises inutiles. J’ai ainsi supprimé la balise « métatexte » qui m’indiquait si l’épître dédicatoire était suivie d’un sonnet, car elle n’apportait, en définitive, rien de plus à l’analyse.

  • « Qui lemmatise, dilemme attise »[12]

La lemmatisation est la seconde étape de la plupart des analyses lexicométriques. Voici en quoi elle consiste. Les mots prennent différentes formes dans la phrase. Ils peuvent être mis au pluriel, être conjugués… Ces diverses formes peuvent cependant être ramenées à une forme unique, celui du lemme. Ainsi : vois, voit, voyons, vue, vues, voyant, vis, verra, verrez, verront sont des formes différentes de voir. La lemmatisation consiste à trouver les différentes formes revêtues par les mots du texte et à les simplifier en une seule forme. Les verbes sont ramenés, la plupart du temps, à l’infinitif, les adjectifs à leur masculin singulier et les noms à leurs singuliers. Elle consiste aussi à repérer les homographes afin d’introduire des différences graphiques pour que l’ordinateur puisse les différencier. « Est » peut être en effet une troisième personne du pluriel ou un point cardinal. Pour ne pas que le logiciel les confonde, il faudra coder le point cardinal en Est*. Dans certains cas, la lemmatisation devient une opération vraiment très difficile. Je travaille sur la Reine Marguerite d’un point de vue politique. Les titres qu’elles portait étaient donc essentiels pour moi. Lorsque j’ai voulu les lemmatisés, je me suis rendu compte que le mot princesse pouvait avoir les orthographes suivantes : Princesse, PRINCESSE, princesse. Ces trois syntagmes ont le même sens politique, mais la question était de savoir si je devais simplifier les majuscules en minuscules ou si je perdais un sens politique important. J’ai finalement découvert que les éditeurs mettaient les majuscules un peu au hasard, en fonction du matériel dont ils disposaient, ce qui m’a permis de trancher. Cet exemple montre bien à quel point lemmatiser n’est pas chose facile et peut devenir compliqué.

La lemmatisation prend une part plus ou moins importante dans le travail du chercheur. Les contemporanéistes ont souvent la possibilité de laisser les lemmatiseurs automatiques faire cet exercice. Les modernistes et les médiévistes ont un peu moins de chance, car il est préférable qu’ils procèdent eux-mêmes à la lemmatisation. Ils travaillent en effet sur des textes qui ne suivent pas les règles d’orthographe qui leur sont postérieures, et l’usage de certains mots a été perdu et reste inconnu des logiciels conçus pour des textes contemporains.  

Cette opération a été et reste une cause de disputes assez violentes entre ceux qui acceptent ce principe et ceux qui le rejettent au nom de la linguistique.

Lemmatiser implique en effet de perdre une grande partie de l’information contenue dans un texte. En lemmatisant, je suis passée de 12.000 à 6.000 formes. Les tenants de la non-lemmatisation considèrent que cette perte est inacceptable puisque le chercheur intervient pour choisir quel mot est digne ou pas de figurer dans leur liste alors que des variations très fines des formes peuvent être très révélatrices. Perdre la diversité des items reviendrait à renoncer à l’objectif même de ceux qui voulaient justement étudier le langage. C’est pour ces raisons que les premiers chercheurs[13] en lexicométrie n’ont pas lemmatisé leurs textes.

Pour ma part, j’ai choisi de céder aux sirènes de la lemmatisation et ce pour plusieurs raisons. Je pense que l’argument principal des linguistes, qui consiste à dire que l’on perd le sens du texte en lemmatisant ne fonctionne pas en histoire. Antoine Prost insiste ainsi sur cette différence ontologique qui différencie l’historien du linguiste. « L’historien (…) examine le vocabulaire pour autre chose que lui-même. (…) L’historien ne cherche pas la même chose que le linguiste[14]. » Son objectif « n’est pas la connaissance du vocabulaire en lui-même et pour lui-même, du système structuré qu’il constitue, c’est-à-dire au sens strict, du lexique, mais celle des mentalités et des attitudes latentes qui s’y manifestent[15]. » Cette différence d’intérêt porté au texte permet de le simplifier de façon à mieux l’analyser. La question de fond est celle-ci : importe t-il réellement à un historien de savoir si le locuteur a utilisé le participe ou la troisième personne du singulier d’un verbe, ou de savoir quel verbe ce dernier a utilisé ? Je crois que cette question est rhétorique. Ce qui nous importe n’est effectivement pas de savoir quelle forme de mot a été préférée à une autre, mais quel lemme a été choisi. Si effectivement, dans l’analyse d’un discours politique par exemple, on souhaite tout de même avoir accès à ce type d’information, il reste tout à fait possible de la faire en mettant en place une seconde lemmatisation qui codera le type d’information souhaité, puisque l’on peut toujours revenir au corpus non lemmatisé.

Cette simplification comporte des bénéfices, souvent laissés de côté alors qu’ils sont centraux. Lemmatiser permet de mettre en évidence les hapax, ces mots qui n’apparaissent qu’une seule fois dans un texte. Bien que leur analyse soit centrale, le refus de la lemmatisation les noie au milieu des formes rares des verbes. Par ailleurs, comme l’a souligné Damon Mayaffre[16], le fait de ne pas lemmatiser empêche d’introduire graphiquement des différences entre les homographes. L’ordinateur compte alors juge sans se préoccuper de savoir s’il s’agit du verbe à la troisième personne du singulier ou bien du nom. Il admet[17] que la non prise en compte des doublons a sans doute faussé en partie les résultats de sa thèse. Lemmatiser, loin d’être « un luxe inutile » serait donc bien un moment essentiel dans l’analyse lexicométrique. Plus important encore, la lemmatisation permet à l’historien de beaucoup mieux connaître son corpus, car il est obligé d’analyser chaque mot contenu dans ce dernier. Avant de décider s’il lemmatise ou non un mot, il utilise le logiciel pour le mettre en contexte et voir comment se dernier fonctionne. Cette opération très longue[18] est donc un immense apport pour l’historien car elle lui donne la possibilité de lire son texte d’une autre façon et de le connaître à une autre échelle, celui du mot. L’exercice intellectuel exigé par la lemmatisation est donc un moyen de progresser sur sa connaissance d’un corpus. Cette lecture structurée est nécessaire. Antoine Prost enjoint d’ailleurs ses collègues à la pratiquer pour dégager de nouvelles pistes de travail, car « L’analyse structurale, au contraire, s’efforce de reconstituer des constellations de vocables, en repérant entre eux soit des liens de solidarité, d’appel réciproque, soit de substitution, soit d’exclusion : on découvre ainsi une structure qui révèle le temps réel. »[19]

Enfin, l’argument selon lequel on lemmatiserait de façon automatique, sans se préoccuper du sens des mots est un leurre puisque cette opération implique une contextualisation automatique de chacun des mots que l’on choisit de lemmatiser.

Malgré les problèmes que pose l’étape de la lemmatisation, le rapport bénéfice/risque de cette technique semble pencher clairement en sa faveur. Cette étape passée, les premiers résultats arrivent enfin.

Différents types de résultats

Les résultats d’une analyse lexicométrique sont de nature très différente. Ils peuvent être très simples :

  • AFC (Analyse Factorielle des Correspondances)[20]

Outil le plus puissant de l’analyse lexicométrique. Il permet de visualiser les répartitions des mots au sein d’un corpus. Les mots qui se retrouvent au centre du graphique sont utilisés par tous les textes. Les mots qui forment une corolle autour des titres sont communs à certains textes en particulier. Les Analyses factorielles permettent donc de faire des regroupements au sein du corpus, de comprendre pourquoi certains textes s’opposent à d’autres sur le plan du lexique. Elles permettent aussi de voir l’évolution du vocabulaire en fonction du temps, si l’on a pris soin de faire une balise date. Cette première analyse dégage un certain nombre de mots objectivement intéressants et avec lesquels on peut lancer d’autres types de tests. Voici les principaux outils de l’analyse lexicométrique.

Lorsque l’on analyse une AFC, on essaie de comprendre la formation de ces groupes et de ses oppositions, et on tente de les justifier. On cherche aussi au sein de ces AFC à reconnaître des figures idéales de répartition des mots. L’une de ses figures est le torck. Vous constatez à droite qu’il y a plusieurs groupes de mots agglutinés et que les mots qui sont communs à chacun de ces textes permettent le passage du vocabulaire spécifique d’un texte au vocabulaire d’un autre texte. Lors de l’analyse on va dire qu’il y a un tork en faisant comme si ce passage se faisait de façon continue. Voici un second schéma d’analyse comprenant, de façon explicite le tork :

Dans un mémoire, on met en valeur le résultat « graphique » de l’AFC, qui ne peut représenter que deux facteurs à la fois, mais au cours de la recherche, il faut savoir que l’on analyse des tableaux (voir image ci-jointe) et que l’on observe la répartition et le sens des mots au sein des 10 premiers facteurs. On sélectionne ensuite les facteurs qui nous apportent le plus d’information ou qui sont le plus intéressants dans le cadre de notre problématique. Si les AFC sont le premier point d’entrée de l’analyse lexicométrique, elles peuvent et doivent être complétées par d’autres outils.

Voici les principaux outils de l’analyse lexicométrique :

  • La Contextualisation

Elle permet de vérifier le sens d’un mot. Très souvent, on a en effet une impression de proximité avec le texte, qui nous fait perdre de vue que notre emploi de la langue française est très différent de celui des personnes que l’on étudie. J’ai pu ainsi constater que le substantif « pouvoir » n’est pratiquement jamais utilisé dans les textes que j’étudie. Voici un exemple de contextualisation possible, obtenu à partir de mon corpus en utilisant Alceste :


  • La Représentation d’une fréquence d’apparition d’un mot

Grâce à cette option, on peut voir représenter l’usage d’un mot et son évolution au cours du temps. Je l’ai utilisé pour faire des « zooms » très précis sur certains items et cela a été très efficace. Cette option pose cependant un problème méthodologique si l’on n’a pas utilisé une analyse factorielle des correspondances pour identifier le mot que l’on veut étudier. Voici l’un des diagrammes que j’ai pu obtenir avec lexico3. Il s’agissait pour moi de comprendre comment variait l’emploi des titres « Princesse », « Duchesse de Valois » et « Reine » au cours du temps. J’ai tout simplement demandé au logiciel de me sortir ce diagramme, que j’ai pu interpréter sur un plan politique en le mettant en parallèle avec les dates clés de la vie de Marguerite de Valois :


  • Les cooccurrences

Outil très puissant servant à comprendre comment fonctionne un mot avec les autres mots. Lorsque l’on utilise Lexico3, on ne peut pas avoir immédiatement accès aux outils de cooccurrences. Le logiciel Cooccs, développé par William Martinez est un excellent moyen de pallier à ce problème. Il propose de nombreuses applications. On peut ainsi voir quels sont les mots qui apparaissent le plus souvent avec une forme pôle. On peut même en avoir une représentation schématique. Voici ci-dessous une représentation possible des relations entre les mots de mon corpus. Cette représentation est, en elle-même impossible à analyser. Mais, en choisissant une probabilité d’apparition moins forte il est facile d’obtenir des « zooms » (voir ici) sur des relations spécifiques entre les mots et devoir comment les mots s’enchaînent les uns avec les autres.

Ici encore, la sélection des mots que l’on étudie n’a rien d’arbitraire : on regarde les cooccurrences de tous les mots qui se sont révélés contributifs lors des premières AFC

  • Les Segments répétés

Outil permettant de mettre en évidence les mots qui fonctionnent ensembles d’une façon répété et ainsi de voir leur variation. J’ai pu ainsi observer à la loupe les signature de mes épîtres dédicatoires et avoir une représentation graphique de leur répartition en fonction du temps.


Conclusion

La lexicométrie constitue un formidable outil heuristique pour les historiens. Elle permet de comprendre le fonctionnement interne d’un corpus grâce aux AFC, de voir quels sont les mots les plus employés et d’en apercevoir l’évolution en fonction du temps. Ces outils ne sont malheureusement accessibles qu’au prix d’un grand travail préparatoires de lemmatisation et de mise en place des balises. Ce regard complémentaire aux méthodes plus classiques de la base de données ou d’une lecture très documentée des textes est extrêmement performante.


[1] Pour ce faire, je me fonderai encore une fois sur mes propres lectures et sur les conférences et les cours que j’ai reçus à Paris I et à l’E.N.S Ulm.

[2] Je reprends ici une partie du cour de Benjamin Deruelle consultable sur le site : http://tdhist.univ-paris1.fr/.

[3] Antoine Prost, Vocabulaire des proclamations électorales de 1881, 1885 et 1889, Paris, PUF, 1973, 192 p.

[4] Lemercier Claire et Zalc Claire, Méthodes quantitatives pour l’historien, Paris, La Découverte, 2008, 120 p. 

[5] Sur leur site « quanti RHMC » adresse : http://www.quanti.ihmc.ens.fr/Lexicometrie-les-logiciels.html. Lien valide le 30/01/12.

[6] Logiciel conçu par Max Reinert dans les années 90. Pour en savoir plus voir : http://www.image-zafar.com/index_alceste.htm.

Hyperbase a été créé dans les années 80 pour mettre les textes de la Révolution à disposition. Voir http://www.unice.fr/bcl/spip.php?rubrique38..

[7] Logiciel inventé et développé par André Salem et Ludovic Le Bart dans les années 1990.

[8] Je vous renvoie à la suite de ce billet qui explique en quoi la lemmatisation consiste.

[9] Je vous conseille d’aller voir à l’adresse suivante, signalée par Philippe Cibois sur le blog :  http://textometrie.ens-lyon.fr/spip.php?article96 (lien valide le 30/01/12). Vous y trouverez les différents manuels d’utilisation des logiciels. Vous pourrez ainsi choisir au mieux celui qui sera plus rentable pour voir. Consultez aussi le site du « quanti.RHMC »., il est très bien construit.

[10] Voir le site de William Martinez : http://williammartinez.fr/coocs/page.php. (lien valide le 30/01/12)/

[11] http://lexicometrica.univ-paris3.fr/thema/thema1/spec1-texte3.pdf. lien valide le 30/01/12.

[12] http://lexicometrica.univ-paris3.fr/article/numero2/brunet2000.html.

[13] ENS St Cloud.

[14] Antoine Prost, Vocabulaire des proclamations électorales, Idem, p.6

[15] Ibidem, p.5-6.

[16] Damon Mayaffre « De la lexicométrie à la logométrie», consultable à l’adresse : (lien valide le 30/01/12).

http://www.arts.uottawa.ca/astrolabe/articles/art0048/Logometrie.htm#Lemmatiser%20=%20d%E9grouper

[17] Damon Mayaffre , Ibidem.

[18] Il m’a fallu plus d’un mois pour lemmatiser mon corpus.

[19] Antoine Prost, Vocabulaire des proclamations électorales, Op.Cit, p.12.

[20] Les concepts mathématiques sur lesquels reposent les A.F.C sont assez complexes. Pour en savoir plus, je vous conseille de lire Philippe Cibois,  L’Analyse factorielle, analyse en composantes principales et analyse des correspondances, Paris, PUF, le point des connaissances,1983, 126 p., mais aussi le cour d’Alain Guerreau. Statistiques pour historiens, cours pour l’École des Chartes : http://elec.enc.sorbonne.fr/statistiques/stat2004.pdf. Lien valide le 30/01/12.


8 réflexions au sujet de « Utiliser la lexicométrie en histoire (2) : les aspects concrets »

  1. Ping : [Ping] Data Sciences Sociales

  2. Claire Lemercier

    Quelques années après cet excellent billet, ce qui est bien, c’est que les outils libres et gratuits se sont multipliées : outre TXM cité dans les précédents commentaires, il faut souligner qu’Iramuteq (qui travaille sur les cooccurrences suivant le même principe qu’Alceste) est maintenant pleinement fonctionnel et documenté (http://www.iramuteq.org/) et mentionner R.TeMiS, créé avec des sociologues pour analyser en particulier des corpus de presse et donc potentiellement utile en histoire aussi (http://rtemis.hypotheses.org/). L’obstacle financier a donc à peu près disparu, de même que le côté « boîte noire » qui allait avec les logiciels payants : les nouveaux logiciels sont bien plus paramétrables et clairs sur les opérations effectuées.

    Répondre
  3. Serge Heiden

    Je vous invite à ajouter l’outil TXM à votre atelier de lexicométrie (http://textometrie.ens-lyon.fr/spip.php?article60).
    En effet, il fait significativement évoluer un certain nombre de points mentionnés dans ce post :
    – il est gratuit
    – il est libre : ses sources sont disponibles en ligne et la communauté des SHS est invitée à le faire évoluer selon ses propres besoins (par exemple, l’Equipex Matrice de l’Université Paris 1 finance actuellement 3 années de développement de TXM pour les besoins des historiens contemporains – nous sommes toujours ouverts pour de nouveaux partenariats ou pour aider à monter des projets impliquant TXM)
    – il est disponible pour les 3 plateformes Windows, Mac et Linux
    – il est aussi disponible sous forme de portail web, ce qui offre la possibilité de diffuser des corpus en ligne (avec accès restreint si nécessaire pour des questions de confidentialité ou de propriété intellectuelle) tout en offrant des services d’analyse de type textométrique (voir le portail de démo http://txm.risc.cnrs.fr/demo)
    – il traite tout corpus de texte encodé en Unicode, c’est-à-dire tous les systèmes d’écriture actuels et beaucoup d’anciens : grec, égyptien, arabe, chinois…
    – il simplifie l’encodage des métadonnées de texte (ce que vous appelez le « balisage du corpus ») à travers un tableau Excel où chaque ligne qualifie les différentes propriétés d’un texte
    – il traite tout corpus de texte encodé en XML, c’est à dire un standard de représentation textuelle universel entre les outils aujourd’hui (cela concerne surtout la structure interne des textes : le découpage en sections, sauts de pages, notes, etc.)
    – il traite des corpus de texte encodés en TEI, standard international de la Text Encoding Initiative le plus élevé en termes d’interopérabilité et de pérennité des sources encodées en XML (ce standard offre des recommandations à la fois pour l’encodage des métadonnées de texte et de leur structure)
    – il lemmatise les corpus à la volée comme Hyperbase
    – il assiste la correction de la lemmatisation par différents moyens (externes pour l’instant : export du corpus dans Excel pour correction puis réimportation)
    – il offre les mêmes résultats que les outils cités et d’autres encore (nous comptons inclure par exemple l’algorithme d’Alceste développé dans Iramuteq : http://www.iramuteq.org)
    – il offre les services d’un moteur de recherche plein texte très puissant (recherche de motifs lexicaux impliquant différentes propriétés de mots, collocations, etc.)
    – il offre les services de l’environnement R pour aller plus loin dans les outils statistiques

    Répondre

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *