Producing Corpora of Medieval and Premodern Occitan

TL;DR

This paper discusses methods for creating and enriching digital corpora of Medieval and Premodern Occitan using OCR, annotation, and lemmatization techniques, enhancing digital philology research.

Contribution

It introduces adapted OCR and lemmatization tools for Medieval Occitan, addressing spelling variation challenges and demonstrating their application in corpus creation.

Findings

Successful adaptation of OCR for medieval texts

Development of lemmatization experiments for Occitan

Enhanced digital philology methods for ancient languages

Abstract

At a time when the quantity of - more or less freely - available data is increasing significantly, thanks to digital corpora, editions or libraries, the development of data mining tools or deep learning methods allows researchers to build a corpus of study tailored for their research, to enrich their data and to exploit them.Open optical character recognition (OCR) tools can be adapted to old prints, incunabula or even manuscripts, with usable results, allowing the rapid creation of textual corpora. The alternation of training and correction phases makes it possible to improve the quality of the results by rapidly accumulating raw text data. These can then be structured, for example in XML/TEI, and enriched.The enrichment of the texts with graphic or linguistic annotations can also be automated. These processes, known to linguists and functional for modern languages, present difficulties for languages such as Medieval Occitan, due in part to the absence of big enough lemmatized corpora. Suggestions for the creation of tools adapted to the considerable spelling variation of ancient languages will be presented, as well as experiments for the lemmatization of Medieval and Premodern Occitan.These techniques open the way for many exploitations. The much desired increase in the amount of available quality texts and data makes it possible to improve digital philology methods, if everyone takes the trouble to make their data freely available online and reusable.By exposing different technical solutions and some micro-analyses as examples, this paper aims to show part of what digital philology can offer to researchers in the Occitan domain, while recalling the ethical issues on which such practices are based.

Figures

Tables

Table 1. Table 1: Résultats des meilleurs modèles pour les entraînements sur le chans. I . *. données artificielles exclues dans le calcul du cer entr.

	Modèle 1	Modèle 2
vérité de terrain (l.)	1000	1000
vér. de terr. artificielle (l.)	0	9000
test (l.)	100	100
n. itér.	117k	295k
CER entr..	1.3	3.5*
CER test	8	6.1
sans espaces	7.4	5.7

Table 2. Table 2: Matrice des confusions les plus fréquentes obtenues par le meilleur modèle sur les données de test (chansonnier I ). La colonne de gauche donne ce qui a été prédit par le modèle, et celle de droite la vérité de terrain. Le symbole ‘_’ signale une absence de caractère.

freq.	pred.	GT
21	_	[diacr.]
12	[espace]	_
9	_	[espace]
6	[diacr.]	_
5	o	e
4	_	ı
4	e	o

Table 3. Table 3: Précision des résultats obtenus par le modèle entraîné avec Pandora après 100 époques d’apprentissage, sur les données d’entraînement, d’ajustement et de test

	Entr.	Dev.	Test
toutes formes	0,99	0,86	0,88
formes connues	0,99	0,92	0,93
formes inconnues	NA	0,35	0,37

Full text

La production de corpus d’occitan médiéval et prémoderne: problèmes et perspectives de travail††thanks: Les données et scripts utilisés pour cet article sont disponibles sur

Zenodo, https://zenodo.org/record/2605497, doi: 10.5281/zenodo.2605497. Les développements ultérieurs du corpus seront consultables sur Github, https://github.com/lemma-oc/BOMM.

Jean-Baptiste Camps

Centre Jean-Mabillon

École nationale des chartes | Université PSL

  

Gilles Guilhem Couffignal

Sorbonne Université | EA 4509, STIH

(Actes du XIIe\xspace Congrès de l’Association internationale d’études occitanes

Albi, 2017)

Le chercheur en langue et littérature occitanes est déjà bien bien pourvu en matière de corpus textuels électroniques, de façon même surprenante si l’on considère le statut social de l’occitan dans la société française actuelle. Le médiéviste occitaniste, notamment, a depuis longtemps à sa disposition la précieuse COM, fruit d’un travail pionnier mené en son temps par le regretté Peter Ricketts \parencitesricketts_concordance_2001ricketts_concordance_2005. D’autres projets de corpus \parencitesfield_corpus_2016scrivner_old_2016 ou d’édition électronique \parenciteslodge_les_2006carrasco_2014 touchant à la période médiévale ont également fleuri ces dernières années.

Pour les études modernes, les projets sont également nombreux et anciens. On peut les faire remonter, dans une perspective computationnelle, aux tables dialectométriques de [26]111Pour les corpus stricto sensu, voir dans ce même volume les projets en cours (Batelòc, CoRLiG); on notera également des projets de bibliothèque virtuelle [20].. Les projets ne manquent pas, ni même les sources déjà traitées et donc exploitables. Devant la disparité des techniques employées, nous voudrions montrer ici comment une équipe restreinte de deux ou trois chercheurs peut concrètement travailler à partir de corpus textuels électroniques. Deux points nous intéresseront particulièrement, l’acquisition et le traitement des données.

Pour l’acquisition des données, nous développerons la question de la reconnaissance optique des caractères (optical character recognition ou ocr) et de la reconnaissance des écritures manuscrites (handwritten text recognition ou htr), qui est la technique permettant aujourd’hui à n’importe quel chercheur muni d’un texte numérisé et d’un terminal informatique de créer rapidement son propre corpus, moyennant quelques manipulations informatiques et opérations de transcription que nous détaillerons.

En termes de traitement des données, nous retiendrons l’exemple de la lemmatisation, encore peu souvent effectuée sur les corpus occitans, et pivot d’un grand nombre d’exploitations possibles. Ce sera également l’occasion de montrer toute l’importance du partage des données et de formats interopérables entre les différents projets.

1 L’acquisition de corpus: transcription et reconnaissance optique de caractères

Le développement d’outils ouverts de reconnaissance optique des caractères, fondés sur des méthodes d’apprentissage profonds permet de les adapter à la situation d’un imprimé ancien, d’un incunable, voire d’un manuscrit, avec des résultats exploitables \parencitesbreuel_ocropy:_2014springmann_ocrocis:_2015, ce qui autorise la constitution rapide de corpora textuels.

La mise en œuvre d’une série de phases d’entraînement, correction, et nouvel entraînement permet à un chercheur de faire progresser la qualité des résultats, en accumulant rapidement des données textuelles brutes. Des outils libres et performants sont désormais à la portée des chercheurs en SHS (Ocropy/CLSTM, Tesseract 4) et permettent d’atteindre des niveaux d’erreur caractère (cer ou character error rate) qui peuvent relativement aisément descendre sous les 2% pour des imprimés anciens, et sous les 10% pour des manuscrits médiévaux. La seule limite est que si des modèles existent déjà pour les documents contemporains, il faut le plus souvent les développer soi-même pour les états de langue anciens, voire les adapter à chaque main en ce qui concerne les manuscrits.

1.1 Présentation générale

Le processus de reconnaissance d’un texte (ocr ou htr) se décompose généralement en plusieurs étapes (fig. 1),

le traitement des images: recadrage, redressement, suppression du bruit, et binarisation (en différenciant le texte de l’arrière-plan de l’image); 2. 2.

l’identification de la mise en page: zones de texte, colonnes, lignes, etc.; 3. 3.

la reconnaissance proprement dite du texte (i.e., la “transcription automatique”), à partir d’un modèle préexistant, ou bien en alternant phase d’entraînements d’un modèle et phase d’accroissement des données (reconnaissance de nouvelles lignes, correction,…); 4. 4.

d’éventuels post-traitements, visant à améliorer les résultats, en se fondant sur des modèles linguistiques (lexiques, …) ou en traitant en série des erreurs fréquentes.

La première étape peut être réalisée avec un outil dédié au traitement des images, avec ou sans interface graphique. Certains de ces outils sont d’un maniement très simple pour le néophyte, tels que ScanTailor [1]. Cette étape n’est pas du tout anodine, et la qualité des résultats que l’on obtiendra en ocr/htr est directement liée à la qualité des images traitées. Il est donc primordial non seulement d’obtenir des fichiers de bonnes qualité (300 ou 600 points par pouces), mais encore des les rendre les plus lisibles possible: redressement de l’image; suppression de sources de bruit (automatiquement ou par intervention humaine pour supprimer la décoration ou les partitions musicales, comme pour l’ocr des Psaumes d’Arnaud de Salette); binarisation, pour accentuer les contrastes et isoler le texte du bruit d’arrière-plan ou des lettres du verso (quand l’encre corrosive les fait apparaître en transparence).

Enfin, le texte est segmenté par colonne et par ligne, unité de base du traitement de reconnaissance. L’identification de la mise en page, et particulièrement des colonnes et des lignes, peut être plus délicate, notamment à cause des déformations possibles des images, des irrégularités que présentent les manuscrits, ou de la présence d’éléments tels que les lettrines, qui occupent plusieurs lignes de réglure. Pour cette phase d’analyse de la mise en page, une nouvelle génération d’algorithmes, fondés sur de l’apprentissage machine, est en train d’émerger.

Pour ce qui est de la reconnaissance du texte proprement dite, les outils existants peuvent être subdivisées en deux catégories, selon qu’ils aient recours à des méthodes segmentées ou non segmentées \parencitesbreuel2013high[11-18]ul-hasan_generic_2016. Les méthodes segmentées visent tout d’abord à décomposer la ligne en une série de caractères, que l’on tentera ensuite d’identifier en les comparent individuellement à des formes enregistrées pour chaque caractère. Les méthodes non segmentées se fondent sur une analyse de la ligne, sans segmentation préalable, permettant ainsi une meilleure prise en compte du contexte. Elles peuvent, par exemple, faire défiler une fenêtre de largeur fixe sur la ligne en combinaison avec des modèles probabilistes (modèle de Markov caché). Les méthodes non segmentées actuellement les plus prometteuses ont recours à l’apprentissage de séquence, grâce à des réseaux de neurones, et tout particulièrement des réseaux récurrents à mémoire court et long terme (long short-term memory ou LSTM), uni- ou bidirectionnels, en combinaison avec un algorithme de de classification temporelle connexionniste (CTC) \parencitesbreuel2013highul-hasan_generic_2016.

Nous avons ainsi choisi d’utiliser un outil libre implémentant ce dernier type de méthode, OCRopy [3], de pair avec son implémentation en C, CLSTM.

1.2 Un outil libre: OCRopy

OCRopy est un outil open source, avec lequel il est aisé d’entraîner et réutiliser des modèles de reconnaissance des caractères ou des écritures. L’entraînement de modèles par apprentissage machine repose sur des données initiales transcrites par l’humain (la vérité de terrain, en anglais, ground truth). Concrètement, après avoir pré-traité le document numérique de façon à générer un fichier image par ligne de texte, le philologue est tout d’abord invité à transcrire une sélection pertinente (d’un point de vue graphique ou typographique) du texte (fig. 2 et 3).

Cette transcription se fait selon les règles choisies par l’opérateur. Elle peut être de type “diplomatique”. Nous préférons les termes d’allographétique et graphématique, suivant la terminologie proposée par [30]. Dans le premier cas chaque allographe est encodé par son propre caractère, tandis que dans le second cas, seul le graphème est représenté par un caractère informatique. Un exemple courant: tous les allographes de ‹s› peuvent soit être rendus par un caractère qu’on leur consacre (,…), soit par un seul caractère (s).

Tous les signes nécessaires à cette transcription sont déclarés dans un ficher dédié (ici, chars.py). Ainsi, les seules limites à une approche allographétique seront celles de la modélisation réalisée par le chercheur (quels sont les allographes repérables? Combien de variantes en recense-t-on?) et de l’existence d’une convention pour la représentation de ces signes (idéalement au sein d’Unicode, ou bien d’une initiative collective comme la Medieval Unicode Font Initiative, [10]). Quoiqu’on ait choisi, et si l’on ne veut obtenir plus aisément des résultats, il est préférable de transcrire ce qui figure effectivement sur la source: c’est-à-dire notamment les abréviations (et non leur résolution), la ponctuation et la segmentation originale222Demander à l’intelligence artificielle de résoudre d’elle-même les abréviations n’est pas impensable, mais bien plus difficile, et demande beaucoup plus de données [[, voir]]bluche2017preparatory. Les scripts de résolution d’abréviation, en revanche, sont beaucoup plus facilement appliqués en post-traitement, ce qui permet, en outre, de conserver dans un même fichier l’état observé et l’état interprété..

L’étape suivante consiste en la transcription des lignes (ou la correction de lignes prédites par le modèle précédant), permettant de fournir des données d’entraînement en volume suffisant (fig. 3).

Une fois ces données initiales apprêtées par un humain, la machine prend le relais et l’entraînement peut ainsi commencer. Lors de chaque itération de celui-ci, la machine tente d’aligner le texte de la vérité de terrain avec l’image (algorithme ctc) et de prédire ce texte. Le réseau de neurones est ensuite mis à jour en fonction des résultats obtenus. Cet apprentissage se poursuit alors durant plusieurs dizaines ou centaines de milliers d’itérations, jusqu’à obtenir un résultat satisfaisant. La quantité de données disponibles est très importante si on veut retarder ce que l’on nomme l’overtraining, c’est-à-dire le moment où le réseau «  apprend par cœur  »\xspace les données d’entraînement, et commence à régresser sur les données de test (cf. fig. 4; après l’itération 120 000, l’erreur – non portée sur le graphique – sur les données de test recommence à augmenter).

À partir de ce moment, se met en place un va-et-vient entre l’humain et la machine. Les différents modèles enregistrés par le programme sont évalués. C’est-à-dire qu’ils sont appliqués, en aveugle, sur des données sélectionnées de façon aléatoire et déjà transcrites mais non vues lors de l’entraînement, de façon à ce que l’on puisse compter les erreurs.

Le meilleur modèle est alors retenu et appliqué à une autre sélection du texte. L’opérateur peut alors, très rapidement, corriger cette sélection et ainsi créer plus de données vérifiées qui permettront une nouvelle série d’entraînements. Lorsque le dernier modèle entraîné est jugé suffisamment performant, on l’applique à l’ensemble de l’ouvrage et on récupère l’ensemble des données. Dans le cas d’ouvrages particulièrement lisibles et pour lesquels on peut prétendre arriver à plus de 99% de réussite, il est préférable de se satisfaire du texte créé par l’OCR. Il y a de grandes chances pour que certaines menues erreurs du transcripteur humain aient été rectifiées par la machine. En revanche, dans le cas d’ouvrages plus complexes ou dégradés, il est préférable de recourir aux données machine pour compléter celles de l’humain.

Pour un imprimé ancien, on peut raisonnablement atteindre des taux d’erreur de l’ordre de 1%333Durant nos essais sur des imprimés occitans du xvie\xspace siècle, seul le modèle des Salmes de Salette (1587) est resté à un taux d’échec supérieur à 2 (2,091%), dû sûrement à la mise en page complexe de l’ouvrage. Nous sommes parvenus, pour la traduction de Gerson (1556) à 0,797% d’échec., ce qui permet immédiatement l’application de méthodes de recherche reposant sur la quantité de données textuelles non vérifiées.Dans le cas du manuscrit, une relecture reste impérative. Néanmoins, le temps nécessaire, par rapport à une transcription brute, est très fortement diminué dès lors que l’on brise la barrière des 10% d’erreur, et à plus forte raison encore, de 5%. Si le premier seuil n’est pas hors de portée avec quelques centaines seulement de lignes d’entraînement, le second demande une quantité bien plus importante de données.

Comme la constitution des données de terrain (transcription, relecture) est ce qui est le plus coûteux en temps et compétences, diverses solutions peuvent être employées pour en augmenter artificiellement le nombre, soit en appliquant diverses formes de transformations aux images des lignes, soit en créant des pseudo-pages de manuscrits à partir de l’extraction de la forme des lettres. Ce travail peut être réalisé en quelques minutes grâce à un logiciel tel que DocCreator \parencitesjournet2017doccreatorlabri_doccreator:_2018. Si l’on retient la première solution, on pourra appliquer une variété de déformations aux images originelles, y compris des déformations tridimensionnelles (fig. 5).

Dans le cas du chansonnier I, 1000 lignes d’entraînement suffisent à obtenir un premier modèle tout à fait exploitable, tandis que l’ajout de lignes artificielles permet une amélioration supplémentaire de presque 2% de cer (table 1).

Que reste-t-il alors comme erreurs? Les confusions les plus courantes que nous ayons pu observer pour les manuscrits romans ne sont pas surprenantes (table 2 pour le chansonnier I). Les erreurs les plus fréquentes concernent ainsi les caractères “combinatoires” – accents et tildes variés –, ainsi que l’espacement. On sait que l’opposition présence/absence d’une espace, propre à l’imprimé, ne correspond pas à la réalité du manuscrit et pose des difficultés au transcripteur qui voudrait reproduire la pratique médiévale. Ces difficultés réapparaissent aussi pour un réseau de neurones. D’autres confusions peuvent s’expliquer par des proximités de forme, entre e et o par exemple.

2 Structuration de documents textuels

Une fois les données acquises, se pose la question de leur représentation par un modèle, qui est nécessairement une simplification de la réalité, ou pour mieux dire une sélection de faits observables sur le document source, que nous retenons parce que nous voulons les analyser ou parce qu’ils sont d’un intérêt suffisamment général pour justifier le surcroît de travail \parencitessperberg2009teach[cxcv-cc]camps2016chanson.

Les sources présentent ainsi une grande diversité de faits, de différents ordres:

• —

matériel (cahiers, feuillets, dégâts touchant au support,…) et relatif à la mise en texte et en page (colonnes, lignes,…);

• —

logique (paragraphes, strophes, vers…);

• —

graphique (segmentation, allographie, ponctuation,…);

• —

métrique, linguistique, etc.

La première étape de la structuration des données est ainsi la conception d’un modèle abstrait, exprimant les concepts retenus et leurs relations, qui peut ensuite être retranscrit par un formalisme technique donné. Dans ce contexte, les recommandations de la Text encoding initiative [31] fournissent un cadre dans lequel peut se placer l’implémentation du modèle.

La conformité à la TEI n’est toutefois pas suffisante en soi: il reste au chercheur à concevoir son modèle comme un sous-ensemble plus spécifique de celle-ci, et documenté selon l’usage qu’il en fait. Pour que ce modèle soit utile, il ne doit pas simplement viser à la satisfaction intellectuelle de son créateur, mais doit demeurer manipulable, permettre l’exploitation scientifique, la publication et la réutilisation des données, ainsi que leur pérennisation et, idéalement, l’échange aisé entre différents projets. D’un point de vue plus général, il est souhaitable de se conformer aux principes de la science ouverte et des «  fair data  »\xspace, données «  trouvables, accessibles, interopérables et réutilisables  »\xspace [32].

Une fois le modèle de données établi, il convient de structurer les documents d’une manière conforme à celui-ci (ce que facilite, en cas d’utilisation de technologies xml, l’utilisation d’un schéma dans un langage tel que RelaxNG). Cette étape de structuration peut être sujette à différentes automatisations. Il est ainsi possible a minima de recourir à des scripts dans un langage de programmation, tel que Python ou xslt par exemple, pour une première phase d’encodage sommaire en tirant profit des informations fournies par l’ocr ou déterminables par des motifs et expressions régulières (segmentation en feuillets, lignes, strophes, vers, mots, …).

Si un encodage automatique de ce type ne permet pas d’aller très loin, des pistes existent pour permettre un encodage fin de documents par la machine, grâce à des méthodes d’intelligence artificielle. Des outils comme Grobid [23] permettent déjà de traiter de cette manière des documents très structurés, tels que des publications scientifiques ou des dictionnaires, à partir d’un échantillon encodé de données d’entraînement.

Dans le cas le plus général, pour ce qui est des éditions de manuscrits ou imprimés anciens, une phase d’intervention humaine sur les fichiers s’avère nécessaire, quoique coûteuse et chronophage. Il reste néanmoins possible d’enrichir systématiquement les données transcrites par des méthodes computationnelles, qu’il s’agisse de la reconnaissance des entités nommées ou de la lemmatisation.

3 Enrichir les données transcrites: l’exemple de la lemmatisation

Une infinité d’enrichissements peuvent être accomplis sur les données issues de la transcription, certains plus courants que d’autres: reconnaissance des entités nommées, annotation du système graphique, des morphèmes, du mètre, des figures de style, etc. Parmi ces enrichissements, nous nous attarderons sur un cas très fréquent, et utile à de nombreuses formes d’exploitation des données, à savoir la lemmatisation et l’annotation morpho-syntaxique.

Cet enrichissement des données textuelles par des annotations d’ordre linguistique peut également connaître certaines automatisations. Si ces procédés sont bien connus des linguistes et déjà bien fonctionnels pour les langues modernes, ils posent encore des difficultés pour des langues comme l’occitan médiéval, dues en partie à l’absence de corpus lemmatisés de taille conséquente.

3.1 Principe général

Les lemmatiseurs fondés sur des lexiques de forme sont d’un emploi courant pour les langues contemporaines [[, par ex.]]schmid_treetagger:_1994, mais ceux-ci s’avèrent inadaptés pour des états anciens de langue présentant une forte variation graphique et de nombreuses formes en hapax, et rarement capables de désambiguïser des formes homographes. La très grande variation graphique réduit sensiblement la pertinence des lemmatiseurs fondés sur des lexiques de formes, sachant que des substitutions graphiques nouvelles peuvent apparaître dans chaque nouveau jeu de données soumis au lemmatiseur.

En revanche, la nouvelle génération de lemmatiseurs, qui tire profit des avancées de l’apprentissage machine, est plus prometteuse pour les langues médiévales ou riches en variation. Ceux-ci se fondent souvent sur des corpus annotés – soit des occurrences prises en contexte –, dont ils cherchent à modéliser l’espace sémantique et la variation graphique \parencitesmuller2015jointkestemont_lemmatization_2016. Ces lemmatiseurs sont ainsi capables de réaliser la tâche centrale à la lemmatisation d’états anciens de langue: l’identification correcte du lemme d’une forme inconnue (i.e. jamais rencontrée durant l’entraînement). Ils peuvent aussi décider correctement du lemme d’une forme qui possède plusieurs homographes.

3.2 Collecte et alignement des données

Pour entraîner ces lemmatiseurs, il faut donc disposer de corpora de données annotées, en quantité et qualité suffisantes. Ce besoin se heurte d’emblée à une première difficulté, celle de l’interopérabilité des jeux de données, en termes de formats, mais aussi en termes de référentiels, particulièrement les listes de lemmes de référence et les jeux d’étiquette. Des barrières d’usage ou juridiques surgissent également rapidement, car l’accès aux données annotées ou la possibilité de les réutiliser n’est pas systématique. Tandis que certaines données peuvent être emprisonnées dans des systèmes propriétaires, d’autres ne sont simplement pas accessibles pour des raisons techniques ou parce que la démarche de les doter d’un statut et d’une licence claire et explicite n’a pas été accomplie. Sur un plan pratique, se pose en outre la question de la quantité de données nécessaires. Il est en effet délicat de parvenir à des résultats dotés d’un peu de généralité sans un corpus dont le nombre d’occurrences n’est pas un multiple de $10^{5}$, ou, de préférence, $10^{6}$ – à titre de comparaison, la totalité de la com1 [21] contient environ $7,3\times 10^{5}$ occurrences. Dans les lignes qui suivent, nous décrirons comment nous avons constitué un corpus d’entraînement primaire (annoté), ainsi qu’un corpus secondaire (non annoté) pouvant être utilisé plus marginalement pour ajuster les représentations sémantiques des mots.

Dans le cadre de notre démarche d’entraînement d’un lemmatiseur pour l’occitan médiéval et prémoderne, la première étape à été de tenter de collecter des données d’entraînement, héritées de divers projets. Nous avons ainsi utilisé les données fournies, sous licence libre, par l’édition des Comptes des consuls de Montferrand [16], ainsi que deux corpora qui nous ont été fournis par leurs auteurs \parencitesfield_corpus_2016scrivner_old_2016444À la date d’écriture de cet article, nous n’avons pas encore eu recours au corpus fourni par [8], n’ayant encore pu compléter de manière systématique les informations qui y figuraient et les aligner sur le référentiel commun utilisé. . Il nous a ensuite fallu procéder selon les étapes présentées en fig. 6.

Comme ces données étaient dans des formats différents, l’étape suivante est de les aligner sur un format commun, avec un même jeu de lemmes de référence.

Les données des Comptes… se présentaient déjà sous un format tei, en partie seulement segmenté et lemmatisé, via des liens avec les entrées du glossaire (fig. 7). Nous avons donc procédé, par un script xslt, à une segmentation complète, et avons aligné les entrées du glossaire avec le jeu de lemmes de référence que nous avons retenu, à savoir celui du Dictionnaire de l’occitan médiéval [29], comme présenté en fig. 8. Pour ce faire, un script a interrogé systématiquement les entrées du dom à partir de l’entrée du glossaire, et proposé une ou plusieurs correspondances possibles, qui ont été vérifiées par l’humain et intégrées aux données (ligne 3 sur la figure). Dans les cas où aucun lemme du dom ne correspondait à l’occurrence, nous avons créé et documenté de nouveaux lemmes, en tentant de suivre les mêmes principes de création que le dom.

Une fois l’alignement fait, nous avons réinjecté l’information de lemme dans les données segmentées (fig. 9).

Nous avons procédé d’une manière similaire pour le Flamenca lemmatisé fourni par [25]. À l’issue de ce travail, une ultime phase de reprise d’ensemble, pour une correction et harmonisation générale, des données s’est avérée nécessaire. Pour ce faire, l’utilisation d’un tableur peut suffire, mais des logiciels plus perfectionnés existent, qui permettent la vérification de l’intégrité des lemmes et étiquettes utilisées, tout en facilitant la correction par lots des cas similaires [[, par ex.]]clerice_pandora-postcorrect-app_2017.

Nous disposions ainsi d’un premier (petit) corpus de 54600 occurrences, mais les lemmatiseurs de nouvelle génération, comme Pandora ou Lemming, fournissent aussi parfois la possibilité d’utiliser un corpus secondaire, non annoté, mais fournissant une grande quantité d’occurrences. Ce corpus secondaire peut être utilisé pour améliorer la modélisation de l’espace sémantique de la langue, en proposant une représentation des formes en fonction de leur contexte (à gauche et à droite) s’appuyant sur une quantité plus importante (et donc plus fiable) de données. Pour cela, Pandora a recours à la technologie de «  word embeddings  »\xspace (ou, plongement de mots, en français) fournie par l’algorithme «  skipgram  »\xspace de w2vec [18]. Lemming utilise l’algorithme «  Marlin  »\xspace [17].

Pour ce corpus secondaire, nous avons extrait et utilisé les textes du premier volume des COM [21], ce qui a nécessité de les convertir en tei et de les segmenter en mots.

3.3 Entraînement d’un modèle de lemmatisation

Nous avons retenu l’utilisation du lemmatiseur Pandora [12], sans pouvoir utiliser en parallèle Lemming [19], car, au cours des opérations d’alignement du corpus, nous n’avons pour l’instant traité que les lemmes et pas les étiquettes morpho-syntaxiques (pour lesquelles un jeu consensuel d’étiquettes n’existe pas à notre connaissance pour l’occitan ancien). Lemming prenant en compte de pair morpho-syntaxe et lemmes, son utilisation devenait, pour le moment, impossible, tandis que Pandora les traite séparément. À l’avenir, il sera utile de compléter le corpus sur ce point pour permettre la comparaison des résultats de ces deux outils.

Pandora est un lemmatiseur en cours de développement, en Python, utilisant des bibliothèques d’intelligence artificielle telles que Keras et TensorFlow. Son code est libre et ouvert. Il a été conçu spécifiquement pour traiter les particularités des états médiévaux de langue, et notamment leur forte variabilité graphique. Concrètement, Pandora utilise des plongements de mots et de caractères pour créer une représentation, par des vecteurs, des mots, de leurs caractères et de leur contexte à gauche et à droite. Cette représentation est ensuite fournie à un réseau de neurone convolutif ou récurrent (de type lstm) qui apprend sur les données du corpus et réalise la tâche de classification \parenciteskestemont_lemmatization_2016kestemont2017integrated.

Nous avons ainsi pu entraîner des modèles de lemmatisation avec Pandora. Dans un premier temps, les données des com ont servi pour réaliser la représentation sémantique initiale des mots, en 100 dimensions avec l’algorithme skipgram. Cette représentation peut être visualisée par réduction en deux dimensions (fig. 10), et donne à voir des proximités sémantiques. Celles-ci rapprochent des graphies différentes du même lemme, mais aussi des mots de sens voisin (i.e. employés dans des contextes similaires). Ces proximités peuvent aussi être interrogées directement et affichées avec un coefficient de similarité. Ainsi, les mots les plus proches de domna sont dompna (0,97), dona (0,87), bona (0,86), amia (0,85), etc. Ceux les plus proches de joy sont gaug (0,92), deport (0,88), ioy (0,85), esperansa (0,85), pessamen (0,84), etc.

L’entraînement peut ensuite commencer sur les données annotées. De celles-ci, 80% sont utilisées pour l’entraînement, 10% pour des ajustements, et 10% pour tester la performance des modèles. Durant chaque époque de l’entraînement, l’ensemble du corpus d’entraînement est soumis au réseau de neurones convolutif, qui apprend et tente de prédire les lemmes. Après un nombre donné d’époques (ici, 100), l’entraînement est arrêté. Les résultats obtenus par le meilleur modèle sont présentés en table 3. Si la performance sur les formes connues est bonne, elle demeure très nettement en deçà de ce qu’il est possible d’atteindre sur les formes inconnues avec une quantité supérieure de données d’entraînement.

4 Des perspectives d’exploitation renouvelées

Si les traitements présentés ici sont d’ores-et-déjà fonctionnels, et permettent d’obtenir des résultats intéressants en production de corpus, la clef de leur amélioration pour l’avenir consiste en le nécessaire accroissement de la quantité de données disponibles et utilisables. Une quantité supérieure de données d’entraînement signifie en effet l’obtention de modèles plus performants qui permettent en retour un accroissement plus rapide de la quantité de données exploitables.

Pour cela, il faut que les données soient interopérables et documentées, mais aussi rendues disponibles en ligne, sous une licence libre, permettant la réutilisation, et sous une forme citable et pérenne. Ce n’est qu’à ce prix que l’on permettra un progrès des outils, méthodes et connaissances sur les textes occitans médiévaux et pré-modernes.

Remerciements

Les auteurs remercient Marine Mazars et Lucence Ing pour leur collaboration philologique et technique, ainsi que Thomas Fields et Olga Scrivner pour la communication de leurs données. Cet article s’inscrit dans une démarche relevant des projets LAKME (financement de l’Université Paris Sciences & Lettres) et CoRLiG (ministère de la culture, DGLFLF).

1

• IEEE

1

• IEEE

1

• Université Paris-Sorbonne-Paris IV

1

• hipster-philology

1

• Baltimore

1

• Multidisciplinary Digital Publishing Institute

1

• Anvers

1

• Episciences. org

1

• Bordeaux, La Rochelle 1

• DocCreator

1

• Paris

1

• Elsevier

1

• Toulouse

1

• Turnhout, Belgique 1

• Brepols Publishers

1

• Turnhout, Belgique 1

• Brepols Publishers

1

• Stuttgart

1

• Bloomington

1

• Oxford University Press

1

• Munich

1

• Norderstedt

1

• Nature Publishing Group

Références

• [1] Joseph Artsimovich and Nate Craun

“ScanTailor”, 2016

URL: http://scantailor.org/

• [2] Théodore Bluche et al.

“Preparatory KWS Experiments for Large-Scale Indexing of a Vast Medieval Manuscript Collection in the HIMANIS Project”

In Document Analysis and Recognition (ICDAR), 2017 14th IAPR International Conference on 1, 2017, pp. 311–316

• [3] Thomas M Breuel

“Ocropy: Python-based tools for document analysis and OCR”, 2014

URL: https://github.com/tmbdev/ocropy

• [4] Thomas M Breuel, Adnan Ul-Hasan, Mayce Ali Al-Azawi and Faisal Shafait

“High-performance OCR for printed English and Fraktur using LSTM networks”

In Document Analysis and Recognition (ICDAR), 2013 12th International Conference on, 2013, pp. 683–687

• [5] Jean-Baptiste Camps

“La Chanson d’Otinel: édition complète du corpus manuscrit et prolégomènes à l’édition critique”, 2016

• [6] “Le « Petit Thalamus » de Montpellier : édition critique numérique du manuscrit AA9 des Archives municipales : page d’accueil”, 2014

URL: http://thalamus.huma-num.fr/

• [7] Thibault Clérice

“pandora-postcorrect-app” original-date: 2017-09-25T08:26:41Z, 2017

URL: https://github.com/hipster-philology/pandora-postcorrect-app

• [8] “Corpus linguistique de l’ancien occitan gascon”, 2016

URL: http://mllidev.umbc.edu/gascon/French/description/index.html

• [9] Adnan Ul-Hasan

“Generic Text Recognition using Long Short-Term Memory Networks”, 2016

URL: https://kluedo.ub.uni-kl.de/frontdoor/index/index/docId/4353

• [10] Odd Einar Haugen

“Medieval Unicode Font Initiative”, 2014

URL: http://folk.uib.no/hnooh/mufi/

• [11] Nicholas Journet et al.

“DocCreator: A New Software for Creating Synthetic Ground-Truthed Document Images”

In Journal of imaging 3.4, 2017, pp. 62

• [12] Mike Kestemont

“Pandora: A Tagger-Lemmatizer for Latin”, 2016

URL: https://github.com/mikekestemont/pandora

• [13] Mike Kestemont and Jeroen De Gussem

“Integrated Sequence Tagging for Medieval Latin Using Deep Representation Learning”

In Journal of Data Mining & Digital Humanities, 2017

URL: https://arxiv.org/abs/1603.01597

• [14] Mike Kestemont, Guy de Pauw, Renske van Nie and Walter Daelemans

“Lemmatization for variation-rich languages using deep learning”

In Digital Scholarship in the Humanities fqw034, 2016

DOI: 10.1093/llc/fqw034

• [15] LABRI and L3I

“DocCreator: DIAR software for synthetic document image and groundtruth generation, with various degradation models for data augmentation” original-date: 2017-10-20T10:53:54Z, 2018

URL: https://github.com/DocCreator/DocCreator

• [16] “Les comptes des consuls de Montferrand (1273–1319)”, Éditions en ligne de l’École des chartes (Élec) 16, 2006

URL: http://elec.enc.sorbonne.fr/montferrand/

• [17] Sven Martin, Jörg Liermann and Hermann Ney

“Algorithms for bigram and trigram word clustering1”

In Speech communication 24.1, 1998, pp. 19–37

• [18] Tomas Mikolov et al.

“Distributed representations of words and phrases and their compositionality”

In Advances in neural information processing systems, 2013, pp. 3111–3119

• [19] Thomas Müller, Ryan Cotterell, Alexander Fraser and Hinrich Schütze

“Joint lemmatization and morphological tagging with lemming”

In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, 2015, pp. 2268–2274

• [20] “Bibliotheca tholosana - Accueil”, 2006

URL: http://bibliotheca-tholosana.fr/

• [21] Peter Thomas Ricketts, F… Akehurst, John Hathaway and Cornelis Henricus Maria van der Horst

“Concordance de l’Occitan médiéval (COM) = The concordance of medieval Occitan”, 2001

• [22] Peter Thomas Ricketts et al.

“Concordance de l’Occitan médiéval: COM 2 : les troubadours, les textes narratifs en vers = The concordance of medieval Occitan : the troubadours, narrative verse”, 2005

• [23] Laurent Romary and Patrice Lopez

“Grobid-information extraction from scientific publications”, 2008-2018

URL: https://github.com/kermitt2/grobid

• [24] Helmut Schmid

“TreeTagger: a part-of-speech tagger for many languages”, 1994

URL: http://www.cis.uni-muenchen.de/~schmid/tools/TreeTagger/

• [25] “Old Occitan Corpus – Digital Collection”, 2016

URL: www.oldoccitancorpus.org

• [26] Jean Séguy

“La relation entre la distance spatiale et la distance lexicale”

In Revue de linguistique romane, 1971, pp. 335–357

• [27] C Michael Sperberg-McQueen

“How to teach your edition how to swim”

In Literary and linguistic computing 24.1, 2009, pp. 27–39

• [28] Uwe Springmann and David Kaumanns

“Ocrocis: a high accuracy OCR method to convert early printings into digital text”, 2015

URL: http://cistern.cis.lmu.de/ocrocis/tutorial.pdf

• [29] Wolf-Dieter Stempel et al.

“Dictionnaire de l’occitan médiéval (DOM en ligne)”, 1996

URL: http://www.dom-en-ligne.de/

• [30] Dominique Stutzmann

“Paléographie statistique pour décrire, identifier, dater. . . Normaliser pour coopérer et aller plus loin ?”

In Kodikologie und Paläographie im digitalen Zeitalter 2 / Codicology and Palaeography in the Digital Age 2, Schriften des Instituts für Dokumentologie und Editorik, 3, 2011, pp. 247–277

URL: https://halshs.archives-ouvertes.fr/halshs-00596970/

• [31] TEI Consortium

“TEI P5: Guidelines for Electronic Text Encoding and Interchange”, 2007

URL: http://www.tei-c.org/release/doc/tei-p5-doc/en/html/

• [32] Mark D Wilkinson et al.

“The FAIR Guiding Principles for scientific data management and stewardship”

In Scientific data 3, 2016