Corpus pour modélisation statistique du langage

Question :

Bonjour,

j’ai besoin des informations sur les corpus disponibles pour modélisation statistique du langage.Mon stage de master porte sur la reconnaissance de l’écriture manuscrite et modélisation de langue divers.
Merci pour toutes informations sur le même thème.

Réponse :

Bonjour,

Pour une première approche mais surtout pour les pistes intéressantes qu’offrent les liens proposés en annexe je vous propose d’abord un article des Techniques de l’ingénieur .
[Cette base documentaire en ligne, mise à jour régulièrement propose des articles de synthèse, avec schémas et bibliographies, un lexique multilingue dans les différents domaines des sciences exactes mais surtout de l’ingénierie. Propose également une information de veille et d’actualités sur les tendances, innovations et nouveaux produits, lois et règlements, brevets et normes.]
“Reconnaissance en-ligne d’écriture manuscrite”. Référence H1358 | Date de publication : 10 mai 2010 / Éric ANQUETIL
http://www.techniques-ingenieur.fr/base-documentaire/annex/h1358v2docniv10003/annexe.html

1 Supports numériques
• Bases d’écriture
– Unipen http://unipen.org/
– IronOff
– Rimes http://rimes.it-sudparis.eu/index.php?pid=1
– Nist http://www.nist.gov/srd/optical.htm
– MNist http://yann.lecun.com/exdb/mnist/
Une autre source pour trouver des bases et benchmark récents et significatifs est de se reporter aux compétitions régulièrement lancées à l’occasion des plus grandes conférences internationales du domaine.
Par exemple, ICDAR 2009 http://www.cvc.uab.es/icdar2009/competitions.html ou encore ICFHR2010 http://www.isical.ac.in/~icfhr2010/competitions.html.
D’autres liens liés à votre sujet : 2 Sites Internet ,3 Événements ,3.1 Conférences nationales ,3. Conférences internationales , .3 Communautés scientifiques voisines , 4 Normes et standards , 5 Annuaire , 5.1 Constructeurs – Fournisseurs – Distributeurs (liste non exhaustive) , 5.2 Tissu industriel autour de la reconnaissance de l’écrit , 5.3 Organismes – Fédérations – Associations (liste non exhaustive)
La BU de Versailles Saint-Quentin-en-Yvelines est abonné à cette base , vous pourrez donc accéder au texte intégral de l’article.

  • Je vous conseille également d’interroger le Sudoc (http://www.sudoc.abes.fr/). Ce catalogue collectif vous permet d’effectuer des recherches bibliographiques sur les collections des bibliothèques universitaires françaises et autres établissements de l’enseignement supérieur, ainsi que sur les collections de périodiques d’environ 2400 autres centres documentaires. Il permet également de savoir quelles bibliothèques détiennent ces documents.

Avec les mots clefs : reconnaissance  model*  ecriture manuscrit*
(la troncature « * » permet d’élargir la requête : ex. model* pour modélisation OU modèle(s ), vous obtiendrez principalement des thèses dont celles-ci :

Modèles de Markov multi-flux pour la reconnaissance de l’écriture manuscrite multi-scripts [Texte imprimé]
Kessentini, Yousri (1979-…) / [s.n.] / 2009

Reconnaissance de l’écriture manuscrite en-ligne par approche combinant systèmes à vastes marges et modèles de Markov cachés [Texte imprimé]
Ahmad, Abdul Rahim (1962-….) / [s.n.] / 2008

Modélisation du langage naturel appliquée à la reconnaissance de l’écriture manuscrite en-ligne [Texte imprimé]
Perraud, Freddy (1978-…) / [s.n.] / 2005

Intégration et modélisation de connaissances linguistiques pour la reconnaissance d’écriture manuscrite en-ligne [Texte imprimé]
Carbonnel, Sabine (1979 – ….) / (s.n.) / 2005

Vous pouvez les consulter, notamment pour la partie bibliographie sur microfiches dans votre bibliothèque universitaire de référence ou les demander par prêt inter via votre bibliothèque

  • Pour trouver des articles, principalement en anglais, le moteur de recherche SCIRUS (http://www.scirus.com) spécialisé dans la recherche de documents de nature scientifique publiés sur le Web, articles de revues, actes de congrès, sites web, brevets, … Recense des ressources gratuites et payantes) amène des résultats intéressants avec les mots clefs : “handwriting recognition” modeling  language  linguistic.

Stochastic Segment Modeling for Offline Handwriting Recognition [PDF-2MB] Jun 2009
…a bigram language model is…approximate trigram language model to…Stochastic Segment Modeling The stochastic…performing recognition: 1. Stochastic…for offline handwriting recognition [6],[7…stochastic segment modeling framework…scores such as language model probabilities…from the Linguistic Data Consortium…
[http://www.cvc.uab.es/icdar2009/papers/3725a971.pdf]

Phrase Based Direct Model for Improving Handwriting Recognition Accuracies [PDF-197K] Feb 2009
…Architecture for handwriting recognition systems…the Human Language Technology Conference…Statistical Language Modeling Toolkit and…ARPA Spoken Language Systems Tech…Specific Handwriting Generation for the…Attributes in Handwriting Recognition”, IEEE…
[http://www.cedar.buffalo.edu/~govind/papers/fjg08.pdf]
.
Rejection Strategies in Handwriting Recognition Systems [PDF-892K] Dec 2006
…1 Offline Handwriting Recognition System…Optimizing the Language Model Variations…to offline handwriting recognition, confidence…statistical language model are…proportion of the language model into…of speech recognition, but not in handwriting recognition. Experiments…
[http://iamwww.unibe.ch/~bertolam/publications/diplom.p…]

Certains sont accessibles librement (possibilité de limiter à ces ressources via la rubrique à gauche) d’autres sur abonnement (s’adresser alors ou être connecté à sa BU pour y accéder)

  • HAL. L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion d’articles scientifiques de niveau recherche, publiés ou non, et de thèses, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

(http://hal.archives-ouvertes.fr/)

Avec les mots clefs : reconnaissance écriture manuscrite :
31 résultats en français en texte intégral dont :
Approches textuelles pour la catégorisation et la recherche de documents manuscrits en-ligne / Peña Saldarriaga S.
Université de Nantes (24/03/2010), Christian Viard-Gaudin (Dir.) [tel-00483684 – version 1] (thèse)
AMBRES : une approche générique pour l’analyse et la reconnaissance de documents manuscrits / Lemaitre M., Grosicki E., Geoffrois E., Prêteux F.
Dixième Colloque International Francophone sur l’Ecrit et le Document – Colloque International Francophone sur l’Ecrit et le Document, France (2008) [hal-00334419 − version 1] (article de congrès)

Avec les mots clefs : handwriting recognition modeling language, vous accèdez au texte intégral de 2 documents en anglais.

Dans la revue “Document numérique” un article publié en français: « Modélisation de HMM en contexte avec des arbres de décision pour la reconnaissance de mots manuscrits » / Anne-Laure Bianne-Bernard et al. , Document numérique 2/2011 (Vol. 14), p. 29-52.
URL : www.cairn.info/revue-document-numerique-2011-2-page-29.htm. .
A la BU de versailles St Quentin vous accéderez librement  à cet article  via la base Cairn

  • Enfin pour compléter la 1ère liste d’autres corpus :

Bases ETL
Les bases de données de caractères ETL ont été construites au laboratoire d’´electrotechnique (ETL) de l’AIST5 en collaboration avec des universités et industriels. Les bases
de données ETL1 – ETL9 contiennent environ 1,2 million de caractères manuscrits et imprimés répartis en caractères japonais, chinois, latins et numériques. Elle est gratuite
pour des applications de recherche.
Source : thèse Chevalier [en ligne]. http://tel.archives-ouvertes.fr/docs/00/27/32/54/PDF/These-Chevalier.pdf
p 16 : Chapitre 2. ´Etat de l’art en reconnaissance de l’écriture manuscrite.

Des Corpus “historiques” utilisés dans les travaux référencés plus haut :
Brown http://helmer.aksis.uib.no/icame/brown/bcm.html
BNC (British National Corpus) http://www.natcorp.ox.ac.uk/
ICE (International Corpus of English) http://www.ucl.ac.uk/english-usage/ice/
Pen Treebank (corpus arboré) http://www.cis.upenn.edu/~treebank/home.html
Susanne (corpus arboré) http://www.grsampson.net/Resources.html

et d’autres encore présentés dans Instruments et ressources électroniques pour le français /Benoît Habert
(Collection L’essentiel français), Ophrys, Gap/Paris, 2005 [en ligne]
http://archives.limsi.fr/Individu/habert/Publications/InstrumentsEtRessourcesElectroniquesPourLeFrancais.html

En espérant que ces références vous seront utiles. N’hésitez pas à nous recontacter si ce n’était pas le cas.

Cordialement,
Le service Rue des facs

http://www.ruedesfacs.fr

 


Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.