1 |
An Error Analysis Framework for Shallow Surface Realisation
|
|
|
|
In: EISSN: 2307-387X ; Transactions of the Association for Computational Linguistics ; https://hal.archives-ouvertes.fr/hal-03159422 ; Transactions of the Association for Computational Linguistics, The MIT Press, 2021, 9 ; https://www.aclweb.org/anthology/venues/tacl/ (2021)
|
|
Abstract:
International audience ; The metrics standardly used to evaluate Natural Language Generation (NLG) models,such as BLEU or METEOR, fail to provide information on which linguistic factors impact performance. Focusing on Surface Realisation (SR), the task of converting an unordered dependency tree into a well-formed sentence, we propose a framework for error analysis which permits identifying which features of the input affect the models’ results. This framework consists of two main components: (i) correlation analyses between a wide range of syntactic metrics and standard performance metrics and (ii) a set of techniques to automatically identify syntactic constructs which often co-occur with low performance scores. We demonstrate the advantages of our framework by performing error analysis on the results of 174 system runs submitted to the Multilingual SR shared tasks; we show that dependency edge accuracy correlate with automatic metrics thereby providing a more interpretable basis for evaluation; and we suggest ways in which our framework could be used to improve models and data. The framework is available in the form of a toolkit which can be used both by campaign organisers to provide detailed, linguistically interpretable feedback on the state of the art in multilingual SR, and by individual researchers to improve models and datasets.
|
|
Keyword:
[INFO.INFO-CL]Computer Science [cs]/Computation and Language [cs.CL]
|
|
URL: https://hal.archives-ouvertes.fr/hal-03159422 https://hal.archives-ouvertes.fr/hal-03159422/document https://hal.archives-ouvertes.fr/hal-03159422/file/2021.tacl-1.26.pdf
|
|
BASE
|
|
Hide details
|
|
2 |
PseuToPy: Vers un langage de programmation naturel
|
|
|
|
In: Actes de l'atelier Apprendre la Pensée Informatique de la Maternelle à l'Université. ; Atelier « Apprendre la Pensée Informatique de la Maternelle à l'Université », dans le cadre de la conférence Environnements Informatiques pour l'Apprentissage Humain (EIAH) ; https://hal.archives-ouvertes.fr/hal-03241688 ; Atelier « Apprendre la Pensée Informatique de la Maternelle à l'Université », dans le cadre de la conférence Environnements Informatiques pour l'Apprentissage Humain (EIAH), 2021, Fribourg, Suisse. pp.87-95 (2021)
|
|
BASE
|
|
Show details
|
|
4 |
An Error Analysis Framework for Shallow Surface Realisation ...
|
|
|
|
BASE
|
|
Show details
|
|
5 |
ACCOLÉ : Annotation Collaborative d'erreurs de traduction pour COrpus aLignÉs – Nouvelles fonctionnalités
|
|
|
|
In: Actes des 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT). ; 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT) ; https://hal.archives-ouvertes.fr/hal-03047150 ; 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT), 2020, Montrouge, France. pp.1-8 (2020)
|
|
BASE
|
|
Show details
|
|
6 |
A French corpus annotated for multiword expressions and named entities
|
|
|
|
In: ISSN: 2299-856X ; EISSN: 2299-8470 ; Journal of Language Modelling ; https://hal.archives-ouvertes.fr/hal-03016721 ; Journal of Language Modelling, Institute of Computer Science, Polish Academy of Sciences, Poland, 2020, 8 (2), pp.415-479. ⟨10.15398/jlm.v8i2.265⟩ (2020)
|
|
BASE
|
|
Show details
|
|
7 |
Lexical encoding of multiword expressions in XMG
|
|
|
|
In: Actes des 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT). ; 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT) ; https://hal.archives-ouvertes.fr/hal-03047145 ; 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT), Dec 2020, Montrouge, France. pp.60-63 (2020)
|
|
BASE
|
|
Show details
|
|
8 |
Classification des catégories grammaticales sur deux corpus longitudinaux d’enfants
|
|
|
|
In: Actes des 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT). ; 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT) ; https://hal.archives-ouvertes.fr/hal-03047149 ; 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT), 2020, Montrouge, France. pp.23-33 (2020)
|
|
BASE
|
|
Show details
|
|
9 |
Longform recordings : Opportunities and challenges ; Enregistrements de longue durée: Opportunités et défis
|
|
|
|
In: Actes des 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT). ; LIFT 2020 - 2èmes journées scientifiques du Groupement de Recherche "Linguistique informatique, formelle et de terrain" ; https://hal.archives-ouvertes.fr/hal-03047153 ; LIFT 2020 - 2èmes journées scientifiques du Groupement de Recherche "Linguistique informatique, formelle et de terrain", Dec 2020, Montrouge / Virtual, France. pp.64-71 (2020)
|
|
BASE
|
|
Show details
|
|
10 |
Création d'un corpus FAIR de théâtre en alsacien et normalisation de variétés non-contemporaines
|
|
|
|
In: Actes des 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT). ; 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT) ; https://hal.archives-ouvertes.fr/hal-03047152 ; 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT), 2020, Montrouge, France. pp.34-43 (2020)
|
|
BASE
|
|
Show details
|
|
11 |
Modèles d'annotations morphologiques pour le traitement de données multivariées de l'arménien
|
|
|
|
In: Actes des 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT). ; 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT) ; https://hal.archives-ouvertes.fr/hal-03047147 ; 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT), Dec 2020, Montrouge (virtuel), France. pp.72-82 (2020)
|
|
BASE
|
|
Show details
|
|
12 |
Language Identification of Guadeloupean Creole
|
|
|
|
In: Actes des 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT). ; 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT) ; https://hal.archives-ouvertes.fr/hal-03047144 ; 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT), Dec 2020, Montrouge (virtuel), France. pp.54-59 (2020)
|
|
BASE
|
|
Show details
|
|
13 |
RefCo: An initiative to develop a set of quality criteria for fieldwork corpora
|
|
|
|
In: Actes des 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT). ; 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT) ; https://hal.archives-ouvertes.fr/hal-03047143 ; 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT), 2020, Montrouge, France. pp.95-101 (2020)
|
|
BASE
|
|
Show details
|
|
14 |
Alignement temporel entre transcriptions et audio de données de langue japhug
|
|
|
|
In: Actes des 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT). ; 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT) ; https://hal.archives-ouvertes.fr/hal-03047146 ; 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT), Dec 2020, Montrouge (virtuel), France. pp.9-22 (2020)
|
|
BASE
|
|
Show details
|
|
15 |
Ouvrir aux linguistes « de terrain » un accès à la transcription automatique
|
|
|
|
In: Actes des 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT). ; 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT) ; https://hal.archives-ouvertes.fr/hal-03047148 ; 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT), 2020, Montrouge, France. pp.83-94 (2020)
|
|
BASE
|
|
Show details
|
|
16 |
Annotated corpora and tools of the PARSEME Shared Task on Semi-Supervised Identification of Verbal Multiword Expressions (edition 1.2)
|
|
|
|
BASE
|
|
Show details
|
|
17 |
Ouvrir aux linguistes « de terrain » un accès à la transcription automatique
|
|
|
|
In: Actes des 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT). ; 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT) ; https://hal.archives-ouvertes.fr/hal-03047148 ; 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT), 2020, Montrouge, France. pp.83-94 (2020)
|
|
BASE
|
|
Show details
|
|
18 |
Alignement temporel entre transcriptions et audio de données de langue japhug
|
|
|
|
In: Actes des 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT). ; 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT) ; https://hal.archives-ouvertes.fr/hal-03047146 ; 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT), Dec 2020, Montrouge (virtuel), France. pp.9-22 (2020)
|
|
BASE
|
|
Show details
|
|
19 |
Modèles d'annotations morphologiques pour le traitement de données multivariées de l'arménien
|
|
|
|
In: Actes des 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT). ; 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT) ; https://hal.archives-ouvertes.fr/hal-03047147 ; 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain (LIFT), Dec 2020, Montrouge (virtuel), France. pp.72-82 (2020)
|
|
BASE
|
|
Show details
|
|
|
|