CamemBERT

Apr 27, 2016

Go to Project Site

Image credit: Alix Chagué

Language Modeling

Pedro Ortiz Suarez

PhD Student

I’m a PhD student in Computer Science at Sorbonne Université and at the ALMAnaCH research team at Inria

Publications

CamemBERT: a Tasty French Language Model

We explore the impact of the training data size on a French version of RoBERTa. (Equal contribution by the first three authors).

Louis Martin, Benjamin Muller, Pedro Ortiz Suarez, Yoann Dupont, Laurent Romary, Éric de la Clergerie, Djamé Seddah, Benoît Sagot

CamemBERT: a Tasty French Language Model

Les modèles de langue contextuels Camembert pour le Français : impact de la taille et de l'hétérogénéité des données d'entrainement

We explore the impact of the training data size and heterogeneity on French language modeling. (Equal contribution by the first three authors).

Louis Martin, Benjamin Muller, Pedro Ortiz Suarez, Yoann Dupont, Laurent Romary, Éric de la Clergerie, Benoît Sagot, Djamé Seddah

Les modèles de langue contextuels Camembert pour le Français : impact de la taille et de l'hétérogénéité des données d'entrainement