CamemBERT

Apr 27, 2016
Go to Project Site
Image credit: Alix Chagué
Language Modeling
Pedro Ortiz Suarez
Pedro Ortiz Suarez
Senior Research Scientist

I’m a Senior Research Scientist at the Common Crawl Foundation.

Publications

CamemBERT: a Tasty French Language Model
We explore the impact of the training data size on a French version of RoBERTa. (Equal contribution by the first three authors).
PDF Cite Dataset Project Video DOI ACL Anthology arXiv Website ACL 2020 HAL
CamemBERT: a Tasty French Language Model
Les modèles de langue contextuels Camembert pour le Français : impact de la taille et de l'hétérogénéité des données d'entrainement
We explore the impact of the training data size and heterogeneity on French language modeling. (Equal contribution by the first three authors).
PDF Cite Dataset Project TALN 2020 HAL Website
Les modèles de langue contextuels Camembert pour le Français : impact de la taille et de l'hétérogénéité des données d'entrainement