Mistral 发布 LIDstral-Arabic 阿拉伯文字语言和方言分类器

LIDstral Arabic 是 Mistral 的阿拉伯文字语言和方言分类器，可识别现代标准阿拉伯语、各类阿拉伯方言及使用同一文字的非阿拉伯语言。模型结合 fastText OVA、64-unit LayerNorm MLP 和逐类 isotonic 校准，在 84,870 个阿拉伯样本上评估，Moroccan Darija F1 达 88.67%。