Hugging Face Blog·· 15 天前精选AI 评分60
Hugging Face 发布 tokenizers v1 release candidate，编码路径比 v0.23 快 3 到 30 倍
tokenizers v1: encode, decode and scaling, measured
AI 导读
Hugging Face 发布 tokenizers v1 release candidate，目标是在保持与 v0.23 相同 token IDs、API、词表和 merge ranks 的同时提升性能。
推荐理由
原文同时给出性能来源、复现实验命令和安装方式，便于评估 tokenizers v1 对推理流水线的影响。
来源：Hugging Face Blog · huggingface.co