跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

161条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 161–161 条 · 共 161 条
10月1日周二
  1. openai · Hugging Face 新模型67

    OpenAI 发布 Whisper large-v3-turbo 语音识别模型

    OpenAI 在 Hugging Face 发布 Whisper large-v3-turbo,它是 Whisper large-v3 的剪枝微调版本。模型将解码层从 32 层减少到 4 层,因此速度更快,但会有轻微质量下降;参数量为 809 M,支持在 Hugging Face Transformers 中用于自动语音识别、语音翻译和时间戳预测。

    推荐理由:模型卡同时给出结构变化与部署示例,便于评估语音转写场景中的速度和质量取舍。