|
近日，人工智能推理初创公司 Groq 宣布了两项重磅消息，意在挑战亚马逊云服务（AWS）和谷歌等传统云计算服务提供商。Groq 现在支持阿里巴巴的 Qwen332B 语言模型，并提供其完整的131，000-token 上下文窗口能力，这一技术优势在当前快速推理提供商中无出其右。同时，Groq 也成为了 Hugging Face 平台的官方推理提供商，这意味着其技术将接触到全球数百万开发者。
图源备注:图片由AI生成，图片授权服务商Midjourney
Groq 对131，000-token 上下文窗口的支持解决了 AI 应用中一个核心瓶颈。一般推理服务商在处理较大上下文窗口时面临速度和成本的挑战，而 Groq 则通过独特的语言处理单元（LPU）架构，专门为 AI 推理设计，显著提高了处理效率。根据独立基准测试机构 Artificial Analysis 的测评，Groq 的 Qwen332B 部署速度达到了每秒535个 token 的处理能力，能够实现实时文档处理和复杂推理任务。 Groq 的 Hugging Face 集成将为其带来更广阔的开发者生态圈，Hugging Face 作为开源 AI 开发的首选平台，已经拥有数十万个模型和每月数百万的开发者用户。开发者可以直接在 Hugging Face 的 Playground 或 API 中选择 Groq 作为推理提供商，使用费用将计入其 Hugging Face 账户。此次合作被认为是使高性能 AI 推理更加普及的重要一步。 面对日益激烈的市场竞争，Groq 的基础设施扩展计划也备受关注。Groq 目前的全球基础设施已覆盖美国、加拿大和中东地区，处理能力达到每秒超过2000万个 token。随着市场需求的不断增长，Groq 计划继续扩展其基础设施，尽管未透露具体细节。 然而，Groq 在激烈的市场中能否维持性能优势、应对 AWS、谷歌等巨头的压力，还有待观察。尽管 Groq 在推理市场中以激进的定价策略吸引用户，但也引发了关于长期盈利能力的讨论。随着企业对 AI 应用的需求不断上升，Groq 希望通过规模化运营来实现盈利目标。
| 
