当前位置:AIGC资讯 > 延迟优化
-
首席分析师揭秘爆火Groq,每小时要烧168美元!10倍H100拥有成本,老黄笑而不语
最近爆火的AI初创公司Groq,推出了比目前常见GPU推理系统快4倍,成本低70%的大模型推理解决方案。 他们提供的运行Mistral Mixtral 8x7b的API演示,让大部分习惯了其他LLM「娓娓道来」的用户直呼,简直是魔法! Groq在处理...
第一页
1
没有了
最近爆火的AI初创公司Groq,推出了比目前常见GPU推理系统快4倍,成本低70%的大模型推理解决方案。 他们提供的运行Mistral Mixtral 8x7b的API演示,让大部分习惯了其他LLM「娓娓道来」的用户直呼,简直是魔法! Groq在处理...