速率限制意味着每个人都在等待更好的计算资源或不同的生成人工智能模型。
大型语言模型（LLM），如OpenAI的GPT-4和Anthropic的Claude 2，凭借其生成类人文本的能力，吸引了公众的想象力。企业也同样热情高涨，许多企业正在探索如何利用LLM来改进产品和服务。然而，一个主要瓶颈严重制约了在生产环境中采用最先进的LLM：速率限制。有一些方法可以通过这些费率限制收费站，但如果没有计算资源的改进，真正的进展可能不会到来。
1、为瓶颈付出的代价
允许访问OpenAI和Anthropic等公司模型的公共LLM API对每分钟可处理的令牌（文本单位）数量、每分钟的请求数量和每天的请求数量施加了严格限制。
例如，这句话将消耗九个标记。目前，对OpenAI GPT-4的API调用限制为每分钟三个请求（RPM）、每天200个请求和每分钟最多10000个令牌（TPM）。
最高级别允许10000 RPM和300000 TPM的限制。对于每分钟需要处理数百万个代币的大型生产应用程序，这些速率限制使得使用最先进的LLM基本上不可行。请求堆积起来，需要几分钟或几个小时，无法进行任何实时处理。
大多数企业仍在努力在规模上安全有效地采用LLM。但是，即使他们在应对数据敏感度和内部流程方面的挑战时，速率限制也是一个顽固的障碍。当产品使用量和数据积累时，围绕LLM构建产品的初创企业很快就会达到峰值，但拥有庞大用户基础的大型企业受到的限制最大。如果没有特殊访问权限，他们的应用程序将根本无法工作。
怎么办？
2、绕过速率限制
一种方法是完全跳过速率限制技术。例如，有一些特定用途的生成人工智能模型没有LLM瓶颈。Diffblue是一家总部位于英国牛津的初创公司，它依赖于不受费率限制的强化学习技术。它做一件事非常好，非常高效，可以覆盖数百万行代码。
它以开发人员250倍的速度自主创建Java单元测试，编译速度快10倍。Diffblue Cover编写的单元测试能够快速理解复杂的应用程序，使企业和初创公司都能满怀信心地进行创新，例如，这是将传统应用程序转移到云的理想选择。它还可以自主编写新代码，改进现有代码，加速CI/CD管道，并在不需要手动审查的情况下深入了解与更改相关的风险。还不错。
当然，有些公司不得不依赖LLM。他们有什么选择？
3、请多加计算
一种选择是简单地要求提高公司的利率限制。到目前为止，这还可以，但潜在的问题是，许多LLM提供商实际上没有额外的能力提供服务。这就是问题的症结所在。GPU的可用性取决于从台积电等铸造厂开始的总硅片数量。占主导地位的GPU制造商英伟达无法采购足够的芯片来满足人工智能工作负载驱动的爆炸性需求，大规模推理需要数千个GPU聚集在一起。
增加GPU供应的最直接方法是建造新的半导体制造厂，即晶圆厂。但一个新的晶圆厂成本高达200亿美元，需要数年时间才能建成。英特尔、三星铸造、台积电和德州仪器等主要芯片制造商正在美国建造新的半导体生产设施。总有一天，那会很棒。现在，每个人都必须等待。
因此，利用GPT-4的实际生产部署很少。这样做的范围不大，将LLM用于辅助功能，而不是作为核心产品组件。大多数公司仍在评估试点和概念验证。在考虑费率限制之前，将LLM集成到企业工作流程中所需的提升本身就相当大。
4、寻找答案
限制GPT-4吞吐量的GPU限制促使许多公司使用其他生成人工智能模型。例如，AWS有自己的专门芯片用于训练和推理（训练后运行模型），使其客户具有更大的灵活性。重要的是，并不是每个问题都需要最强大、最昂贵的计算资源。AWS提供了一系列更便宜、更容易微调的型号，如Titan Light。
一些公司正在探索其他选择，比如微调开源模型，比如Meta的Llama 2。对于涉及检索增强生成（RAG）的简单用例，需要将上下文附加到提示并生成响应，功能较弱的模型就足够了。
跨多个具有更高限制的旧LLM并行请求、数据分块和模型提取等技术也会有所帮助。有几种技术可以使推理更便宜、更快。量化降低了模型中权重的精度，这些权重通常是32位浮点数字。这不是一种新方法。例如，谷歌的推理硬件张量处理单元（TPU）仅适用于权重已量化为八位整数的模型。该模型失去了一些准确性，但变得更小，运行速度更快。一种名为“稀疏模型”的新流行技术可以降低训练和推理的成本，而且它比蒸馏技术劳动密集度更低。您可以将LLM视为许多较小语言模型的集合。例如，当你用法语问GPT-4一个问题时，只需要使用模型的法语处理部分，这就是稀疏模型所利用的。
你可以进行稀疏训练，只需要用法语训练模型的一个子集，也可以进行稀疏推理，只运行模型的法语部分。当与量化一起使用时，这可以是一种从LLM中提取较小专用模型的方法，LLM可以在CPU而不是GPU上运行（尽管精度损失很小）。问题是什么？GPT-4之所以出名，是因为它是一个通用的文本生成器，而不是一个更窄、更具体的模型。
在硬件方面，专门用于人工智能工作负载的新处理器架构有望提高效率。Cerebras已经构建了一个为机器学习优化的巨大晶圆级引擎，Manticore正在重新利用制造商丢弃的“被拒绝的”GPU硅来提供可用的芯片。最终，最大的收益将来自于需要更少计算的下一代LLM。结合优化的硬件，未来的LLM可以突破今天的速率限制障碍。
目前，生态系统在渴望利用LLM力量的公司的压力下变得紧张。那些希望在人工智能方面开辟新天地的人可能需要等到GPU供应在未来漫长的道路上进一步开放。具有讽刺意味的是，这些限制可能有助于缓和围绕生成性人工智能的一些泡沫炒作，让行业有时间适应积极的模式，高效、经济地使用它。
参考链接：https://www.infoworld.com/article/3712300/the-biggest-bottleneck-in-a-large-language-model.html