ChatGPT 的新竞争对手 Groq 推出了语言处理单元 ，并于近期首度公开成果。 当提示模型时，答案立即产生。 而且，答案是依据事实，并引述来源，长达数百字，这让它在社群媒体造成轰动。
Groq 凭借的武器是语言处理单元。 这项尖端技术的速度接近每秒 500 个 token。 它为数字处理的速度和效率树立了新的基准。 LPU 能将延迟降至最低而脱颖而出，提供了迄今为止闻所未闻的服务速度。
据报道，Groq的LPU旨在解决CPU和GPU等旧技术的限制。 当面对大量运算需求时，传统的处理架构往往无法满足要求。 Groq 使用新的张量流处理器架构来实现 LLM 运算。 凭借其快速推理和降低功耗的承诺，TPS和LPU有望改变处理数据的方式。
据 X 平台帐号 k_zer0s 发文表示，Groq 的 LPU 不需要像 Nvidia GPU 那样快速的数据传输，因为它们的系统中没有 HBM。 它们使用SRAM，其速度比GPU使用的速度大约快20倍。 由于推理运行使用的数据比模型训练少得多，因此 Groq 的 LPU 更节能。 与用于推理任务的 Nvidia GPU 相比，它从外部内存读取的数据更少，功耗也更少。
LPU 的运作方式与 GPU 不同。 它使用临时指令集电脑架构，因此不必像 GPU 使用高带宽内存那样频繁地从内存重新加载数据。 这有助于避免 HBM 短缺问题并降低成本。
LPU 不像 GPU 需要超高速储存。 Groq 声称其技术可以凭借其强大的芯片和软件在人工智能任务中取代 GPU。
Google TPU 项目的先驱 Jonathan Ross 于 2016 年创立了 Groq。 该公司迅速确立了自己在处理单元创新领域的领导者地位。 Ross 在人工智能和处理技术方面的丰富背景推动了 LPU 的发展。
Groq 公司宣称，其技术能够通过其强大的芯片和软件，在推理任务中取代 GPU 的角色。
Ross 曾表示，Groq 的存在是为了消除'富人和穷人'，并帮助人工智能社区中的每个人发展。 而推理是实现这一目标的关键，因为'速度'是将开发人员的想法转化为商业解决方案和改变生产APP的关键“。
