Groq本身是一家专注于人工智能芯片研发的公司，随着大模型的爆发，也加入到这场盛宴，提供类似OpenAI的大模型推理服务。笔者介绍的就是这家公司提供的公益项目，简单来说就是免费为用户提供大模型推理服务，没有任何套路，目前已推出包括Gemma、Llama、Mixtral在内的10种不同级别的模型，另外还支持2种TTS模型，强烈建议需要的朋友入手。

🦀 获取Groq Key

1️⃣ 注册Groq

打开下面的网址，注册一个账号并登录，或者直接使用Github或Google账号登录。

https://console.groq.com/login

2️⃣ 创建Key

打开API Keys菜单，点击Create API Key创建一个用于调用大模型推理的Key。

3️⃣ 关于使用的限制

因为是完全免费的服务，自然会有些限制，否则分分钟就会被刷嘎掉，这对于一个公益项目来说还是有必要的。具体可见下图，基本上就是对每分钟和每天的调用次数、每分钟和每天的Token上限做了一些限制，大部分没有每日Token上限，对于个人来说完全够用了。

🦀 使用Groq

剩下的就是如何使用了，用了API Key以后就好办了。很多大模型客户端都支持直接接入Groq，包括Oneapi、Dify、NextChat、LobeChat等。下面简单介绍在LobeChat如何使用。

首先启动LobeChat，打开应用设置->语言模型，找到groq配置项。

• 如果直连groq，则API代理地址空着即可；如果使用Oneapi这类的代理服务，则填写代理地址。
• 如果直连groq，则API Key填写在groq网站创建的Key；如果使用Oneapi这类的代理服务，则填写代理中的Key。
• 模型列表全选即可。

然后关闭设置界面，回到聊天界面，点击左下角1所在的按钮，选择groq中的模型，以Gemma2 9B为例。

下面就可以开始与大模型愉快聊天了，不得不说，速度杠杠的，完全不输OpenAI！

笔者试玩了一会，以正常的速度使用的话，没有触发过限制，过总体来说速度没得说，质量也过的去，非常值得入手作为后备模型池的一员。

原创不易，如果觉得此文对你有帮助，不妨点赞+收藏+关注，你的鼓励是我持续创作的动力！