Groq

Groq ↗は、高速処理と低遅延性能を提供します。

エンドポイント

https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/groq

URL構造

Groq ↗にリクエストを送る際は、現在使用しているURLのhttps://api.groq.com/openai/v1をhttps://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/groqに置き換えてください。

例

例 fetch リクエスト

curl https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/groq/chat/completions \
  --header 'Authorization: Bearer {groq_api_key}' \
  --header 'Content-Type: application/json' \
  --data '{
    "messages": [
      {
        "role": "user",
        "content": "Cloudflareとは何ですか？"
      }
    ],
    "model": "mixtral-8x7b-32768"
}'

groq-sdk ↗を使用する場合は、エンドポイントを次のように設定します：

JavaScript

import Groq from "groq-sdk";

const apiKey = env.GROQ_API_KEY;
const accountId = "{account_id}";
const gatewayId = "{gateway_id}";
const baseURL = `https://gateway.ai.cloudflare.com/v1/${accountId}/${gatewayId}/groq`;

const groq = new Groq({
  apiKey,
  baseURL,
});

const messages = [{ role: "user", content: "Cloudflareとは何ですか？" }];
const model = "mixtral-8x7b-32768";

const chatCompletion = await groq.chat.completions.create({
  messages,
  model,
});