フォールバック

リクエストが失敗した場合に何をするかを指定するために、ユニバーサルエンドポイントを使用してモデルまたはプロバイダーのフォールバックを指定します。

例

例えば、次のようなゲートウェイエンドポイントを設定できます：

1. Workers AI推論APIにリクエストを送信します。
2. そのリクエストが失敗した場合、OpenAIに進みます。

graph TD
    A[AI Gateway] --> B[Workers AI推論APIへのリクエスト]
    B -->|成功| C[レスポンスを返す]
    B -->|失敗| D[OpenAI APIへのリクエスト]
    D --> E[レスポンスを返す]

必要に応じて、配列に別のオブジェクトを追加することで、フォールバックをいくつでも追加できます。

Request

curl https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id} \
  --header 'Content-Type: application/json' \
  --data '[
  {
    "provider": "workers-ai",
    "endpoint": "@cf/meta/llama-3.1-8b-instruct",
    "headers": {
      "Authorization": "Bearer {cloudflare_token}",
      "Content-Type": "application/json"
    },
    "query": {
      "messages": [
        {
          "role": "system",
          "content": "You are a friendly assistant"
        },
        {
          "role": "user",
          "content": "What is Cloudflare?"
        }
      ]
    }
  },
  {
    "provider": "openai",
    "endpoint": "chat/completions",
    "headers": {
      "Authorization": "Bearer {open_ai_token}",
      "Content-Type": "application/json"
    },
    "query": {
      "model": "gpt-4o-mini",
      "stream": true,
      "messages": [
        {
          "role": "user",
          "content": "What is Cloudflare?"
        }
      ]
    }
  }
]'