コスト
AI Gatewayは現在、以下のプロバイダーからのコストメトリクスをサポートしています:
- Anthropic
- Azure OpenAI
- Cohere
- Google AI Studio
- Groq
- Mistral
- OpenAI
- Perplexity
- Replicate
コストメトリクスは、モデルがトークンデータとモデル名をレスポンスに返すエンドポイントでのみ利用可能です。
AI Gatewayは、特別な価格契約や交渉された料金の下で運用する際に、ユーザーがカスタムコストを設定できるようにします。カスタムコストはリクエストレベルで適用でき、適用されるとデフォルトまたは公開モデルのコストを上書きします。