Hugging Face Chat UI

Hugging FaceのオープンソースのチャットインターフェイスChat UI ↗を使ってWorkers AIを使用します。

前提条件

以下のものが必要です:

• Cloudflareアカウント ↗
• アカウントID
• Workers AIのAPIトークン

セットアップ

まず、アカウントIDとAPIトークンの参照方法を決めます(.env.localのCLOUDFLARE_ACCOUNT_IDとCLOUDFLARE_API_TOKEN変数を直接使うか、エンドポイント設定で指定するか)。

その後、Chat UIのGitHubリポジトリ ↗のセットアップ手順に従ってください。

モデルを設定する際は、cloudflareエンドポイントを指定してください。

{
  "name" : "nousresearch/hermes-2-pro-mistral-7b",
  "tokenizer": "nousresearch/hermes-2-pro-mistral-7b",
  "parameters": {
    "stop": ["<|im_end|>"]
  },
  "endpoints" : [
    {
      "type": "cloudflare",
      // 必要に応じて、.env.localに含まれていない場合はこれらを指定
      "accountId": "your-account-id",
      "apiToken": "your-api-token"
      //
    }
  ]
}

サポートされているモデル

このテンプレートは、@hfパラメーターで始まるテキスト生成モデルで動作します。