OpenAI APIレスポンスのストリーミング

このコードを実行するには、npm i openaiを実行してOpenAI SDKをインストールする必要があります。

ノート

分析、キャッシング、レート制限などのために、CloudflareのAI Gatewayを通じてこのようにリクエストを送信することもできます。

import OpenAI from "openai";

export default {
 async fetch(request, env, ctx): Promise<Response> {
  const openai = new OpenAI({
    apiKey: env.OPENAI_API_KEY
  });

// ストリーミングデータを処理するためのTransformStreamを作成
    let { readable, writable } = new TransformStream();
    let writer = writable.getWriter();
    const textEncoder = new TextEncoder();

    ctx.waitUntil((async () => {
        const stream = await openai.chat.completions.create({
          model: 'gpt-4o-mini',
          messages: [{ role: 'user', content: '物語を教えてください' }],
                stream: true,
        });

        // ストリーミングされるデータをループ処理し、書き込み可能なストリームに書き込む
        for await (const part of stream) {
            writer.write(textEncoder.encode(part.choices[0]?.delta?.content || ''));
        }
        writer.close();
    })());

    // 読み取り可能なストリームをブラウザに返す
  return new Response(readable);
 },
} satisfies ExportedHandler<Env>;