・OpenAIがBatch API（バッチ API）の提供を開始しました。
・このAPIを利用することで、大量のリクエストを24時間以内に非同期的に処理できます。
・利用可能なモデルは複数あり、同期APIと比較して50％割引の料金設定となっています。
OpenAIは、バッチ処理のためのBatch APIの提供を開始しました。このAPIを利用することで、大量のリクエストを非同期的に処理できるようになります。
Batch APIの特徴
・リクエストは24時間以内に処理されます。
・リクエストの詳細は事前にアップロードしたファイルから読み取られ、結果は出力ファイルに書き込まれます。
・バッチオブジェクトを使用してステータスの更新と結果の確認ができます。
利用可能なモデルと料金
以下のモデルがBatch APIで利用可能です。
・gpt-3.5-turbo
・gpt-3.5-turbo-16k
・gpt-4
・gpt-4-32k
・その他のモデル
各モデルの料金は、同期APIと比較して50％割引となります。詳しい料金については、OpenAIのAPI料金ページをご確認ください。
バッチリクエストの制限
バッチリクエストの数に固定の制限はありませんが、使用枠に応じたバッチレート制限があります。この制限には、一度にエンキューできる入力トークンの最大数が含まれます。
バッチリクエストが完了すると、入力トークンがクリアされるため、バッチレート制限がリセットされます。制限は、キュー内のグローバルリクエスト数に依存します。
バッチジョブのステータス
バッチジョブには以下のようなステータスがあります。
・Validating: アップロードされたファイルの検証中
・Failed: ファイルの検証に失敗
・In Progress: ファイルの検証が成功し、バッチ処理が進行中
・Finalizing: バッチジョブが完了し、結果の準備中
・Completed: バッチジョブが完了し、結果の準備が完了
・Expired: SLAの時間枠内にバッチを完了できなかった
・Canceling: バッチジョブのキャンセルが開始された
・Canceled: バッチジョブがキャンセルされた
