複数ワーカーでLLM APIのレート制限を扱う分散設計

複数ワーカーからLLM APIを呼ぶ環境で、単一プロセス内の制御では不十分なサービス全体のレート制限を適切に管理する設計パターンについて検証しています。

• 単一プロセスのasyncio.Semaphoreではサービス全体のRPMやトークン上限を制御できない
• 全体上限をワーカー数で静的配分し、429レスポンスのRetry-Afterヘッダーに従う段階的アプローチが有効である
• 共有ストアやデッドレターキューを組み込み、メトリクス監視で動的調整する構成が推奨される

※ Claude Haiku 4.5 による自動要約です。原文を必ず確認してください。