测试极速成片
This commit is contained in:
@@ -292,10 +292,11 @@ MODEL_ROUTING_POLICY = {
|
||||
"retry_delays": env_int_list("MODEL_ROUTING_TEXT_RETRY_DELAYS", (1, 3)),
|
||||
# 普通非流式文本请求的单次最长等待时间。
|
||||
"request_timeout": env_int("MODEL_ROUTING_TEXT_REQUEST_TIMEOUT", 120),
|
||||
# 流式文本请求的单次最长等待时间;脚本 SSE 正常生成可能明显慢于普通文本。
|
||||
"stream_timeout": env_int("MODEL_ROUTING_TEXT_STREAM_TIMEOUT", 300),
|
||||
# 单个文本逻辑任务从首次调用 Provider 起允许的总执行时间,默认 8 分钟。
|
||||
"total_timeout": env_int("MODEL_ROUTING_TEXT_TOTAL_TIMEOUT", 480),
|
||||
# 流式文本请求的单次最长等待时间。给 29 分钟,略短于任务软上限,
|
||||
# 确保 30 分钟内可正常收尾,不会在长思考中被 HTTP 客户端提前掐断。
|
||||
"stream_timeout": env_int("MODEL_ROUTING_TEXT_STREAM_TIMEOUT", 1740),
|
||||
# 单个文本逻辑任务从首次调用 Provider 起允许的总执行时间,默认 30 分钟。
|
||||
"total_timeout": env_int("MODEL_ROUTING_TEXT_TOTAL_TIMEOUT", 1800),
|
||||
# 429 响应 Retry-After 的最长接受时间;超过该值时不继续长时间等待,转入 Fallback 或最终失败。
|
||||
"retry_after_cap": env_int("MODEL_ROUTING_TEXT_RETRY_AFTER_CAP", 15),
|
||||
},
|
||||
|
||||
Reference in New Issue
Block a user