发送消息生成文本或推理结果,支持流式响应,并正确统计 Token 用量。
Chat Completions 接口接收消息序列并返回文本或推理结果,可使用非流式或流式响应。消息中的系统指令、用户内容和外部文档必须区分信任等级。
本文面向通过天工智算云 OpenAI 兼容接口接入模型能力的后端开发者、架构师和运维人员。完成本文后,你应当能够独立完成配置、验证结果,并知道出现异常时应该保留哪些信息。
云资源和模型能力会随区域、库存、模型版本及账号权限变化。页面显示的可用规格、价格、配额和状态是本次操作的直接依据;文档用于解释操作逻辑和风险边界。
先完成以下准备,再进入控制台操作。对生产环境而言,准备阶段还应明确资源负责人、费用归属、数据级别和回滚方式。
按照下面的顺序执行。每完成一步都应检查页面反馈,不要在状态仍为“处理中”时连续提交相同操作。涉及删除、重装、退款、密钥禁用等不可逆动作时,应再次核对资源名称和影响范围。
示例:
curl "$TIANGONG_BASE_URL/v1/chat/completions" \
-H "Authorization: Bearer $TIANGONG_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"YOUR_MODEL","messages":[{"role":"user","content":"请用一句话介绍云计算"}]}'
稳定规则放在系统消息,当前问题放在用户消息,历史对话只保留任务必要内容。把检索文档标记为数据而不是可信指令。
从默认或低随机性开始,明确最大输出。不同模型对采样、推理和工具参数的支持可能不同。
设置 stream: true 并逐块读取增量内容;在客户端支持取消、超时、断流和内容审核。
检查 choices、结束原因和 usage。输出为空、截断或被安全策略阻止时,应走明确分支。
对结构化结果做 Schema 校验,对事实和高风险结论检索或人工复核,保存模型与提示版本。
功能能够使用并不等于已经具备生产条件。正式承载业务前,请把可观测性、权限、费用和数据恢复纳入同一套运行基线。
建议为关键资源建立变更记录,至少包含操作者、时间、原因、预期结果、实际结果和回退步骤。团队协作时,不要通过聊天工具传递密码或完整 API Key。
排查时先确认影响对象、开始时间和最近一次变更,再区分是浏览器、账号权限、平台资源、网络还是应用自身问题。提交工单时,请附上资源 ID、请求 ID、发生时间、错误信息和已经执行过的排查步骤;不要提交密码、完整密钥或身份证件原图。
检查 Bearer 认证格式、密钥状态、所属环境与模型权限。不要在排障信息中提供完整密钥。
使用最小请求逐项检查模型名称、字段类型、消息结构、文件格式和上下文长度,不要盲目重试相同请求。
限制并发并受控退避。记录 Request ID;若流式响应已经产生部分内容,先判断业务写入是否可安全重放。
离开页面前,逐项确认:
如结果与本文不一致,应停止继续扩大变更范围,通过页面右上角“工单支持”提交问题。