模型接入指南

本指南介绍大语言模型（LLM）的能力、选型建议、接口使用方式以及常见参数配置，帮助您快速在平台上完成体验与集成。所有 SDK/HTTP 示例均以 https://api.chipltech.com/openai/v1 作为统一网关前缀，确保请求路径与平台接口保持一致。

模型能力

大语言模型基于深度学习和自然语言处理技术训练，可理解、生成和处理人类语言，主要具备：

• 文本生成：根据上下文生成连贯内容，并可按提示调整写作风格。
• 语言理解：准确理解输入语义，支持多轮对话与上下文关联。
• 文本翻译：具备跨语言理解与生成能力。
• 知识问答：依托大规模语料回答文化、科学、历史等问题。
• 代码理解/生成：处理 Python、Java、C++ 等代码，支持定位错误或给出修改建议。
• 文本分类与摘要：对复杂段落进行分类、信息抽取与自动摘要。

模型选型

在 模型广场 页面可查看平台支持的模型列表，了解简介、价格等信息。点击任意模型可打开详情页查看模型详情。

接口调用

DLC 大脸猫云兼容 OpenAI API 标准，您可以在现有应用中直接使用以下接口：

• ChatCompletion：支持流式（streaming）与非流式模式。
• Completion：同样支持流式与非流式模式。

接入步骤：

1. 将基础 URL 设置为 https://api.chipltech.com/openai/v1（缺少 /v1 会直接返回 404）。
2. 获取并配置 API Key（参见 管理 API 密钥）。
3. 按需更新模型名称，例如 deepseek/deepseek-r1。
4. 其余调用方式与 OpenAI 完全一致。

代码示例

Python

from openai import OpenAI

client = OpenAI(
    base_url="https://api.chipltech.com/openai/v1",
    api_key="<Your API Key>",  # 推荐改用环境变量 OPENAI_API_KEY
)

model = "cltech/qwen2.5-vl-72b"
stream = True  # 或 False
max_tokens = 512

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {"role": "system", "content": "您是一个专业的 AI 文档助手。"},
        {"role": "user", "content": "DLC 大脸猫云提供的 TPU 容器实例能用于哪些场景？"},
    ],
    stream=stream,
    max_tokens=max_tokens,
)

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)

Curl

export API_KEY="<Your API Key>"

curl "https://api.chipltech.com/openai/v1/chat/completions" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer ${API_KEY}" \
  -d '{
    "model": "cltech/qwen2.5-vl-72b",
    "messages": [
      {"role": "system", "content": "您是一个专业的 AI 文档助手。"},
      {"role": "user", "content": "DLC 大脸猫云提供的 TPU 容器实例能用于哪些场景？"}
    ],
    "max_tokens": 512
  }'

重点参数

基础参数

• model：所调用的模型名称，可在 模型广场 模型详情页面查询。
• max_tokens：单次请求返回的最大 Token 数。若生成内容超出此值，会被截断。
• stream：是否启用流式输出。true 表示边生成边返回，false 为一次性返回。
• stop：当生成内容命中设定字符串时自动结束输出。

ChatCompletion 消息角色

• messages：消息数组，包含与模型交互的所有内容。
• role：消息作者，可取 system（设定模型角色）、user（用户输入）、assistant（模型回复，可预置示例）、name（可选，用于区分相同角色的作者）。
• content：具体文本内容。

Completion 提示词

• prompt：用于生成补全的提示词，明确描述要解决的问题或任务。

控制生成多样性

• temperature：采样温度，值越大输出越多样。
• top_p：核采样概率，控制候选词累计概率。
• top_k：候选词数量上限。
• 建议仅设置 temperature 或 top_p 中的一个参数。

控制内容重复

• presence_penalty：存在惩罚，降低已出现 Token 的再次出现概率。
• frequency_penalty：频次惩罚，限制高频 Token。
• repetition_penalty：重复惩罚，进一步抑制重复。

常见问题

• 如何获取 API Key？ 请参考 管理 API 密钥。
• 社区版能否长期使用？ 可以短期体验，但大规模调用建议切换到标准版以保障资源配额。
• 调用失败怎么办？ 检查是否超出 Token 限制、API Key 是否正确、base_url 是否包含 /v1，以及网络是否可访问 https://api.chipltech.com。

如需更多示例（JavaScript、Java 等）或私有化部署支持，请联系技术支持团队。