Pular para o conteudo principal

Provedores de LLM

O IaC Code suporta multiplos backends de provedores de modelos. A selecao do provedor pode vir de opcoes do CLI, variaveis de ambiente ou arquivos de configuracao. A precedencia e:

CLI arguments > environment variables > configuration files

Provedores na Nuvem​

Valor do provedorFinalidade
DashScopeEndpoint compativel com Alibaba Cloud DashScope (Bailian)
DashScope Token PlanEndpoint Alibaba Cloud DashScope Token Plan
OpenAIModelos OpenAI
AnthropicModelos Anthropic
DeepSeekModelos DeepSeek
GeminiModelos Google Gemini
Azure OpenAIServico Azure OpenAI
ModelScopeEndpoint de inferencia ModelScope

Provedores na China​

Valor do provedorFinalidade
Kimi CNEndpoint Kimi (Moonshot AI) na China
MiniMax CNEndpoint MiniMax na China
ZhiPu CNEndpoint ZhiPu AI (GLM) na China
Volcengine CNEndpoint Volcengine (ByteDance) na China
SiliconFlow CNEndpoint SiliconFlow na China

Provedores Internacionais​

Valor do provedorFinalidade
Kimi IntlEndpoint internacional Kimi (Moonshot AI)
MiniMax IntlEndpoint internacional MiniMax
ZhiPu IntlEndpoint internacional ZhiPu AI (GLM)
SiliconFlow IntlEndpoint internacional SiliconFlow

Provedores CodingPlan​

Valor do provedorFinalidade
Aliyun CodingPlanEndpoint Alibaba Cloud CodingPlan
Aliyun CodingPlan IntlEndpoint internacional Alibaba Cloud CodingPlan
ZhiPu CN CodingPlanEndpoint ZhiPu AI CodingPlan na China
ZhiPu Intl CodingPlanEndpoint internacional ZhiPu AI CodingPlan
Volcengine CodingPlanEndpoint Volcengine CodingPlan

Compativeis / Endpoints Personalizados​

Valor do provedorFinalidade
OpenAPI CompatibleQualquer endpoint de API compativel com OpenAI
Anthropic CompatibleQualquer endpoint de API compativel com Anthropic
OpenRouterGateway de agregacao OpenRouter

Provedores Locais​

Valor do provedorFinalidade
OllamaServidor de modelo local Ollama
LM StudioServidor de modelo local LM Studio

Variaveis de Ambiente de LLM​

VariavelDescricao
IAC_CODE_PROVIDERNome do provedor de modelo (insensivel a maiusculas e minusculas). Consulte as tabelas acima para valores validos
IAC_CODE_MODELNome do modelo
IAC_CODE_BASE_URLSubstitui o endpoint de API do provedor ativo; tem precedência sobre o apiBase salvo e a URL padrão integrada
IAC_CODE_API_KEYChave de API do provedor

Responses API​

Os provedores que usam o protocolo OpenAI utilizam Chat Completions por padrão. Um modelo pode ter Responses como protocolo padrão integrado quando suas chamadas de ferramentas exigem isso. Os protocolos padrão e as restrições de ferramentas em Chat são mantidos no catálogo integrado de modelos; não há uma lista separada nesta página. Os provedores Anthropic continuam usando o protocolo Messages atual.

Os provedores que utilizam o protocolo OpenAI podem selecionar Responses explicitamente para cada modelo, incluindo Azure OpenAI, openai_compatible e DashScope Token Plan. Configure apiBase com a URL base de um serviço que ofereça suporte a Responses. Para Azure OpenAI, use a URL base com /openai/v1/ e defina model como o nome da implantação.

Azure OpenAI e DashScope Token Plan documentam o suporte a Responses para determinados endpoints e modelos. Nos endpoints compatíveis personalizados e nos planos de programação, o suporte depende do serviço utilizado. Alibaba Cloud Coding Plan informa explicitamente que não oferece suporte a Responses. Selecionar Responses para um serviço ou modelo incompatível faz a solicitação retornar um erro; o IaC Code não muda automaticamente para Chat.

Para usar Responses com um modelo Qwen compatível, adicione esta configuração no nível do modelo em settings.yml e substitua <model-id> pelo ID real do modelo:

activeProvider: dashscope
providers:
dashscope:
model: <model-id>
models:
<model-id>:
apiMode: responses

Defina apiMode como chat_completions para voltar ao protocolo anterior. Se o campo for omitido, será usado o protocolo padrão integrado do modelo; para modelos do DashScope padrão, ele continua sendo Chat Completions. A configuração se aplica apenas ao modelo indicado no provedor indicado.

Se você selecionar Chat explicitamente, o modelo deve oferecer suporte a chamadas de ferramentas com o nível de raciocínio escolhido. Use Responses quando a API Chat do modelo não oferecer suporte a essa combinação.

Consulte a configuração de execução para ver os parâmetros de requisição e os limites de saída.