AI Gateway: o que é e porque importa centralizar o acesso a modelos de IA
Um AI Gateway é a camada que fica entre as aplicações de uma empresa e os modelos de IA que essas aplicações usam.
Em vez de cada aplicação chamar directamente a API da OpenAI, da Anthropic ou de outro fornecedor, todas passam por este ponto único, que decide para onde a chamada segue, regista o que aconteceu e aplica regras antes de deixar o pedido sair.
Não é uma tecnologia nova — é o mesmo princípio de um API gateway tradicional, aplicado ao problema específico de trabalhar com vários modelos de IA em produção.
O problema que aparece depois da primeira integração
Chamar a API de um fornecedor de IA directamente a partir do código é simples e funciona bem para um protótipo.
O problema aparece depois: a chave de API fica espalhada por vários serviços, trocar de modelo obriga a alterar código em vários sítios, não há visão consolidada de quanto cada equipa ou projecto está a gastar, e um erro ou instabilidade do lado do fornecedor derruba directamente a aplicação, sem alternativa.
Cada nova integração com um novo modelo repete o mesmo problema outra vez.
Um ponto único em vez de integrações soltas
Com um gateway, a aplicação fala sempre com o mesmo endpoint interno, independentemente de o pedido acabar por ir para um modelo ou outro.
A troca de fornecedor, de modelo ou de versão passa a ser uma alteração de configuração no gateway, não uma alteração de código em cada aplicação.
Isto reduz a dependência de um único fornecedor e permite testar um modelo novo sem tocar nas aplicações que já estão em produção.
Custos, limites e quem gastou o quê
Sem um ponto central, saber quanto se gastou em IA num mês costuma exigir juntar facturas de vários fornecedores à mão.
Um gateway regista cada pedido, o modelo usado, os tokens consumidos e o custo associado, o que permite aplicar limites por equipa, por projecto ou por utilizador antes de a factura chegar — e não depois.
Resiliência: quando um modelo falha, outro responde
Modelos de IA têm indisponibilidades, limites de taxa e variações de latência como qualquer serviço externo.
Um gateway pode detectar a falha de um modelo e redireccionar automaticamente o pedido para um modelo alternativo, sem que a aplicação chegue a perceber que algo correu mal do lado do fornecedor original.
Isto só é possível porque o gateway já abstrai a diferença entre fornecedores — a aplicação continua a falar com o mesmo endpoint.
Segurança e dados sensíveis antes de saírem da empresa
Antes de um pedido sair para um fornecedor externo, o gateway é o único sítio onde é possível aplicar de forma consistente regras como remover dados pessoais desnecessários, bloquear pedidos que não cumprem uma política, ou impedir que uma aplicação mal configurada envie mais contexto do que devia.
Feito aplicação a aplicação, este controlo depende de cada equipa se lembrar de o implementar; centralizado no gateway, aplica-se sempre, a todas as aplicações que passam por ele.
O que um gateway não resolve sozinho
Um AI Gateway centraliza o acesso, mas não decide sozinho se uma resposta de um modelo está correcta, nem substitui revisão humana em decisões sensíveis, nem torna um modelo mais barato ou mais rápido do que é.
É infra-estrutura de controlo e visibilidade — o valor de cada modelo, o desenho dos prompts e a validação das respostas continuam a ser trabalho de quem constrói a aplicação.
A leitura da PontoTi
Internamente, a PontoTi usa o LiteLLM como gateway central para acesso a modelos de IA nas suas aplicações — é o ponto por onde passam pedidos como os do Academy Mentor, sem que cada aplicação precise de saber directamente com que fornecedor está a falar.
OpenRouter, quando usado, entra como um dos fornecedores disponíveis através desse gateway, não como uma ligação directa a partir de cada aplicação.
Routing, limites de utilização, custos e retenção de dados ficam centralizados nesse ponto único — não em cada integração feita à mão.