Comparativo: Prompt API vs. OpenAI, Ollama e WebLLM

Escolher onde rodar inferência de IA é uma decisão arquitetural que impacta custo, privacidade e experiência do usuário. Este comparativo coloca a Prompt API (on-device via Chrome) contra quatro alternativas: OpenAI API, Google Gemini Cloud, Ollama (local) e WebLLM (browser via WebGPU). Cada opção tem seus trade-offs — e a melhor escolha depende do seu cenário específico.

Tabela comparativa geral

Detalhamento por solução

Prompt API (Chrome Built-in)

O que é: API nativa do Chrome que expõe o Gemini Nano para inferência on-device.

Pontos fortes: Zero custo, máxima privacidade, zero setup, funciona offline. Pontos fracos: Qualidade limitada, só Chrome estável, sem fine-tuning, poucos idiomas.

Edge compared (developer preview)

O Edge também implementa a Prompt API, mas em developer preview — Canary/Dev a partir de 138.0.3309.2, com flag. Não está nos canais estáveis, e os números não são os mesmos:

Se você está escolhendo onde investir, trate o Edge como terreno de teste, não como plataforma de produção.

OpenAI API

O que é: API cloud para acessar modelos GPT-4o, GPT-4o-mini, o1 e outros via REST.

Pontos fortes: Melhor qualidade de geração, context window enorme, fine-tuning, universal. Pontos fracos: Custo por token, latência de rede, dados enviados para cloud, requer internet.

Google Gemini Cloud API

O que é: API cloud para modelos Gemini (Flash, Pro) via Google AI Studio ou Vertex AI.

Pontos fortes: Context window massiva (1M+), free tier generoso, multimodal avançado (vídeo), integração Google. Pontos fracos: Dados enviados para cloud, custo em escala, dependência do ecossistema Google.

Ollama (Local)

O que é: Runtime local para executar LLMs open-source no desktop (macOS, Linux, Windows).

Pontos fortes: Escolha de modelo, privacidade total, modelos grandes disponíveis, API compatível OpenAI, fine-tuning com LoRA. Pontos fracos: Requer instalação, hardware potente para bons modelos, não roda no browser, setup por conta do usuário.

WebLLM (Browser via WebGPU)

O que é: Engine de inferência que roda LLMs no browser usando WebGPU e WebAssembly.

Pontos fortes: Roda no browser, privacidade total, escolha de modelo, API OpenAI-compatible, cross-browser (com WebGPU). Pontos fracos: Download pesado por site, performance inferior ao nativo, dependente de WebGPU, modelos limitados por VRAM do browser.

Comparativo de custos (1M requisições/mês)

Estimativa para 1 milhão de requisições com prompts médios de ~500 tokens input e ~200 tokens output:

Comparativo de privacidade

Comparativo de qualidade por tarefa

Recomendações por caso de uso

“Quero IA grátis e privada para funcionalidades simples”

→ Prompt API + polyfill como fallback

Ideal para: classificação de conteúdo, autocompletar, extração de entidades, análise de sentimento.

“Preciso da melhor qualidade possível”

→ OpenAI API (GPT-4o) ou Gemini Pro

Ideal para: geração de conteúdo, raciocínio complexo, assistentes conversacionais sofisticados.

“Tenho volume alto e quero economizar”

→ Prompt API (on-device) + Gemini Flash Lite (fallback cloud com free tier)

Ideal para: produtos freemium, ferramentas de produtividade, apps com milhões de usuários.

“Privacidade é obrigatória e preciso de qualidade”

→ Ollama (backend) ou Prompt API + polyfill local

Ideal para: dados sensíveis (saúde, finanças), compliance LGPD/GDPR, ambientes corporativos.

“Quero IA no browser sem depender do Chrome”

→ WebLLM

Ideal para: demos, POCs cross-browser, apps que precisam funcionar em Firefox/Safari com IA local.

“Quero a melhor experiência possível com cobertura universal”

→ Prompt API (nativa quando disponível) + Gemini Cloud (fallback) via Firebase AI Logic

Ideal para: apps de produção que precisam funcionar para todos os usuários com a melhor UX possível.

Árvore de decisão

Preciso de IA na minha aplicação web
├── Privacidade é o fator principal?
│   ├── SIM → Precisa funcionar em todos os browsers?
│   │   ├── SIM → WebLLM
│   │   └── NÃO → Prompt API (Chrome estável suficiente?)
│   │       ├── SIM → Prompt API
│   │       └── NÃO → Prompt API + polyfill local
│   └── NÃO → Qualidade é crítica?
│       ├── SIM → Orçamento disponível?
│       │   ├── SIM → OpenAI GPT-4o ou Gemini Pro
│       │   └── NÃO → Gemini Flash Lite (free tier)
│       └── NÃO → Volume é alto?
│           ├── SIM → Prompt API + fallback cloud barato
│           └── NÃO → OpenAI GPT-4o-mini ($0.15/1M tokens)

Combinações recomendadas

Na prática, a melhor abordagem é combinar soluções:

Padrão “Progressive AI”

async function criarSessaoIA() {
  // Tier 1: On-device (grátis, privado, rápido)
  if ('LanguageModel' in window) {
    const status = await LanguageModel.availability({
      expectedInputs: [{ type: 'text', languages: ['en'] }],
      expectedOutputs: [{ type: 'text', languages: ['en'] }]
    });
    if (status !== 'unavailable') {
      return { session: await LanguageModel.create(), tier: 'on-device' };
    }
  }

  // Tier 2: Cloud barato (cobertura universal)
  return {
    session: await criarSessaoCloud('gemini-flash-lite'),
    tier: 'cloud'
  };
}

Padrão “Quality Routing”

async function prompt(texto, complexidade) {
  // Tarefas simples → on-device
  if (complexidade === 'simple') {
    return await sessaoLocal.prompt(texto);
  }

  // Tarefas complexas → cloud
  return await sessaoCloud.prompt(texto);
}

Perguntas frequentes

Qual a alternativa mais barata para alta qualidade?

Gemini Flash Lite com free tier (15 RPM) ou GPT-4o-mini ($0.15/1M tokens). Para volume zero de custo com qualidade básica, a Prompt API é imbatível.

Posso migrar de OpenAI para Prompt API sem mudar código?

Não diretamente — as APIs têm interfaces diferentes. Porém, o WebLLM oferece API compatível com OpenAI e roda no browser. O polyfill da Prompt API também padroniza a interface.

Qual tem melhor latência?

Para primeiro token: Prompt API e Ollama (local, sem rede). Para throughput total: depende do hardware. GPUs modernas com Ollama podem superar o Gemini Nano em tokens/segundo.

Vale a pena usar Prompt API se meu público usa muito Firefox/Safari?

Sozinha, não. Mas com o polyfill (cloud ou local) como fallback, sim. A Prompt API oferece a melhor experiência para os usuários de Chrome estável, enquanto o polyfill cobre o restante — Firefox, Safari, mobile e os casos de hardware insuficiente.

Ollama é melhor que Prompt API?

Depende. Ollama oferece modelos maiores e melhores (Llama 3.1 70B > Gemini Nano), mas requer instalação no desktop do usuário. A Prompt API é zero-setup para o usuário — está no browser. Para apps web servindo usuários finais, a Prompt API vence em acessibilidade. Para desenvolvimento e apps internas, Ollama vence em qualidade.

Referências

• Chrome Prompt API — Documentação Oficial
• OpenAI API Reference
• Ollama — Run LLMs Locally
• WebLLM — In-Browser LLM Inference
• Gemini Nano — On-device AI Model