MetodologiaComo Avaliamos Modelos de IA

Princípios

Fontes de Dados

O SWEN.AI agrega dados de 4 fontes especializadas, cada uma contribuindo com dimensões diferentes de avaliação:

1. LMArena (Chatbot Arena) — ELO Score

URL: lmarena.ai
O que coletamos: Score ELO por modelo, ranking, contagem de votos
Frequência: Diária
Metodologia da fonte: O LMArena (anteriormente LMSYS Chatbot Arena) opera uma plataforma de votação humana onde usuários comparam respostas anônimas de dois modelos e escolhem o melhor. O sistema ELO, análogo ao ranking de xadrez, calcula uma classificação relativa baseada em milhões de votos cumulativos. É amplamente considerado o benchmark mais confiável da indústria porque reflete preferência humana real, não métricas sintéticas.

2. Artificial Analysis — Intelligence Index + Benchmarks Detalhados

URL: artificialanalysis.ai
O que coletamos: Intelligence Index (score composto 0-100), Coding Index, Math Index, MMLU Pro, GPQA Diamond, MATH-500, AIME 2025, LiveCodeBench, SWE Bench Verified, velocidade (tokens/s), latência (TTFT)
Frequência: Diária via API v2
Metodologia da fonte: O Intelligence Index combina 10 avaliações diferentes em um score composto. Artificial Analysis roda cada modelo contra datasets de avaliação padronizados e mede tanto qualidade (accuracy) quanto performance (velocidade, latência). Os dados de speed e latency são medidos em infraestrutura própria com condições controladas.

3. LiveBench — Benchmarks Resistentes a Contaminação

URL: livebench.ai
O que coletamos: Global Average, Reasoning, Coding, Math, Data Analysis, Language scores (0-100)
Frequência: Diária
Metodologia da fonte: LiveBench é um benchmark auto-atualizável que gera novas questões periodicamente, reduzindo o risco de contaminação (quando modelos memorizam respostas do dataset de treino). As questões são categorias em 6 dimensões e avaliadas automaticamente contra gabaritos verificados.

4. OpenRouter — Preços, Especificações e Disponibilidade

URL: openrouter.ai
O que coletamos: Preço por milhão de tokens (input/output), context window, max output tokens, modalidades suportadas (texto, imagem, áudio, vídeo), suporte a tool calling, capacidade de reasoning, descrição do modelo
Frequência: Semanal via API pública (sem autenticação)
Metodologia da fonte: OpenRouter é um agregador de APIs de IA que oferece acesso unificado a 300+ modelos. Os dados de preços refletem os valores praticados pelos provedores originais (OpenAI, Anthropic, Google, etc.) com markup do OpenRouter. Os preços no SWEN.AI são os valores reportados pelo OpenRouter, não os preços diretos dos provedores.

Processo de Coleta e Atualização

1. Sincronização automática: Edge functions (Supabase) executam diariamente, coletando dados das 4 fontes via APIs e web scraping controlado.
2. Matching de modelos: Um algoritmo de fuzzy matching com 5 níveis de precisão (match exato, normalizado, parcial, alfanumérico, base) mapeia nomes de modelos entre fontes diferentes (ex.: “claude-opus-4-6” ↔ “Anthropic: Claude Opus 4.6”).
3. Deduplicação: Benchmarks duplicados (mesmo modelo, mesmo benchmark) são resolvidos mantendo o score mais recente.
4. Validação: Scores fora de faixa esperada (ELO < 800 ou > 2000, Intelligence Index < 0 ou > 100) são descartados automaticamente.
5. Publicação: Os dados validados são disponibilizados no site via ISR (Incremental Static Regeneration) com cache de 1 hora.

Limitações e Disclaimers

• Não rodamos benchmarks próprios (ainda). Todos os scores são agregados de terceiros. Estamos desenvolvendo um benchmark proprietário em português brasileiro.
• Benchmarks em inglês. A maioria dos benchmarks testa modelos apenas em inglês. Performance em português pode variar significativamente e não é capturada nos scores apresentados.
• Preços aproximados. Os preços vêm do OpenRouter e podem diferir dos preços diretos dos provedores. Preços em BRL são estimativas com câmbio e IOF (6,38%).
• Velocidade e latência variáveis. Métricas de performance dependem da infraestrutura, região, horário e carga. Os valores reportados são médias sob condições controladas.
• Conflito potencial. O SWEN.AI não tem conflito de interesse com provedores de IA. Se no futuro houver qualquer relação comercial, será declarada explicitamente nesta página.

Contato e Correções

Se você encontrar dados incorretos, desatualizados ou tiver sugestões para melhorar nossa metodologia, entre em contato:

• Email: contato@swen.ia.br
• Instagram: @swen.ia.br
• X/Twitter: @SwenAIBR

Correções verificadas são aplicadas em até 24 horas. Agradecemos especialmente contribuições de pesquisadores, desenvolvedores e profissionais do mercado brasileiro de IA.