BENCHMARK DOCUMENTADO

fev-bench SQL skill score

Resultados publicados e condições declaradas pelas fontes. Os números só são comparáveis quando versão, configuração, métrica e data coincidem.

01 / RESULTADOS

Medições publicadas

Modelo	Organização	Resultado	Métrica	Condições
Timestral 5M	Mistral AI	46,19	Maior é melhor	Métricas declaradas pela Mistral para cada checkpoint, não reproduzidas pela Inferama. MASE e CRPS: menor é melhor; skill scores fev-bench: maior é melhor. Não são percentagens de exatidão nem testes de conversação. O relatório técnico continua pendente.
Timestral 28M	Mistral AI	48,42	Maior é melhor	Métricas declaradas pela Mistral para cada checkpoint, não reproduzidas pela Inferama. MASE e CRPS: menor é melhor; skill scores fev-bench: maior é melhor. Não são percentagens de exatidão nem testes de conversação. O relatório técnico continua pendente.
Timestral 123M	Mistral AI	50,18	Maior é melhor	Métricas declaradas pela Mistral para cada checkpoint, não reproduzidas pela Inferama. MASE e CRPS: menor é melhor; skill scores fev-bench: maior é melhor. Não são percentagens de exatidão nem testes de conversação. O relatório técnico continua pendente.
Timestral 209M	Mistral AI	50,39	Maior é melhor	Métricas declaradas pela Mistral para cada checkpoint, não reproduzidas pela Inferama. MASE e CRPS: menor é melhor; skill scores fev-bench: maior é melhor. Não são percentagens de exatidão nem testes de conversação. O relatório técnico continua pendente.

02 / INTERPRETAÇÃO

Verifique o identificador do modelo, a data e se o alias pode mudar.

Verifique ferramentas, esforço, número de tentativas, prompt e orçamento de inferência.

Valide o resultado com tarefas, idiomas, formatos e erros representativos do seu produto.

03 / MÉTODO

Um benchmark público orienta, mas não substitui uma avaliação com os teus dados, ferramentas, orçamento e tolerância ao erro.

Um alias móvel e um snapshot podem produzir resultados diferentes. Regista o modelo, a data e o fornecedor.

O prompt, o raciocínio, as ferramentas, o número de tentativas e o orçamento devem ser equivalentes para comparar.

Uma diferença pequena pode desaparecer entre execuções. Conserva amostras, dispersão e falhas, não apenas a média.

Valida se a melhoria se mantém em idiomas, formatos e casos reais próximos do teu produto.

Uma métrica só é útil quando conhecemos a tarefa, as condições e o erro que importa. O resultado começa com o desenho do teste.

04 / FONTES