Definição numa frase
Cálculo que cuantifica el error del modelo respecto al objetivo usado para actualizar sus parámetros durante el entrenamiento.
Definição direta: um critério de discrepância
Uma função de perda é uma função matemática que atribui um valor a uma previsão ao compará-la com um objetivo ou sinal de referência, de acordo com um critério estabelecido. Esse valor representa a discrepância que a função considera relevante para a tarefa. Não é uma medida universal do valor de um modelo: depende do que ele prevê, do objetivo utilizado e dos erros que a função penaliza.
A palavra “perda” pode dar a entender que o número mede tudo o que deu errado. Não é o caso. Ela descreve o resultado da aplicação de uma regra específica a determinados dados. Duas funções podem receber a mesma previsão e o mesmo objetivo e produzir valores diferentes, porque atribuem pesos diferentes aos tipos ou às magnitudes dos erros. Por isso, para interpretar o valor, é preciso conhecer a tarefa e a formulação escolhida, e não apenas observar se o número é grande ou pequeno.
Na linguagem cotidiana, às vezes se diz que a perda é o “erro” do modelo. Essa simplificação é útil quando se entende que ela se refere ao erro definido pela função, e não necessariamente a uma taxa de falhas que uma pessoa possa compreender diretamente. Uma perda pode estar em uma escala que não se traduz de imediato em “porcentagem de respostas incorretas” ou em uma medida prática de qualidade.
Como a função participa do treinamento
O percurso conceitual começa com uma entrada e uma previsão do modelo. A função de perda compara essa previsão com o objetivo correspondente e produz um valor. O procedimento de treinamento usa esse sinal para modificar os parâmetros do modelo de modo que, segundo o critério escolhido, as perdas seguintes possam diminuir. A perda define o que é medido; o procedimento de otimização determina como os parâmetros são ajustados.
Portanto, a função de perda não é, por si só, o algoritmo que atualiza o modelo. Dizer que um treinamento “minimiza a perda” significa que ele busca reduzir o valor associado àquele critério. Isso não demonstra que o modelo seja útil em uma aplicação, que suas respostas estejam corretas em todos os casos ou que o critério represente todas as necessidades do uso real.
Os detalhes da atualização dependem do método de treinamento e da implementação. É comum usar gradientes em métodos de otimização baseados neles, mas não se deve deduzir qual é o algoritmo específico apenas porque uma descrição menciona uma função de perda. Também não se deve confundir o cálculo da perda com a etapa de atualização: são partes relacionadas, mas conceitualmente distintas.
Percurso básico
- 01O modelo recebe uma entrada e produz uma previsão.
- 02A função de perda compara a previsão com o objetivo definido para aquela entrada.
- 03O cálculo gera um valor de perda segundo o critério escolhido.
- 04O procedimento de otimização usa o sinal de treinamento para ajustar os parâmetros; a função de perda não os atualiza por conta própria.
- 05O processo se repete, e tanto a perda quanto outras medidas pertinentes são examinadas.
Perda de um exemplo e perda agregada
Uma função pode produzir um valor para um exemplo individual. Como o treinamento costuma considerar vários exemplos, é preciso haver uma regra para reunir os valores em uma quantidade agregada. Por exemplo, pode-se calcular uma média ou usar outra redução definida pela implementação. Não se deve presumir que todos os sistemas agreguem os valores da mesma maneira.
A agregação importa porque resume um conjunto, mas pode ocultar diferenças entre os casos. Uma média menor, por si só, não permite saber se a melhora foi homogênea ou se alguns exemplos ainda têm perdas altas. Para interpretar uma curva, também convém identificar quais dados foram usados no cálculo: treinamento, validação ou outro conjunto, e se a composição ou o processamento desses dados mudou.
Assim, quando se informa que “a perda diminuiu”, ainda há perguntas em aberto: diminuiu a perda por exemplo ou a perda agregada? Qual redução foi aplicada? Em qual partição dos dados? Entre quais momentos do treinamento? Sem essas especificações, a tendência pode ser informativa, mas não oferece uma descrição completa do desempenho.
O que verificar ao ler um valor ou uma curva
| Pergunta | Por que isso importa |
|---|---|
| Qual função foi calculada? | Ela define quais discrepâncias contam e como são avaliadas. |
| Quais exemplos foram incluídos? | O valor depende dos dados usados no cálculo. |
| Como os valores foram agregados? | A redução determina como a perda de vários exemplos é resumida. |
| É um resultado de treinamento ou de avaliação? | Uma perda calculada nos dados de treinamento, por si só, não descreve o comportamento em outros dados. |
Exemplo aplicado: regressão numérica
Imagine uma tarefa de regressão que prevê o prazo de entrega de um pedido. Para um pedido, o modelo produz uma duração estimada, que é comparada com a duração de referência registrada. Uma função de perda atribui um valor à discrepância entre as duas. Se a previsão estiver longe do objetivo, o valor pode refletir uma discrepância maior, de acordo com a regra escolhida.
A escolha da regra muda quais erros recebem mais peso. A título de ilustração, uma formulação pode fazer com que erros grandes tenham uma influência especialmente acentuada, enquanto outra pode reduzir essa influência relativa. Não se deve inferir qual função está sendo usada apenas pelo rótulo “regressão”; é necessário consultar a definição da função e sua configuração.
Isso também mostra por que “minimizar o erro” é uma frase incompleta. O treinamento tenta reduzir a discrepância formalizada pela função, não necessariamente o atraso médio, o custo operacional ou a proporção de entregas realizadas dentro de um prazo aceitável. Essas questões podem exigir métricas de avaliação adicionais.
Exemplo aplicado: classificação de texto
Em uma tarefa de classificação de texto, o modelo recebe um texto e produz uma saída relacionada a várias classes possíveis, como “dúvida”, “reclamação” ou “solicitação”. O treinamento dispõe de rótulos-alvo para os exemplos. Uma função de perda compara a saída do modelo com esses rótulos segundo uma regra de classificação e devolve um valor que pode ser usado durante o treinamento.
Esse valor não corresponde automaticamente à porcentagem de textos classificados corretamente. A porcentagem de acertos responde a outra pergunta: quantas previsões finais coincidiram com seus rótulos segundo uma regra de decisão. Uma função de perda pode levar em conta mais informações da saída do que o simples acerto ou erro da classe escolhida. Por isso, dois modelos com a mesma porcentagem de acertos podem ter perdas diferentes, dependendo de suas saídas e da função utilizada.
Para interpretar o resultado, é preciso verificar quais rótulos foram usados, qual função foi aplicada e em quais textos o cálculo foi feito. Também é importante lembrar que uma perda de treinamento menor não garante que o classificador terá o mesmo desempenho com textos novos, com outra distribuição de assuntos ou com categorias para as quais o custo do erro seja diferente.
Exemplo aplicado: detecção de objetos
Em uma tarefa de detecção de objetos, o modelo deve produzir informações sobre os objetos presentes em uma imagem. Como esquema conceitual, é possível distinguir questões sobre a localização de um objeto e sobre a classe à qual ele pertence. Uma perda para essa tarefa pode refletir discrepâncias relacionadas a mais de um aspecto da previsão; a maneira específica de combinar componentes depende do modelo e de sua implementação.
Esse exemplo ajuda a evitar uma simplificação: nem sempre há um único erro elementar que resuma uma tarefa complexa. No entanto, não é rigoroso atribuir uma fórmula, uma lista fixa de componentes ou uma ponderação universal a todos os detectores. Para descrever uma função de detecção específica, seria necessário consultar a documentação técnica daquela implementação, inclusive para saber quais termos ela calcula e como os agrega.
A perda também não substitui automaticamente as medidas usadas para avaliar detecções. Se um relatório apresentar um valor de perda, é preciso descobrir qual critério ele representa; se apresentar uma métrica de avaliação, a definição dela deve ser consultada separadamente. Comparar os dois tipos de informação pode ser útil, mas não autoriza tratar seus valores como se estivessem na mesma escala.
Conceitos próximos: perda, métrica, custo e otimizador
Uma métrica de avaliação resume um aspecto do desempenho por meio de uma regra de medição. Ela pode ajudar a responder a perguntas como quantas previsões estavam corretas ou qual é a qualidade de um resultado segundo uma definição específica. Já uma perda é o critério que atribui um valor a previsões e objetivos para a tarefa definida. Algumas métricas e perdas podem estar relacionadas, mas não são sinônimos por padrão e tampouco precisam ser interpretadas da mesma maneira.
“Erro” é um termo geral e ambíguo: pode se referir à discrepância de uma função formal, a uma previsão incorreta ou a uma métrica expressa em unidades compreensíveis. Convém nomear a quantidade exata. “Função de custo” também pode ser usada de maneiras diferentes em textos técnicos, por exemplo para se referir a um critério agregado. Não se deve presumir que todos os autores distinguem perda individual e custo agregado com a mesma terminologia.
O objetivo de treinamento é o critério mais amplo que se busca otimizar em uma configuração. A função de perda pode fazer parte desse objetivo, mas a descrição completa pode incluir outros elementos. O otimizador é o procedimento que realiza as atualizações dos parâmetros. Em suma: perda é uma medida definida; objetivo é aquilo que se busca otimizar; otimizador é o método que organiza as atualizações; métrica é uma forma de avaliar uma propriedade.
Distinções úteis
| Conceito | Pergunta que ajuda a responder | Não deve ser confundido com |
|---|---|---|
| Função de perda | Que valor o critério atribui à previsão em relação ao objetivo? | Uma descrição completa da utilidade do modelo. |
| Métrica de avaliação | Como se resume um aspecto do desempenho? | A perda de treinamento, a menos que isso seja definido expressamente. |
| Otimizador | Como os parâmetros são ajustados durante o treinamento? | A função que calcula a perda. |
| Custo ou objetivo agregado | Qual quantidade global se busca otimizar em uma formulação específica? | Uma terminologia universal com o mesmo significado em todas as fontes. |
O que uma perda baixa não demonstra
Uma perda baixa mostra que, nos dados considerados e segundo a função definida, o valor daquele critério é baixo. Ela não prova, por si só, que o modelo generalize bem para exemplos que não viu, que esteja calibrado, que seja útil para as pessoas usuárias ou que trate diferentes grupos de maneira justa. Essas propriedades exigem definições, dados e avaliações pertinentes.
Também pode haver uma diferença entre os dados de treinamento e os dados de uso. Se o modelo se ajustar muito bem ao critério nos exemplos de treinamento, mas seu comportamento piorar em outros dados, a perda de treinamento não será suficiente para detectar ou explicar o problema. Comparar resultados em conjuntos adequados pode fornecer evidências, embora a seleção e a representatividade desses conjuntos também sejam importantes.
Uma curva não fala sem contexto. Sua interpretação depende da função, da agregação, dos dados e do momento em que é calculada. Uma tendência descendente pode indicar que o procedimento está reduzindo o critério otimizado, mas não permite concluir, sem mais informações, que todas as capacidades do modelo estejam melhorando. Essa diferença é central para explicar generalização e sobreajuste.
Critérios práticos para interpretar uma perda
- 01Identifique a tarefa, a função específica e o objetivo com o qual a previsão é comparada.
- 02Descubra se o valor corresponde a um exemplo ou a uma agregação e qual regra de agregação foi aplicada.
- 03Verifique qual partição dos dados produziu o valor e se ela é comparável à partição usada para o valor de referência.
- 04Consulte as métricas adequadas às consequências práticas dos erros naquela tarefa.
- 05Não infira generalização, calibração, utilidade ou ausência de viés a partir de um único valor de perda.
Erros frequentes e conceitos relacionados
Um erro frequente é dizer que o modelo “aprendeu porque a perda chegou a zero”. O valor zero só teria uma interpretação específica em relação a uma função e a determinados dados; não demonstra que o sistema resolva corretamente todos os casos relevantes. Outro erro é comparar diretamente perdas de tarefas, funções ou configurações diferentes. Sem uma formulação compatível, os números podem não ser comparáveis.
Também se confunde a função de perda com o algoritmo de otimização, ou uma perda é apresentada como se fosse uma métrica de produto. A maneira mais clara de evitar essa confusão é indicar a função usada, o conjunto em que ela foi calculada e a métrica que avalia o resultado operacional. Ao falar de treinamento, a perda explica o critério; ao falar de resultados, as medidas de avaliação devem ser explicitadas.
Para se aprofundar, esta ficha se relaciona com avaliação, generalização e sobreajuste: a perda é uma parte da interpretação do treinamento, enquanto esses conceitos ajudam a examinar o comportamento para além do número otimizado. Ela também é relevante para o ajuste fino e o aprendizado autossupervisionado, nos quais a formulação do objetivo determina qual sinal é utilizado. A página do glossário e a comparação entre conceitos relacionados podem servir como caminhos de consulta, mas cada termo deve ser definido em seu próprio contexto.