Passada a cerimônia, podemos avaliar o desempenho de nosso modelo em comparação com os resultados da premiação e também com outros especialistas que fizeram suas previsões.
Resultados x Vencedores
Nosso modelo acertou os vencedores de 13 das 24 categorias do prêmio. Dentre as 6 principais categorias, acertamos 4 vencedores. A maior surpresa da noite foi o prêmio de melhor filme para Green Book ao invés de Roma (possibilidade que havíamos considerado no post inicial). Outra grande surpresa foi o prêmio de melhor atriz para Olivia Colman (ao invés de Glenn Close), indicada com a 2a maior probabilidade de vencer segundo o nosso modelo.
Dentre as 9 outras categorias em que o modelo não acertou o vencedor, em 3 delas ganhou o indicado com a 2a maior probabilidade de vitória, em outras 3 ganhou o indicado com a 3a maior probabilidade e em 2 ganhou o indicado com a 4a maior probabilidade. A categoria de Edição de Som foi a categoria em que o indicado com menor probabilidade de vitória apontada pelo modelo venceu.
Resultados x Especialistas em cinema
Comparamos nosso modelo com especialistas de 12 publicações:
- Fox TV (Tariq Khan)
- Rolling Stone (Peter Travers)
- HuffPo (Matthew Jacobs)
- LA Times (Glenn Whipp)
- IMDb (Dave Karger)
- Yahoo (Kevin Polowy)
- Vanity Fair (Michael Hogan)
- Variety (Tim Gray)
- NPR (Eric Deggans)
- Rotten Tomatoes (Grae Drake)
- USA Today (Andrea Mandell)
- Hollywood Life (Bonnie Fuller)
Nossos resultados estão na mediana das previsões, conforme gráfico abaixo:
Dada a amostra de comparação, verificamos que a abordagem relativamente simples do modelo consegue ser suficiente para superar o resultado de 50% dos especialistas.
Como melhorar o modelo?
Para as previsões do Oscar 2020, podemos atuar em 2 pontos:
- Incorporar mais premiações específicas para categorias menores, como edição de som e curta-metragem
- Identificar especialistas com alta performance (consistente ao longo do tempo) e incorporar suas previsões como variáveis do modelo