Talvez um treino mais longo valha a pena

[peq42]

https://www.youtube.com/watch?v=9XxTrNoWQzE
Tava assistindo esse video, e fiquei surpreso com os resultados. Aparentemente LLama 3, mesmo na menor versão, 8B, só de ter treinado por mais tempo do que é considerado comum para modelos acabou tendo resultados absurdamente melhores que todos os outros do mesmo tamanho, e até alguns maiores.

Talvez seja interessante re-treinar os modelos disponíveis(chama de Sabiá 2.5) por um tempo extra. Juntando isso com uma página em ingles pro chat(e detecção automática no site para mudar tudo pra inglês caso o usuário não for brasileiro) pode gerar um grande booom pro modelo(que alias, já é bastante bom)

[hugoabonizio]

Olá, @peq42! Também estamos empolgados com a divulgação do desempenho do Llama 3! No entanto, realizamos alguns testes internos com nossos benchmarks em português, e ele não superou outros modelos bem treinados de tamanho semelhante, como o Mistral-7B, por exemplo.

Uma versão do Llama 3 treinada em um grande dataset em português certamente seria um excelente recurso para a comunidade!

Mas uma lição que aprendemos desde o lançamento do Sabiá-1 é que existe um longo caminho entre o treinamento especializado em uma língua e um modelo robusto para produção. Grande parte do trabalho está na curadoria dos dados, no alinhamento com preferências humanas e em uma ampla suíte de avaliações para entender o que melhora e o que piora os modelos.

Continuamos avaliando em quais cenários o Llama 3 pode ser útil e, assim que tivermos mais resultados, vamos divulgá-los!