Problema de regressão em PNL com 100M de exemplos rotulados; dados embaralhados aleatoriamente e divididos em 90/10 para treino/teste. O RMSE de treino é duas vezes maior que o RMSE de teste. Como você deve melhorar o desempenho do modelo?

O cenário descrito, onde o RMSE de treino é duas vezes maior que o RMSE de teste, indica underfitting (subajuste). Isso significa que o modelo é muito simples para aprender os padrões nos dados de treino. Aumentar a complexidade do modelo, por exemplo, adicionando camadas ou expandindo o vocabulário/n-grams, permite que ele capture relações mais intrincadas, reduzindo o erro de treino e, consequentemente, melhorando o desempenho geral. Aumentar a proporção da amostra de teste não resolveria o underfitting. Coletar mais dados geralmente ajuda com overfitting, não underfitting. Técnicas de regularização (dropout, batch normalization) são usadas para combater o overfitting, não o underfitting, pois elas simplificam o modelo ou reduzem sua capacidade de memorização.