Um engenheiro de ML tem uma coluna day_of_week com os valores Monday, Tuesday, Wednesday, Thursday, Friday, Saturday e Sunday. Qual técnica o engenheiro deve usar para converter esta coluna categórica em variáveis indicadoras binárias?

A codificação one-hot é a técnica correta porque transforma cada categoria única (neste caso, cada dia da semana) em uma nova coluna binária. Para cada linha, a coluna correspondente ao seu dia da semana terá o valor 1 e as demais 0. Isso evita a introdução de uma ordem artificial que não existe entre os dias da semana, o que ocorreria com a codificação de rótulo. A codificação binária é usada para reduzir a dimensionalidade, mas ainda impõe uma ordem. A tokenização é para processamento de texto, não para variáveis categóricas estruturadas.