Какие операции следует применить для очистки и единообразной подготовки 1 миллиона предложений для встраивания Word2Vec (например: «The quck BROWN FOX jumps over the lazy dog»)? (Выберите три.)
Выберите ответ
Нажмите на вариант, чтобы проверить свой ответ.
Правильный ответ: Нормализовать, преобразовав все символы в нижний регистр., Удалить стоп-слова, используя список английских стоп-слов., Токенизировать каждое предложение на отдельные слова..
Почему это правильный ответ
Для подготовки текста к Word2Vec необходимо выполнить токенизацию, чтобы разбить предложения на отдельные слова. Нормализация путем приведения всех символов к нижнему регистру обеспечивает единообразие и предотвращает обработку одного и того же слова в разных регистрах как разных слов. Удаление стоп-слов (например, «the», «is», «a») уменьшает шум и позволяет модели сосредоточиться на более значимых словах, которые несут основную смысловую нагрузку. Тегирование частей речи и сохранение только глаголов и существительных является слишком агрессивным подходом, который может привести к потере важного контекста. Исправление орфографических ошибок не является стандартным шагом для Word2Vec и может быть сложной задачей. One-hot кодирование не используется для встраивания Word2Vec, поскольку Word2Vec сам генерирует плотные векторные представления слов.
Сдайте экзамен — без бесконечного поиска ответов
Получите все проверенные вопросы и объяснения для этого экзамена в одном месте и сэкономьте часы подготовки. 1000+ сертификаций · 20+ языков · начните бесплатно.
Сдайте экзамен быстрее → Карта не требуется