Эмбеддинги
Что такое Word2vec?
Word2Vec - это метод для создания векторных представлений слов на основе контекста, в котором они встречаются в тексте. Этот метод обычно используется в обработке естественного языка и машинном обучении. Он позволяет представить слова в виде векторов в многомерном пространстве таким образом, что близкие слова в этом пространстве имеют семантическую схожесть. Векторы слов можно использовать для различных задач, таких как поиск схожих слов, классификация текста и многие другие.
Чем модели эмбеддингов отличают от самих LLM?
Модели эмбеддингов, такие как Word2Vec или GloVe, создают векторы для слов, представляя их в непрерывном пространстве. LLM (Large Language Models), такие как BERT или GPT, используют эмбеддинги в качестве одного из слоёв, но дополнительно обучаются на больших корпусах текста для выполнения более сложных задач, таких как генерация текста или ответ на вопросы.
Нужны ли другие эмбеддинги кроме CLS токена для классификации?
CLS токен обычно используется в моделях вроде BERT для
получения финальной репрезентации текста для задач классификации. Однако для
некоторых задач могут использоваться другие эмбеддинги, например, агрегированные
или средние значения по всем токенам.