---
title: Attention
seo:
  title: Attention — Data Scientist
  description: Тема «Attention» для собеседования Data Scientist. Как посчитать attention?
---

[Все темы Data Scientist](/data-scientist)

## <strong>Как посчитать attention?</strong> [#q-14bee738d69b81f09360e6a48b1e1af2]

<code>Attention</code> в нейронных сетях используется для выделения важных
элементов входных данных при выполнении задачи. Применительно к моделям
<code>seq2seq</code> и <code>трансформерам</code>, <code>attention</code>
считается следующим образом&#58;

1. Вычисляются веса <code>&#40;scores&#41;</code> для каждой пары элементов входной и выходной последовательностей. Эти веса обычно вычисляются с помощью функции скалярного произведения, например, <code>dot&#45;product</code>, или с использованием нейронной сети.

1. Веса нормализуются с помощью функции <code>Softmax</code>, чтобы получить вероятностное распределение.

1. Вычисляется взвешенная сумма элементов входной последовательности с использованием вычисленных весов, чтобы получить контекстное представление.

:::note[Ссылки для изучения]

1. [ML Attention](https://qudata.com/ml/ru/NN_Attention.html)
   :::