Многопоточность и многопроцессорность

Что такое GIL (Global Interpreter Lock)?

GIL в обычной сборке CPython допускает выполнение байт-кода только одним потоком за раз в одном интерпретаторе. При блокирующем вводе-выводе и в некоторых расширениях на C он освобождается. Это ограничивает параллелизм вычислений на Python, но не исключает полезную многопоточность. Начиная с CPython 3.13 доступны отдельные free-threaded сборки без GIL.

В чем отличие multiprocessing от multithreading в Python?

Отличие между multiprocessing и multithreading в Python заключается в том, как они обрабатывают параллелизм:

Multiprocessing:

multiprocessing позволяет создавать отдельные процессы для выполнения задач.
Каждый процесс имеет свое собственное пространство памяти, что делает его более надежным при работе с разделяемой памятью и предотвращает проблемы с GIL.
Это подходит для CPU-интенсивных задач, которые могут быть распараллелены, так как каждый процесс может использовать отдельное ядро процессора.

Multithreading:

multithreading создает несколько потоков внутри одного процесса для выполнения задач.
Потоки разделяют общее пространство памяти процесса, что может привести к проблемам с синхронизацией доступа к общим ресурсам.
Это подходит для задач с большим количеством ввода-вывода (I/O-bound), так как потоки могут блокироваться при ожидании завершения операций ввода-вывода.

В целом, multiprocessing обеспечивает большую изоляцию и параллелизм, в то время как multithreading может быть эффективным для задач, требующих ввода-вывода, но может столкнуться с проблемами с синхронизацией при доступе к общим ресурсам.

Каковы различия между IO-bound и CPU-bound задачами?

Различия между IO-bound и CPU-bound задачами связаны с тем, какие ресурсы больше всего использует каждая из них:

IO-bound задачи:

Эти задачи в основном зависят от операций ввода-вывода (IO), таких как чтение и запись файлов, сетевые запросы и т. д.
Примеры IO-bound задач включают загрузку веб-страниц, чтение больших файлов, обращение к базам данных и т. д.
В таких задачах основное время ожидания затрачивается на ожидание завершения операций ввода-вывода, а не на обработку данных.

CPU-bound задачи:

Эти задачи требуют большого количества вычислительных ресурсов процессора (CPU).
Примеры CPU-bound задач включают математические вычисления, обработку данных, компиляцию программ и т. д.
В таких задачах основное время затрачивается на обработку данных или выполнение алгоритмов, а не на ожидание операций ввода-вывода.

Где лучше использовать потоки и асинхронность в Python?

Потоки удобны для конкурентного выполнения блокирующих операций ввода-вывода, особенно с синхронными библиотеками. В CPython с GIL они обычно не ускоряют вычисления на чистом Python; для таких задач используют процессы. Расширения, освобождающие GIL, и free-threaded сборки могут выполнять вычисления в потоках параллельно.

Асинхронность лучше использовать в приложениях, где требуется эффективное управление вводом-выводом (I/O), например, веб-серверы, сетевые приложения или асинхронные API. Асинхронность позволяет эффективно использовать ресурсы процессора, обрабатывая запросы без блокировки потоков ожидания I/O-операций.