Batch-Size
Как определить размер пакета (batch_size)?
Размер батча выбирают с учётом памяти, скорости обработки и качества на валидации. Большие батчи часто лучше загружают оборудование и уменьшают шум градиента, но требуют настройки learning rate. Малые экономят память и дают больше обновлений за эпоху; их преимущество по качеству не гарантировано.
Как изменяются свойства пакета в зависимости от размера пакета (batch_size)?
Большой батч даёт менее шумную оценку градиента, но требует больше памяти и уменьшает число обновлений за эпоху. Малый батч обычно даёт более шумный градиент; это иногда помогает обобщению, но не гарантирует стабильность или лучшее качество. Размер выбирают вместе с learning rate по валидации и замерам скорости.