17 декабря 2025 года в ИПМА КБНЦ РАН состоялся научно-исследовательский семинар по современному анализу, информатике и физике

С докладом «Робастный оптимизатор Adam на основе усредняющих агрегирующих функций» выступил младший научный сотрудник отдела НиМО ИПМА КБНЦ РАН Мухамед Казаков. Он отметил, что в прикладных задачах оптимизации обучение часто происходит в условиях загрязнённых данных: встречаются выбросы, тяжёлые хвосты распределений, шум меток и артефакты предобработки. При стандартном усреднении даже несколько аномальных наблюдений способны сместить оценку эмпирического риска, вызвать нестабильность шагов и деградацию обобщающей способности. В своей работе ученый представил робастный вариант оптимизатора Adam, в котором стандартное усреднение по партии (batch) заменено на агрегирование значений потерь с использованием усредняющих агрегирующих функций на базе штрафных функций. Такая модификация, по его мнению, снижает влияние выбросов и тяжёлых хвостов без изменения функции потерь и архитектуры модели. Проведено экспериментальное исследование на синтетическом наборе данных для задачи регрессии с контролируемыми выбросами. Обсуждены ограничения подхода и области применимости. В совокупности выполненная работа демонстрирует, что робастное агрегирование сигналов внутри партий является эффективным и практически совместимым способом повысить устойчивость современных процедур обучения.