Почему softmax теряет градиенты — и как школьная алгебра 7-го класса помогает их сохранить
Хабр · 28.10.2026 · 07:29
Модель почти идеально выучила ответ, а градиент правильного класса уже стал машинным нулём. При дистилляции возможна обратная ситуация: ученик повторяет учителя, но вычисление всё ещё…