Исправление для softmax и cross-entropy

Авторы показывают, что стандартные реализации log-softmax и cross-entropy в JAX, PyTorch и TensorFlow содержат две численные ошибки, которые они называют Softmax Collapse (градиент целевого логита округляется до нуля, когда тот доминирует, так что градиенты перестают суммироваться в ноль) и Softmax Cancellation (ненулевые градиенты при равенстве логитов студента и учителя). Исправленные заменяемые реализации устраняют известный феномен «Slingshot», ускоряют гроккинг с weight decay, предотвращают коллапс точности без weight decay и останавливают дрейф студентов дистилляции от учителя.