Периодические функции как функции активации в нейросетях
В данной статье мы рассмотрим применение периодических функций в качестве функций активации в нейросетях. Мы проведём сравнительные эксперименты на простых сетях и посмотрим, как периодические активации (например, sin ) ведут себя по сравнению с классическими непериодическими — tanh , sigmoid и ReLU . Читать далее