Аппроксимация нейросетью бесконечных периодических функций

[kalikanda]

Возможно ли нейросетью аппроксимировать бесконечные периодические функции?

Насколько я понял нейросетью невозможно аппроксимировать бесконечные периодические функции, т.к. скрытых (промежуточных) нейронов должно быть столько же сколько и периодов.
Еще как я понял количество скрытых нейронов можно оценить по количеству изгибов графика функции - так же как и в аппроксимации полиномом.
А значит к периодическим функциям целесообразно сначала применить преобразование фурье или что-то подобное, прежде чем аппроксимировать нейросетью.

Поправьте если это не так.

Схема нейросети выглядит так:
(f - это любая функция активации, но практика показывает, что сигмоида аппроксимирует точнее)

[Mihaylo]

Как Вы себе представляете обучающий датасет с "бесконечной функцией"?

[arseniiv]

kalikanda в сообщении #1423885 писал(а):

бесконечные периодические функции

Это какие? Просто обычные периодические с бесконечной (видимо, $\mathbb R$?) областью определения? Что мешает взять один какой-то период и аппроксимировать его?

Если область определения $\mathbb R^n$, то всё не так просто, уже не любая функция сгодится, но скорее всего она будет достаточно хорошей, чтобы хватило задания функции на каком-то кубике-параллелотопчике.

[Утундрий]

Это периодические, повторенные бесконечное число раз...

kalikanda в сообщении #1423885 писал(а):

количество скрытых нейронов можно оценить по количеству изгибов графика функции

Тут нужно встать в третью позицию и инвокировать "Теорема Котельникова!" (Так мощь заклинания увеличится на 15%)

[kalikanda]

arseniiv в сообщении #1423994 писал(а):

kalikanda в сообщении #1423885 писал(а):

бесконечные периодические функции

Это какие? Просто обычные периодические с бесконечной (видимо, $\mathbb R$?) областью определения? Что мешает взять один какой-то период и аппроксимировать его?

Если область определения $\mathbb R^n$, то всё не так просто, уже не любая функция сгодится, но скорее всего она будет достаточно хорошей, чтобы хватило задания функции на каком-то кубике-параллелотопчике.

Mihaylo в сообщении #1423990 писал(а):

Как Вы себе представляете обучающий датасет с "бесконечной функцией"?

Задача в томи чтобы взять сеть из 10 нейронов и аппроксимировать ею синусоиду содержащую миллион периодов, с обучающей выборкой в 10 периодов.
Конечно нужна такая нейросеть, которая может таким же образом аппроксимировать любую другую периодическую функцию.

[arseniiv]

Каждый элемент выборки — это точка графика? (Если так, то зачем ставить такие дурацкие задачи, ежу же очевидно, что ничего в таком виде не выйдет. Мне кажется; я не специалист в ML.) А если много семплов функции, то что тогда должны значить слова про выборку в 10 периодов?

[Mihaylo]

Рассмотрите RNN, такая нейросетка отлично должна подойти Вам.

[realeugene]

kalikanda в сообщении #1423885 писал(а):

Насколько я понял нейросетью невозможно аппроксимировать бесконечные периодические функции, т.к. скрытых (промежуточных) нейронов должно быть столько же сколько и периодов.

Период известен заранее, или нет? Если нет - то нет никакой гарантии, что он не будет сильно больше длины вашей выборки. Или в вашей задаче такая гарантия есть?