2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему
 
 Аппроксимация нейросетью бесконечных периодических функций
Сообщение04.11.2019, 10:01 


18/07/19
3
Возможно ли нейросетью аппроксимировать бесконечные периодические функции?

Насколько я понял нейросетью невозможно аппроксимировать бесконечные периодические функции, т.к. скрытых (промежуточных) нейронов должно быть столько же сколько и периодов.
Еще как я понял количество скрытых нейронов можно оценить по количеству изгибов графика функции - так же как и в аппроксимации полиномом.
А значит к периодическим функциям целесообразно сначала применить преобразование фурье или что-то подобное, прежде чем аппроксимировать нейросетью.

Поправьте если это не так.

Схема нейросети выглядит так:
(f - это любая функция активации, но практика показывает, что сигмоида аппроксимирует точнее)
Изображение

 Профиль  
                  
 
 Re: Аппроксимация нейросетью бесконечных периодических функций
Сообщение04.11.2019, 19:01 


12/07/15
1737
Как Вы себе представляете обучающий датасет с "бесконечной функцией"?

 Профиль  
                  
 
 Re: Аппроксимация нейросетью бесконечных периодических функций
Сообщение04.11.2019, 19:14 
Заслуженный участник


27/04/09
28128
kalikanda в сообщении #1423885 писал(а):
бесконечные периодические функции
Это какие? Просто обычные периодические с бесконечной (видимо, $\mathbb R$?) областью определения? Что мешает взять один какой-то период и аппроксимировать его?

Если область определения $\mathbb R^n$, то всё не так просто, уже не любая функция сгодится, но скорее всего она будет достаточно хорошей, чтобы хватило задания функции на каком-то кубике-параллелотопчике.

 Профиль  
                  
 
 Re: Аппроксимация нейросетью бесконечных периодических функций
Сообщение04.11.2019, 19:25 
Заслуженный участник
Аватара пользователя


15/10/08
10065
Это периодические, повторенные бесконечное число раз...

kalikanda в сообщении #1423885 писал(а):
количество скрытых нейронов можно оценить по количеству изгибов графика функции
Тут нужно встать в третью позицию и инвокировать "Теорема Котельникова!" (Так мощь заклинания увеличится на 15%)

 Профиль  
                  
 
 Re: Аппроксимация нейросетью бесконечных периодических функций
Сообщение05.11.2019, 09:28 


18/07/19
3
arseniiv в сообщении #1423994 писал(а):
kalikanda в сообщении #1423885 писал(а):
бесконечные периодические функции
Это какие? Просто обычные периодические с бесконечной (видимо, $\mathbb R$?) областью определения? Что мешает взять один какой-то период и аппроксимировать его?

Если область определения $\mathbb R^n$, то всё не так просто, уже не любая функция сгодится, но скорее всего она будет достаточно хорошей, чтобы хватило задания функции на каком-то кубике-параллелотопчике.


Mihaylo в сообщении #1423990 писал(а):
Как Вы себе представляете обучающий датасет с "бесконечной функцией"?


Задача в томи чтобы взять сеть из 10 нейронов и аппроксимировать ею синусоиду содержащую миллион периодов, с обучающей выборкой в 10 периодов.
Конечно нужна такая нейросеть, которая может таким же образом аппроксимировать любую другую периодическую функцию.

 Профиль  
                  
 
 Re: Аппроксимация нейросетью бесконечных периодических функций
Сообщение05.11.2019, 13:23 
Заслуженный участник


27/04/09
28128
Каждый элемент выборки — это точка графика? (Если так, то зачем ставить такие дурацкие задачи, ежу же очевидно, что ничего в таком виде не выйдет. Мне кажется; я не специалист в ML.) А если много семплов функции, то что тогда должны значить слова про выборку в 10 периодов?

 Профиль  
                  
 
 Re: Аппроксимация нейросетью бесконечных периодических функций
Сообщение06.11.2019, 05:32 


12/07/15
1737
Рассмотрите RNN, такая нейросетка отлично должна подойти Вам.

 Профиль  
                  
 
 Re: Аппроксимация нейросетью бесконечных периодических функций
Сообщение06.11.2019, 13:02 


27/08/16
8581
kalikanda в сообщении #1423885 писал(а):
Насколько я понял нейросетью невозможно аппроксимировать бесконечные периодические функции, т.к. скрытых (промежуточных) нейронов должно быть столько же сколько и периодов.
Период известен заранее, или нет? Если нет - то нет никакой гарантии, что он не будет сильно больше длины вашей выборки. Или в вашей задаче такая гарантия есть?

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 8 ] 

Модераторы: maxal, Toucan, PAV, Karan, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group