2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему
 
 Вычислительные эксперименты для RL
Сообщение19.06.2021, 15:16 


20/09/09
1444
Уфа
У меня такой вопрос (спрашиваю пока на всякий случай). Нагуглил научную статью по применению Reinforcement Learning в одном классе задач. Возникла идея применения RL (а именно что-то подобное Alpha Go) еще в одном классе задач (не в дорожном движении, а в других задачах). Если получится так, что эта идея оправдает себя, то можно будет замутить статью в научном журнале. Но при этом обычно нужно провести вычислительные эксперименты, результаты которых нужно указать в статье. В связи с этим такой вопрос: легко ли реализовать алгоритм Reinforcement Learning (типа Alpha Go) на домашнем компе для проверки своей идеи? У меня такая конфигурация: Процессор Intel Core i7-3770K CPU 3.50Hz, ОЗУ 32 Гб, видеокарта - встроенная. Или все зависит от масштабов входных данных задачи, если что (идея оправдает себя) - придется либо покупать видеокарту, либо покупать машинное время на удаленных серверах?

 Профиль  
                  
 
 Re: Вычислительные эксперименты для RL
Сообщение29.06.2021, 21:50 


31/10/05
7
Ответить на вопрос насчет домашнего компьютера не смогу, но сейчас Яндекс.Cloud раздаёт гранты по 10К рублей при условии обучении на их курсе "Инженер облачных сервисов" (бесплатно):

https://praktikum.yandex.ru/ycloud

Насколько я понял (закончил первый модуль), этот грант можно пустить и на вычисления, у них есть для этого сервисы - и полагаю, вряд ли они слабее, чем домашний компьютер.

 Профиль  
                  
 
 Re: Вычислительные эксперименты для RL
Сообщение30.06.2021, 01:18 


10/03/16
2098
Aeroport
Rasool в сообщении #1523432 писал(а):
легко ли реализовать алгоритм Reinforcement Learning (типа Alpha Go)


Нет, типа Alpha Go не легко.

Rasool в сообщении #1523432 писал(а):
ОЗУ 32 Гб


:mrgreen:

Rasool в сообщении #1523432 писал(а):
видеокарта - встроенная


:mrgreen: :mrgreen: :mrgreen:

Rasool в сообщении #1523432 писал(а):
Или все зависит от масштабов входных данных задачи


На малых масштабах reinforcement learning типа alpha go ничего не дает

 Профиль  
                  
 
 Re: Вычислительные эксперименты для RL
Сообщение30.06.2021, 01:44 
Заслуженный участник
Аватара пользователя


16/07/14
5183
Москва
Типа AlphaGo - нереально. AlphaGo Zero (самая легкая из серии) училась на 4 TPU, первая версия AlphaGo училась на 176 GPU. Это правда для обучения нейронок, формально RL их не требует.

 Профиль  
                  
 
 Re: Вычислительные эксперименты для RL
Сообщение12.07.2021, 21:42 


20/09/09
1444
Уфа
mihaild в сообщении #1524769 писал(а):
Типа AlphaGo - нереально. AlphaGo Zero (самая легкая из серии) училась на 4 TPU, первая версия AlphaGo училась на 176 GPU. Это правда для обучения нейронок, формально RL их не требует.

Да, прошу прощения, в той статье, которая мне попалась на Arxiv.org, идет речь не об AlphaGo, а о Reinforcement Learning. Для того, чтобы проверить свои идеи "на коленке" на домашнем компе, достаточно ли нечто подобного?

 Профиль  
                  
 
 Re: Вычислительные эксперименты для RL
Сообщение12.07.2021, 21:53 
Заслуженный участник
Аватара пользователя


16/07/14
5183
Москва
Rasool в сообщении #1525941 писал(а):
Для того, чтобы проверить свои идеи "на коленке" на домашнем компе, достаточно ли нечто подобного
?
А какой у вас вообще опыт работы с ML? Просто вопрос "достаточно ли фреймворка (заточенного в первую очередь под нейронки) для проверки идей о RL на домашнем компе" выглядит очень странно.

 Профиль  
                  
 
 Re: Вычислительные эксперименты для RL
Сообщение12.07.2021, 23:03 


20/09/09
1444
Уфа
mihaild в сообщении #1525942 писал(а):
Rasool в сообщении #1525941 писал(а):
Для того, чтобы проверить свои идеи "на коленке" на домашнем компе, достаточно ли нечто подобного
?
А какой у вас вообще опыт работы с ML? Просто вопрос "достаточно ли фреймворка (заточенного в первую очередь под нейронки) для проверки идей о RL на домашнем компе" выглядит очень странно.

Если говорить о программировании в ML, то к сожалению, пока нулевой.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 7 ] 

Модераторы: maxal, Toucan, PAV, Karan, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group