Вычислительные эксперименты для RL

[Rasool]

У меня такой вопрос (спрашиваю пока на всякий случай). Нагуглил научную статью по применению Reinforcement Learning в одном классе задач. Возникла идея применения RL (а именно что-то подобное Alpha Go) еще в одном классе задач (не в дорожном движении, а в других задачах). Если получится так, что эта идея оправдает себя, то можно будет замутить статью в научном журнале. Но при этом обычно нужно провести вычислительные эксперименты, результаты которых нужно указать в статье. В связи с этим такой вопрос: легко ли реализовать алгоритм Reinforcement Learning (типа Alpha Go) на домашнем компе для проверки своей идеи? У меня такая конфигурация: Процессор Intel Core i7-3770K CPU 3.50Hz, ОЗУ 32 Гб, видеокарта - встроенная. Или все зависит от масштабов входных данных задачи, если что (идея оправдает себя) - придется либо покупать видеокарту, либо покупать машинное время на удаленных серверах?

[tsoka]

Ответить на вопрос насчет домашнего компьютера не смогу, но сейчас Яндекс.Cloud раздаёт гранты по 10К рублей при условии обучении на их курсе "Инженер облачных сервисов" (бесплатно):

https://praktikum.yandex.ru/ycloud

Насколько я понял (закончил первый модуль), этот грант можно пустить и на вычисления, у них есть для этого сервисы - и полагаю, вряд ли они слабее, чем домашний компьютер.

[ozheredov]

Rasool в сообщении #1523432 писал(а):

легко ли реализовать алгоритм Reinforcement Learning (типа Alpha Go)

Нет, типа Alpha Go не легко.

Rasool в сообщении #1523432 писал(а):

ОЗУ 32 Гб

Rasool в сообщении #1523432 писал(а):

видеокарта - встроенная

Rasool в сообщении #1523432 писал(а):

Или все зависит от масштабов входных данных задачи

На малых масштабах reinforcement learning типа alpha go ничего не дает

[mihaild]

Типа AlphaGo - нереально. AlphaGo Zero (самая легкая из серии) училась на 4 TPU, первая версия AlphaGo училась на 176 GPU. Это правда для обучения нейронок, формально RL их не требует.

[Rasool]

mihaild в сообщении #1524769 писал(а):

Типа AlphaGo - нереально. AlphaGo Zero (самая легкая из серии) училась на 4 TPU, первая версия AlphaGo училась на 176 GPU. Это правда для обучения нейронок, формально RL их не требует.

Да, прошу прощения, в той статье, которая мне попалась на Arxiv.org, идет речь не об AlphaGo, а о Reinforcement Learning. Для того, чтобы проверить свои идеи "на коленке" на домашнем компе, достаточно ли нечто подобного?

[mihaild]

Rasool в сообщении #1525941 писал(а):

Для того, чтобы проверить свои идеи "на коленке" на домашнем компе, достаточно ли нечто подобного
?

А какой у вас вообще опыт работы с ML? Просто вопрос "достаточно ли фреймворка (заточенного в первую очередь под нейронки) для проверки идей о RL на домашнем компе" выглядит очень странно.

[Rasool]

mihaild в сообщении #1525942 писал(а):

Rasool в сообщении #1525941 писал(а):

Для того, чтобы проверить свои идеи "на коленке" на домашнем компе, достаточно ли нечто подобного
?

А какой у вас вообще опыт работы с ML? Просто вопрос "достаточно ли фреймворка (заточенного в первую очередь под нейронки) для проверки идей о RL на домашнем компе" выглядит очень странно.

Если говорить о программировании в ML, то к сожалению, пока нулевой.