2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему
 
 Как обучить агента в частично наблюдаемой среде?
Сообщение29.10.2017, 12:19 


04/11/16
27
Подскажите пожалуйста, есть ли аналоги обучения с подкреплением? Нужно обучить агента в частично наблюдаемой среде. Помимо обучения с подкреплением какие ещё существуют методы обучения для частично наблюдаемых сред?

Нашёл только "Эволюционные стратегии как масштабируемая альтернатива обучению с подкреплением"

 Профиль  
                  
 
 Re: Как обучить агента в частично наблюдаемой среде?
Сообщение29.10.2017, 14:56 


04/11/16
27
Получше сформулирую вопрос:
Нужно обучить агента в частично наблюдаемой среде. Помимо обучения с подкреплением какие ещё существуют методы обучения для частично наблюдаемых сред или для игр с неполной информацией?

 Профиль  
                  
 
 Re: Как обучить агента в частично наблюдаемой среде?
Сообщение31.10.2017, 05:28 


12/07/15
2907
г. Чехов
(Размышления вслух.)

1. Если информации нет, то ее надо собирать, другого пути нет. Если неполнота информации серьезная, то надо смотреть методы активного обучения. По сути это методы выбора эффективных решений для сбора информации.

2. Есть методы, которые успешно работают без сбора информации: это ассоциативное мышление, мышление по аналогии (перенос знаний из одной области в другую). Эти методы должны работать лишь при достаточно большом количестве накопленных знаний, должно быть несколько разнообразных и смежных областей знаний.

Человек в детстве и молодости активно пользуется п.1, с опытом больше налегает на п.2. К тому же со временем среда превращается из плохо наблюдаемой в хорошо наблюдаемую, то есть в целом оба пункта во взрослом возрасте используются реже. Но в любом случае они используются в той или иной степени.

Будет ошибкой, если вы будете классификатор изображений пытаться программировать мыслить ассоциативно. Где тут делать ассоциации? Хотя я может ошибаюсь.

На мой взгляд, п.2 - это причина качественного роста нейронных сетей при большом количестве обучающих данных.

 Профиль  
                  
 
 Re: Как обучить агента в частично наблюдаемой среде?
Сообщение31.10.2017, 10:28 
Заслуженный участник


26/05/14
981
Вам нужен LSTM - Long short-term memory. Это способ обеспечить нейронную сеть памятью где она будет накапливать информацию об окружении.

 Профиль  
                  
 
 Re: Как обучить агента в частично наблюдаемой среде?
Сообщение10.11.2017, 04:04 


01/05/17
50
Где я?
Если выплаты в игре сразу не известны (игра многоходовая), то годится только обучение с подкреплением. Но конкретных методов обучения с подкреплением очень много. Включая построение модели противника (или среды) каким угодно способом, в т.ч. нейронной сетью с LSTM или без оной.

Народная мудрость, впрочем, утверждает, что нейросеть для сложных игр очень трудно обучить не имея ресурсов гугла. Маленькая сеть плохо аппроксимирует сильно негладкие функции (например, в оценке шахматных позиций), а для большой машинного времени не напасешься.

Рукомендую классическую книжку Саттона и Барто (http://www.ozon.ru/context/detail/id/7107485/). На английском книжка есть в pdf бесплатно. Есть также лекции на youtube David Silver "Reinforcement Learning". Приблизительно покрывают материал книжки Саттона с описанием некоторых свежих (на момент выхода лекций) достижений.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 5 ] 

Модераторы: Karan, Toucan, PAV, maxal, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group