Во-первых, непонятно, причём тут reverse engineering. По-моему, связано очень мало и с движками и с играми.
Во-вторых, что такое «игровые движки»? Это игровой движок для игры в шахматы, как Stockfish и/или Leela Zero? Или игровой движок это CryEngine?
Для движков, которые рендерят сцены, я думаю, вполне можно взять что-то вроде Eric Lengyel. Mathematics for 3D Game Programming and Computer Graphics. Но вот Machine Learning тут не в тему.
Если брать Machine Learning, то это отдельный вопрос. Тут мне кажется, можно попробовать идти паралелльно. Делайте упражнения из вашей книги и попутно прочитайте что-нить базовое... Например, для начала Вентцель, теория вероятностей.
Если брать игровые нейросетевые движки для игр типа шахматы, го, то это передний край исследований, и читать надо на arxiv.org:
Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm от DeepMind
более поздняя
A general reinforcement learning algorithm that masters chess, shogi and Go through self-play от DeepMind
ещё
Mastering the Game of Go without Human Knowledge (тоже DeepMind)
Также можно посмотреть на проекты Leela Chess
https://github.com/glinscott/leela-chessИ Leela Go Zero
https://github.com/leela-zero/leela-zero