И кстати Вы правы, на примере крестиков-ноликов вполне можно увидеть эти возможности и недостатки, помнится была забавная статейка типа "самообучающийся автомат игры в крестики-нолики из спичечных коробков" (по коробку на каждый вариант хода в каждой позиции, в коробках семечки, по итогам игры семечки в задействованных коробках убавляются/прибавляются) - натуральная нейронка, доступная даже для ручной симуляции человеком. К сожалению не помню критерия прекращения её обучения из статьи, интуиция подсказывает что надо обойти всё дерево игры, но не в каждой позиции есть один единственный правильный ход, а значит нельзя ждать пока матрица вероятностей примет значения ровно 1 для какого-то одного хода во всех позициях. Зато остановив обучение на любой желаемой стадии можно получить ту самую матрицу весов, вполне обозримую человеком, и попытаться свернуть её до понятного человеку алгоритма. Если обучение проведено до конца, то алгоритм должен получиться известный гарантированно оптимальный (ну это чисто из-за простоты дерева игры).
Это из Мартина Гарднера "Математические досуги", где в главе "Самодельная самообучающаяся машина из спичечных коробков" он ссылается на статью Дональда Мичи. Впрочем, метод обучения описан достаточно подробно и у Гарднера.