LLM и шахматы

[Ruben]

Ende
Выделено из темы «ИИ и перспективы математики и математического образования»

dsge в сообщении #1732280 писал(а):

Математика - это не детерминированная и конечная игра 2-х лиц с полной информацией, с простыми правилами и с нулевой суммой, это нечто совсем другое.

Да, математика безгранична, намного более разнообразна и, в отличии от шахмат, у неё нет конкретного набора правил. Но это, как бы, в целом. А в частности человеку не сильно легче от того, что шахматы детерминированы, если дерево вариантов настолько развесистое, а LLM - ещё тяжелее. Факт в том, что несмотря на огромную базу партий в открытом доступе LLM так и не научились в них играть. То есть, они играют где-то на 1000 ELO (ELO чемпиона мира 2800+ ). Если провести аналогию с математикой, это уровень пятиклассника среднеспортивной школы. Всё-таки, несмотря на превосходящую сложность математики, её синтаксис - это язык. Т.е. математика (поэтически выражаясь) говорит с нами на своём языке, а LLM буквально созданы для языка. Шахматы же, несмотря на открытую базу партий, описаны языком координат, который раскрывает очень мало информации, ведь в текстах партий никто не пишет как менялась оценка позиции после каждого хода. А самостоятельно LLM неоткуда взять эту информацию. Даже если она знает результат партии, она не может сказать, в какой момент "всё пошло не так". Конечно, специальные нейронки типа leela chess играют почти божественно (ELO 3400 +), но это не LLM, у них своё многомерное представление позиции в пространстве признаков (факторов оценки), которое позволяет им "видеть" шахматы "такими, какие они есть".

[Mikhail_K]

Ruben в сообщении #1732476 писал(а):

Факт в том, что несмотря на огромную базу партий в открытом доступе LLM так и не научились в них играть. То есть, они играют где-то на 1000 ELO

Кажется, про 1000 у Вас устаревшие сведения.

И тут есть важный нюанс.
Я уже где-то говорил, что LLM без интернета и доступа к написанию кода сразу превращается из впечатляющего интеллекта в посредственность. Модель сама по себе, даже самая умная, мало что может. Ей нужны глаза и руки (интернет и код), возможность опереться на какую-то обратную связь в процессе размышления. Это не недостаток - если человека лишить всех органов чувств и возможности что-то делать и видеть результат, он, вероятно, тоже очень скоро перестанет различать правду и свои фантазии.
Но так же и с шахматами. LLM нужно дообучение и доступ к шахматному движку, чтобы хорошо играть. Возможно, к самостоятельно написанному, или к внешнему.
Как я понимаю, тут пока есть нерешённые проблемы, но успехи и перспективы есть тоже.

[mihaild]

Mikhail_K в сообщении #1732482 писал(а):

LLM нужно дообучение и доступ к шахматному движку, чтобы хорошо играть. Возможно, к самостоятельно написанному, или к внешнему.
Как я понимаю, тут пока есть нерешённые проблемы, но успехи и перспективы есть тоже

Только что проверил - с промптом "Lets play chess, you can use whatever you want, you need to play as strong as possible" Antigravity успешно скачивает stockfish и транслирует ходы из него. Думаю Claude Code / Codex тоже без проблем справятся.
К веб-интерфейсу, насколько я знаю, пока никто это не прикрутил, но это чисто продуктовый вопрос, никаких технических препятствий нет.

[Anton_Peplov]

mihaild в сообщении #1732487 писал(а):

Только что проверил - с промптом "Lets play chess, you can use whatever you want, you need to play as strong as possible" Antigravity успешно скачивает stockfish и транслирует ходы из него.

Есть анекдот о школьнике, успешно игравшем по переписке с двумя гроссмейстерами, против одного - белыми, против другого - черными.

Я тоже могу "сыграть" в шахматы хоть с гроссмейстером, выставив stockfish на десятый уровень. Или бегуна-чемпиона перегоню - на автомобиле. Но я ли это играю и я ли это бегу? Все-таки глаза и руки $\ne$ любое орудие, созданное человеком. И нужно различать доступ к движку, чтобы потренироваться, и доступ к движку, чтобы движок играл вместо тебя.

[mihaild]

Anton_Peplov в сообщении #1732494 писал(а):

И нужно различать доступ к движку, чтобы потренироваться, и доступ к движку, чтобы движок играл вместо тебя.

Тут вопрос, на каком этапе была речь о "доступе к движку".
Что текущая архитектура LLM не научится играть в шахматы - понятно. Прикрутить к ней чисто actor модель - довольно просто. Будет играть лучше любого человека, но хуже stockfish. Никто не делает, потому что низачем не нужно.
Сэмулировать еще и какой-то поиск в процессе размышлений - наверное можно, но вряд ли будет хорошо работать. И опять же, не очень понятно, зачем это нужно.

[Mikhail_K]

Кажется, что осмысленная задача для LLM, в которой нужно и умение играть, и умение говорить - это анализ партий и позиций с их словесным разбором.
То есть не просто сказать, какой ход лучший, а понятно объяснить, почему этот ход хорош, а какие-то другие плохи. И чтобы это было познавательно не только для новичков, но и для шахматистов высокого уровня. Как я понимаю, пока эта задача не решена.
Конечно, нужно дать LLM доступ к движку, чтобы LLM мог в процессе размышления подвигать фигуры, посмотреть что получается, получить от движка числовые оценки ходов и позиций и всё это проанализировать. Простой это задачу не сделает.

[mathpath]

Mikhail_K в сообщении #1732496 писал(а):

Конечно, нужно дать LLM доступ к движку, чтобы LLM мог в процессе размышления подвигать фигуры, посмотреть что получается, получить от движка числовые оценки ходов и позиций и всё это проанализировать. Простой это задачу не сделает.

Уже понаписана кучка клиентов к стокфишу
У стокфиша есть апи, который эти движки используют кто лучше кто похуже
Осталось только допилить клиента и в цепочку :
стокфиш - клиент стокфиша
добавить ии-шечку
Стокфиш дает дерево, вдереве есть все нужные циферки, осталось только эти циферки озвучить и выложить на блюдечке кожаному

[Sender]

Для шахмат есть модели и получше LLM, тот же AlphaZero. Хотя этот движок недоступен публично, энтузиасты делают опенсорсный Leela Chess Zero, и он играет против стокфиша с переменным успехом, и в любом случае уже давно на гроссмейстерском уровне.

[mihaild]

Mikhail_K в сообщении #1732496 писал(а):

То есть не просто сказать, какой ход лучший, а понятно объяснить, почему этот ход хорош, а какие-то другие плохи

Я не уверен, что это вообще возможно. Я очень плохо играю в шахматы (даже названий дебютов не знаю, и мат ферзём ставить не умею), но смотрел некоторое количество комментариев. И там активно говорят "engine move" - какое-то странное действие, которое на взгляд человека ничего не дает, но если просчитать дерево из еще 10 таких же ничего не дающих действий, то в итоге получается хорошая позиция.
Как объяснить, "почему" у $\pi$ тысячный знак вот такой?

[Anton_Peplov]

(Оффтоп)

mihaild в сообщении #1732527 писал(а):

даже названий дебютов не знаю, и мат ферзём ставить не умею

Это сильно разные уровни. Мат ферзем и королем голому королю (если Вы имели в виду его) - это детский сад. Обычно его объясняют вместе с правилами, кто как ходит. Даже странно, что Вы его ставить не умеете, если вообще когда-то играли. Названия дебютов разучивают уже при систематической подготовке - в шахматной школе или по книжке. Я, например, тоже их не знаю, хотя в юности наиграл, наверное, тысячи партий.

[mathpath]

Стокфиш - это самый популярный на сегодняшний момент движок.
У него гибридная архитектура.
Классический алгоритм поиска (перебор вариантов) остался, теперь он работает в связке с нейронной сетью для оценки позиции.
Это называется **NNUE** (Efficiently Updatable Neural Network).

Эту сеть, которая является математической моделью, состоящей из миллионов нейронов и связей между ними.
Эта сеть встроена прямо в компьютерную программу.
Она была обучена на сотнях миллионов шахматных позиций с известным результатом.
Она не запомнила их, а выучила закономерности, которые связывают расположение фигур с итоговым результатом партии.
Во время игры, когда движок перебирает варианты, он для каждой позиции обращается не к жесткой формуле, а к этой обученной нейросети.
Сеть за доли секунды выдает оценку позиции (например, +1.5 в пользу белых), которая намного точнее, чем у классических методов.
Сеть заменила голову движка — ту часть, которая отвечает за стратегическое понимание, в то время как алгоритмы поиска (например, альфа-бета отсечение) остались его ногами, отвечающими за перебор вариантов в глубину.

[Mihaylo]

mihaild в сообщении #1732495 писал(а):

Никто не делает, потому что низачем не нужно.

Могу предположить, что при обучении LLM записи шахматных партий стараются не использовать в большом количестве, чтобы не расходовать ресурсы впустую и не снижать качество модели.

[Ruben]

Mikhail_K в сообщении #1732482 писал(а):

Кажется, про 1000 у Вас устаревшие сведения.

Если и так, то думаю, я не сильно ошибаюсь. Сейчас сыграл с DeepSeek. Неплохо держался 10 ходов - что не удивительно, дебютная теория. Я ожидал, что он будет держаться ещё хотя бы ходов 5, но на 11-м ходу он оставляет под боем слона. Когда же я этого слона бью, он искренне считает, что я нарушаю правила. Иначе говоря, он "потерял доску".

Цитата:

И тут есть важный нюанс.
Я уже где-то говорил, что LLM без интернета и доступа к написанию кода сразу превращается из впечатляющего интеллекта в посредственность. Модель сама по себе, даже самая умная, мало что может. Ей нужны глаза и руки (интернет и код), возможность опереться на какую-то обратную связь в процессе размышления. Это не недостаток - если человека лишить всех органов чувств и возможности что-то делать и видеть результат, он, вероятно, тоже очень скоро перестанет различать правду и свои фантазии.
Но так же и с шахматами.

Глаза и руки - ради бога) В конце-концов, в Стокфиш и ему подобные движки заложены, кроме моделей доски, фигур, алгоритма минимакс, ещё дебютная книга, эндшпильные таблицы Налимова и бог знает что ещё. Так что, доступ к инфе - вполне законное требование, я считаю.

Цитата:

LLM нужно дообучение

очевидно, раз модель плохо учится этой игре на "голой" открытой информации.

Цитата:

и доступ к шахматному движку, чтобы хорошо играть. Возможно, к самостоятельно написанному, или к внешнему.

А вот тут, простите, нет - это уже слишком )
Конечно, можно ответы, полученные LLM от Stoсkfish присуждать как "добытые LLM" или "полученные от LLM". Я не сторонник насильственно ограниченных определений - формально можно любые ответы, полученные от LLM считать её ответами.

Однако, почему бы тогда не называть Телеграмм-бота , который пересылает запросы пользователя на сервер Chat GPT и от него назад к пользователю (помните, таких в одно время стало много) - ещё одной умной LLM? Почему бы не считать, что мессенджер Телеграмм обрёл машинный разум? Однако, нет - так никто не считает. Но тут даже в другом дело. Напомню, что эта тема была отделена от «ИИ и перспективы математики и математического образования», которая, в свою очередь, была отделена от «Проверка способности LLM решать математические задачи» и унаследовала контекст последней. То есть, нам интересно, если очень глобально, чем может быть полезна модель. Это очень общий вопрос, отвечая на который мы поднимаем много других не менее интересных, но более частных вопросов: может ли модель генерировать оригинальные решения, которые не были опубликованы? Если да, то какой процент "оригинальности" ? Может ли модель проверять решения/рассуждения, которые (вероятно) не повторяют уже опубликованных работ? Может ли модель быть полезна в образовании? Если да, то каким образом и в каком качестве ? Может ли модель выдвигать полезные новые научные гипотезы? Создавать новые и небезынтересные математические объекты - алгебраические, например, структуры? А новые разделы математики? Это всё очень интересные вопросы, но они так или иначе проистекают от возможной полезности. IMHO разумеется. И если бы нейронка в теме «Проверка способности LLM решать математические задачи» просто бы делегировала задачу (даже без предобработки) в некую вымышленную систему компьютерной математики (типа "Вольфрам Альфа на стероидах") и пересылала бы от неё готовые ответы назад в чат к пользователю, то никому не пришло бы даже в голову создавать тему о проверке способностей LLM решать математические задачи. Обсуждали непосредственно бы "Вольфрам Альфа на стероидах". То есть, это как тривиальное решение - оно верно, но не интересно.

Конечно, сам факт того, что модель может подключаться к различным внешним ресурсам для достижения поставленной задачи - замечателен, это делает её в перспективе очень мощной и удобной мультипрофильной платформой. Особенно когда появится GUI и прочие плюшки. Но нам, всё-таки, интересна другая полезность - связанная не с комфортом, а с её когнитивными способностями. А залезть на сторонний сайт (личес) и включить стокфиш, ну, человек как-нибудь справится.

[mihaild]

Ruben в сообщении #1733047 писал(а):

Однако, почему бы тогда не называть Телеграмм-бота , который пересылает запросы пользователя на сервер Chat GPT и от него назад к пользователю (помните, таких в одно время стало много) - ещё одной умной LLM? Почему бы не считать, что мессенджер Телеграмм обрёл машинный разум?

Тут вопрос в том, где проводим границу, и какие инструменты предоставляем.
В самом базовом виде LLM - это просто функция из последовательностей токенов в распределения на токенах. Говорить о способностях такой системы как-то странно, поэтому добавляем как минимум процедуру сэмплирования, и генерации последовательностей токенов, и еще принятия решения, что вот этот контрольный токен означает остановку генерации.
Это минимальная система, в которой вопрос имеет смысл. Но дальше можно делать процедуру генерации более сложной. Например, интерпретировать некоторые последовательности токенов как "вызов функции", и после него запускать какой-то код, и на следующей итерации подавать на вход еще и результат этого вызова. И дальше вопрос - какие функции мы разрешаем так вызывать.
Если мы разрешаем, например, запускать python на подключенной к интернету машине - то эта система таки скачает и запустит stockfish. Если Вы предлагаете это запретить, то нужно сказать, в каком режиме мы тестируем.

[Ruben]

mihaild в сообщении #1733052 писал(а):

Если мы разрешаем, например, запускать python на подключенной к интернету машине - то эта система таки скачает и запустит stockfish. Если Вы предлагаете это запретить, то нужно сказать, в каком режиме мы тестируем.

Я предлагаю запретить ? ) Да я самый демократичный демократ в этом смысле ) Я за широкое понимание постановок задач, но при этом должны быть какие-то нетривиальны результаты. Хорошо, чтобы не вводить искусственных ограничений, а потом не путаться в том, что мы хотели сделать и что вместо этого сделали, мы можем дать модели вообще всё. То есть, буквально все ресурсы, которыми владеет человек. Любые шахматные движки, дебютные книги, база из 30 миллионов записей игр, упорядоченных по рейтингу игроков, таблицы эндшпильных позиций, отдельная база партий, сыгранных компьютерными движками, библиотеки распознанных сканов шахматных учебников и задачников. Мы дадим ей всё, что у нас есть, но что мы получим взамен ? На сегодняшний день ничего лучше, чем точную копию Stockfish. Разве это кому-нибудь интересно? Нет. Человек ждёт от AI и вообще, от экспертной системы результатов, отличных от тех (в сторону "плюс"), которые он мог бы получить за сравнимое время без участия рассматриваемой экспертной системы.
Если речь идёт о шахматах (как бы пытаясь развивать эту отделившуюся тему), то человек в перспективе хотел бы:
1. Объяснения идей, которые следуют за теми или иными ходами. И чтобы глубина объяснения исходила из силы ученика. Слабому объяснять на уровне базовых концепций, сильному - на глубоком уровне.
2. Оценка позиции. Стокфиш играет как бог, он прекрасно оценивает позицию, но он глух и нем, он не объясняет почему оценка такая, какая она есть.

Её объяснения по пунктам 1 и 2 должны быть интерпретацией внутреннего машинного представления игры на язык, понятный шахматисту. Чтобы сделать такую интерпретацию, нужно обладать не просто машинной практической силой игры, но иметь "переводной словарик" с понимания Стокфиша на шахматно-человеческий. Так как такого словарика нет и взяться ему неоткуда, модель должна сама генерировать нужные объяснения, а значит и "понимать" (или скорее угадывать) игру. В математике, (возвращаясь к материнской теме) с этим LLM уже с переменным успехом справляется.

3. Возможность играть с игроком, чуть сильнее себя, но играющим "как человек". Проблема регулировки уровня силы движков в том, что сила их игры меняется неравномерно. То есть, сила каждого хода скачет: часть ходов очень сильная, часть очень слабая, а в среднем получаем "голубцы" )
4. Возможность симулировать игрока разных стилей игры. Например, известный супергроссмейстер Гата Камский в интервью рассказывал, что в юности он плохо играл "острые" позиции, в которых много счёта и динамики (тогда как, например, Каспаров их чувствовал прекрасно). Что сделал его тренер? Он поговорил с отцом мальчика и они пригласили одного игрока, который обладал необходимыми качествами игры. Играя с ним Гата приобрёл недостающие навыки.
5. Анализ слабых мест игры ученика и подбор/генерация соответствующих его слабым местам и его уровню: задач, упражнений, литературы, проведению тренировочных партий, начиная с каких-то позиций, призванных устранить их непонимание у ученика.
6. Необязательная с точки зрения развития шахматных навыков, но весьма полезная с точки зрения шахматной культуры и распространения шахмат фишка: имитация стиля игры определённого игрока по той базе партий, которые с ним мы имеем. Дело в том, что споры о том, какой шахматист "круче" в шахматном мире не менее холиварные, чем споры о том, кто из ученых больший след оставил в науке. Пиковый Карслен (2013, 2018) считается сильнейшим из белковых шахматистов за всю историю.Но пиковые Фишер (1970-1972) и Каспаров (1999 - 2003) - это чудовищно сильные игроки, опередившие время и они заметно выделяются на фоне остальных чемпионов мира. Многие хотели бы увидеть их перекрестные матчи. К сожалению, просто анализ игры не выдаёт уровня - сила хода сильно зависит от сопротивляемости соперника, а т.к. соперников этим трём не было, все трое выглядят крайне сильно. Это уже прошлое, но суть явления от этого не меняется: примерно каждые 25 лет будет рождаться гений, который заинтересуется этой игрой. Если нейронка смогла бы скопировать его стиль и силу игры и запечатлеть её "в веках", мы могли бы сравнивать великих чемпионов из разных поколений.

Я думаю, таких задач можно придумать ещё с десяток, была бы фантазия, но суть в том, что если мы в руки модели даём всё, то и ждём от неё взамен чего-то интересного, а не тривиального повторения уже достигнутых результатов.

Напомню, что в математике результаты использования LLM несколько интереснее и соответствующая тема (про возможности LLM решать математические задачи) это подтверждает. Возможно, дело в том, что математика изначально находилась в более трудном положении: у неё не было своего Стокфиша - своей интерактивной и умной системы компьютерной математики и на фоне полного отсутствия таковой, результаты LLM - это хлеб.