Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




На страницу Пред.  1, 2
 Re: LLM и шахматы
Аватара пользователя
Ruben в сообщении #1733081 писал(а):
Проблема регулировки уровня силы движков в том, что сила их игры меняется неравномерно.
Мой небогатый опыт игры со Stockfish говорит вот что. На "слабых" уровнях он банально зевает фигуры, легко отдает ладью за слона, отдает пешки даром и т.д. Это совсем не похоже на игру человека, потому что даже зеленый новичок быстро научается не делать таких глупостей в одноходовках. После таких ляпов я его обыгрываю за счет материального перевеса. На "сильных" он перестает делать такие явные глупости, но при этом сразу начинает играть так, что разбивает меня в пух и прах. Уровня, на котором я мог бы у него поучиться, я так и не нашел. Либо слишком грубые ляпы, которые сразу обрушивают ему всю партию, либо слишком сильная игра, когда уже я не понимаю, что сделал не так и как сделать лучше.

1 Полезно / согласиеworm2
 Re: LLM и шахматы
Если порыться, можно найти чуть ли не десяток MCP к Stockfish. Например:
https://www.reddit.com/r/mcp/comments/1 ... aude_deep/
На самом деле, чтобы шахматный движок не просто позволял играть с ним, а приносил реальную пользу для шахматиста, ему требуется оболочка типа Chessbase или Arena - она может анализировать партии, рыться в базе, обобщать информацию. LLM может заниматься примерно тем же, вызывая Stockfish для оценки позиции и получения оптимального варианта.

 Re: LLM и шахматы
На личессе и ческоме можно играть с ботами, которые условно могут иметь самый разный уровень - от перворазрядника до гроссмейстера
И там, и там за бота играет стокфиш
В обоих движках есть инструменты, с помощью которого можно настраивать уровень игры стокфиша
У личесса даже код открыт, и там наверняка можно посмотреть, как они это делают

Правда, я у своего локального стокфиша - который кстати тоже open source - пытался сделать кастомный уровень, но у меня пока не получается - он всегда играет на максималках

 Re: LLM и шахматы
Аватара пользователя
Ruben в сообщении #1733081 писал(а):
Мы дадим ей всё, что у нас есть, но что мы получим взамен ? На сегодняшний день ничего лучше, чем точную копию Stockfish.
Я не очень сильно удивлюсь, если лучшие модели смогут сделать движок сильнее Stockfish.
Ruben в сообщении #1733081 писал(а):
Чтобы сделать такую интерпретацию, нужно обладать не просто машинной практической силой игры, но иметь "переводной словарик" с понимания Стокфиша на шахматно-человеческий. Так как такого словарика нет и взяться ему неоткуда, модель должна сама генерировать нужные объяснения, а значит и "понимать" (или скорее угадывать) игру. В математике, (возвращаясь к материнской теме) с этим LLM уже с переменным успехом справляется.
Мне неизвестны примеры, чтобы LLM объяснила откуда-то взявшееся формальное доказательство так, чтобы людям было понятно.
В шахматах мне совсем не очевидно, почему понятное людям объяснение вообще обязано существовать.
В математике, в общем-то, тоже. Я не очень сильно удивлюсь, если через какое-то время появится сгенерированное проходящую проверку в Lean доказательство чего-то интересного, а при запросе "объясни, что тут происходит" модель будет выдавать бред.

Для остальных Ваших пунктов - игра с нужным уровнем, в нужном стиле, с обучением конкретным деталям - совершенно непонятно, зачем нужна LLM. Интуитивно кажется, что специализированная архитектура для этого будет гораздо лучше.

 Re: LLM и шахматы
На мой взгляд, в шахматах больше нелинейности, чем в языках (в которых языковые модели сильны). Из этого я делаю вывод, что LM трудно в шахматы играть.

 Re: LLM и шахматы
Anton_Peplov в сообщении #1733086 писал(а):
На "слабых" уровнях он банально зевает фигуры, легко отдает ладью за слона, отдает пешки даром и т.д. Это совсем не похоже на игру человека, потому что даже зеленый новичок быстро научается не делать таких глупостей в одноходовках.
Именно так. Т.е. даже слабая игра не похожа на "слабую игру человека".

Цитата:
На "сильных" он перестает делать такие явные глупости, но при этом сразу начинает играть так, что разбивает меня в пух и прах.
Это то, о чем я и говорю. Просто вы не успеваете дойти до момента в игре, когда он начнёт "зевать". На уровне 5 или 6 он сперва играет сильно и если вы продержитесь определённое время, начнёт "подзёвывать". Это как ШИМ управление в технике - то густо, то пусто, но на инерционном потребителе получаем среднеинтегральное. Только мы чувствуем эти скачки.

tolstopuz в сообщении #1733088 писал(а):
На самом деле, чтобы шахматный движок не просто позволял играть с ним, а приносил реальную пользу для шахматиста, ему требуется оболочка типа Chessbase или Arena - она может анализировать партии, рыться в базе, обобщать информацию. LLM может заниматься примерно тем же, вызывая Stockfish для оценки позиции и получения оптимального варианта.
Разумеется, если движок может правильно оценить позицию и предложить лучший ход (лучший ход - это ход, после которого оценка позиции не падает), то его можно использовать для поиска лучших ходов и поиска ошибок. И этим пользуются уже лет 20. Но в математике нам часто хочется больше, чем ответ в конце задачника. Люди поэтому пишут на форум в ППР и другие разделы, потому что сухого ответа часто недостаточно.

mihaild в сообщении #1733147 писал(а):
Я не очень сильно удивлюсь, если лучшие модели смогут сделать движок сильнее Stockfish.
На самом деле, одна нейронка уже сделала Stockfish сильнее. В 2018 году после победы специальной шахматной нейронки AlphaZero против тогдашнего Stockfish 8, в двух матчах - сперва без дебютной книги у последнего, потом и с ней. После этого громкого поражения произошло два события. Появилась шахматная нейронка Leela Chess и в Stockfish добавили нейронный модуль, который сделал его сильнее в спокойных позициях, где счёт плохо работает. ИМХО, движки с точки зрения человека сейчас настолько сильны, что делать их ещё сильнее не первостепенная задача. Недавно был вообще восторг. Нейронку Leela Chess научили играть более агрессивно именно против человека в ситуации, когда она играет с форой (без какой-либо фигуры). Stockfish делает всегда приближенно сильнейших ход. Но сильнейший ход делается на основании предположения, что оппонент тоже будет отвечать сильнейшим образом, а это не всегда верно. Люди ошибаются. Так вот Leela Chess фактически научили блефовать - играть суперагрессивно в расчёте на зевок и это сработало. В сети куча стримов, где супергроссмейстеры экстракласса, такие как Хикару Накамура и Фабиано Каруана не могут даже сделать ничью, имея фору в ладью! Первое время это выглядело просто как мистика. Так что, машины сейчас сильнее человека на порядки и делать их ещё сильнее - это уже вопрос просто научного интереса. Реально интересно, чтобы именно LLM "постигла" эту игру и начала о ней говорить.

Цитата:
Мне неизвестны примеры, чтобы LLM объяснила откуда-то взявшееся формальное доказательство так, чтобы людям было понятно.
Но ведь при попытке доказательства она делит его на шаги и их расписывает ?

Цитата:
В шахматах мне совсем не очевидно, почему понятное людям объяснение вообще обязано существовать.
Сложные вещи нельзя объяснить просто и нигде не соврать, но можно хотя бы начать о них рассказывать )) То есть, не обязательно вываливать всё и сразу - можно же найти компромисс. Именно так и строится образовательный процесс.

Цитата:
Для остальных Ваших пунктов - игра с нужным уровнем, в нужном стиле, с обучением конкретным деталям - совершенно непонятно, зачем нужна LLM. Интуитивно кажется, что специализированная архитектура для этого будет гораздо лучше.
В общем-то да, именно LLM здесь совершенно не нужна. Просто учитывайте ещё контекст темы: я изначально и не собирался её создавать и требовать от LLM, чтобы она всё это умела) Я к слову сказал, что LLM так и на научились играть в эту игру. И уже на возражение, мол, она уже играет не хуже Stockfish - достаточно попросить её с ним связаться, я возразил, что это не интересно, а интересно другое. А так-то да, этот список - не манифест требований к LLM.

 Re: LLM и шахматы
Аватара пользователя
Ruben в сообщении #1733168 писал(а):
В сети куча стримов, где супергроссмейстеры экстракласса, такие как Хикару Накамура и Фабиано Каруана не могут даже сделать ничью, имея фору в ладью!

Вон оно чо! А я-то думал, это со мной что-то не так.
В последнее время увлёкся игрой на lichess против Stockfish самого высокого уровня сложности (8-го) с форой в ладью (играю исключительно чёрными, и почти всегда Stockfish без ладьи h1).
У меня один раз даже получилось (где-то один раз из десяти), когда Stockfish был без ладьи a1. Но когда он без h1 — неизменно проигрываю. Причём свои грубые зевки я всегда беру назад, иногда даже два хода подряд. Фигушки, он меня всё равно тактически (впрочем, тут, может быть, уместно сказать даже "стратегически") задавливает, пытаюсь играть надёжно — захватывает всю доску и запирает мои фигуры, пытаюсь играть смело — легко ловит в западню. Иногда даже получается дожить до эндшпиля, где у меня максимум лишняя фигура за пешку, но его пешки близки к превращению, и король их поддерживает, а у меня — ну вы поняли.
При этом LLM меня наперебой уверяют, что для победы в этом случае достаточно рейтинга Эло 1200 (я примерно себя оцениваю так, может, даже повыше), а для мастеров это и вовсе лёгкая прогулка. У них даже есть куча рецептов, которые я примерно и сам знаю. Один предложил: "хочешь, научу тебя на конкретном примере, ну-ка, как он там сходил?". Конец немного предсказуем: пошёл в кавалерийскую атаку и отдал фигуру, думая, что она защищена.
Когда движок чёрными с такой форой играет сам против себя, я заметил, что он ходов тридцать сидит в обороне, виртуозно отбивая яростные атаки белых и только потом сам начинает поддавливать. Я так не умею, разумеется.

 Re: LLM и шахматы
worm2 в сообщении #1733359 писал(а):
Вон оно чо! А я-то думал, это со мной что-то не так.
В последнее время увлёкся игрой на lichess против Stockfish самого высокого уровня сложности (8-го) с форой в ладью (играю исключительно чёрными, и почти всегда Stockfish без ладьи h1).


У меня другая забава на личессе - я играю своим локальным стокфишем против его стокфиша 8-го уровня, причем в блиц 3+2
И мой стокфиш постоянно переигрывает соперника, получает практически всегда выигрышную позицию, но проигрывает по времени, и где-то после 40-го хода у меня остается меньше минуты, а у него на часах 3 минуты
И тогда мне нужно играть самому практически на рефлексе почти не думая и добивать полученное преимущество, потому что у меня флажок падает, а там как карта ляжет
В среднем надо успеть сделать примерно в районе 70-80 ходов, чтобы поставить ему мат, но получается такое через раз где-то
В режиме 3+3 у него уже нет шансов
В режиме 3+0 уже у меня нет шансов - я просто не успеваю переставлять фигуры на 2-х досках

 Re: LLM и шахматы
worm2 в сообщении #1733359 писал(а):
Фигушки, он меня всё равно тактически (впрочем, тут, может быть, уместно сказать даже "стратегически") задавливает

Да, это можно сказать стратегическое задавливание. Можете поставить любую вашу игру (и не только с ним, а с любым игроком) на анализ - тем же стокфишем и посмотрите как менялась оценка вашей позиции. На ходах, где оценка резко уменьшается - это ваши зевки или грубые стратегические ошибки. Как правило, каждым ходом вы ухудшаете свою позицию и выравниваете оценку. Бывает и другое. Вы сделали ход, ФОРМАЛЬНО он ещё не теряет перевес (до этого хода оценка была +5 и осталась +5). Но до этого хода у вас было грубо говоря 6 продолжений, которые не меняли оценку позиции, а после данного хода и (правильного) ответа соперника у вас есть только 1 продолжение, чтобы эту оценку сохранить. То есть, предыдущим ходом вы формально позицию не ухудшили, но сильно её усложнили, а это тоже плохо.

Цитата:
пытаюсь играть надёжно — захватывает всю доску и запирает мои фигуры, пытаюсь играть смело — легко ловит в западню.
Нужно играть надёжно, но не пассивно. Это общие слова, но это лучшее, что можно посоветовать без привязки к конкретной позиции ))

Цитата:
Иногда даже получается дожить до эндшпиля, где у меня максимум лишняя фигура за пешку, но его пешки близки к превращению, и король их поддерживает, а у меня — ну вы поняли.
Есть распространенное мнение, можно сказать "рецепт", что для реализации материального перевеса непременно нужно идти в размен, приближая эндшпиль. Тогда, как известно, у соперника остаётся мало ресурсов на контригру, на создание динамики, где легко зевнуть. Так вот, это в целом правда, но я поголовно наблюдаю, как люди буквально в любой позиции пытаются идти в размен, а это неправильно. Если в результате размена вы меняете свою активную и хорошо расположенную фигуру на пассивную фигуру соперника, то ваша позиция ухудшается. Да, вы приближаетесь к спасительному эндшпилю, но, во-первых, можете до него не дожить с таким темпом, а во-вторых, попав в долгожданный эндшпиль вы можете обнаружить, что все ваши фигуры стоят так плохо, а фигуры соперника настолько активны, что эта активность компенсирует разницу в материале. Поэтому не меняйтесь бездумно.

Цитата:
При этом LLM меня наперебой уверяют, что для победы в этом случае достаточно рейтинга Эло 1200
Это, конечно же, неправда. Гроссмейстер и известный шахматный комментатор С. Ю. Шипов играя с форой в коня со Stockfish на том же Личес на уровне 8, пару раз бывало, что не выигрывал его. А это человек, извините, у которого в лучшие годы было 2650 пунктов Эло. У моего племянника где-то 1600 и в блиц я его выигрывал, давая фору ладью, а я не Stockfish )) Короче, чтобы выигрывать с форой в ладью у Стокфиша - если в классику нужно хотя бы 1800 я думаю, а если в блиц, то где-то 2100 +. В блиц машина играет сильнее - нервов нет, время расходует с машинной точностью и т.д.

Цитата:
а для мастеров это и вовсе лёгкая прогулка.
Разумеется, но мастер имеет рейтинг далеко за 1200. Если брать FIDE мастера (FM)- это 2300+, если мастера международника (IM) - это 2400. Как бы разница между ними и любителем огромная. Вообще, после 1900 каждые следующие 100 пунктов рейтинга обычно даются с большим трудом)

Цитата:
У них даже есть куча рецептов, которые я примерно и сам знаю. Один предложил: "хочешь, научу тебя на конкретном примере, ну-ка, как он там сходил?".
"Нет царского пути в геометрии" )) Нет тут никаких "рецептов". Ну, разве что, такие общие вещи:
1. Не зеваем материал. После каждого хода соперника думаем, что он хочет, какие у него могут быть идеи.
2. Не создаём слабостей. Всех вариантов мы не пересчитаем, поэтому превентивно не создаём слабостей. В первую очередь это касается полей: пешечная структура должна быть максимально цельной: чем на меньшее число связных областей её можно разбить, тем в общем случае лучше. Пешки должны быть расположены так, чтобы не создавать полей вторжения для соперника на своей половине доски.
3. Фигуры располагаем на "хорошие позиции". Фигуры не просто "выводим куда-то", а располагаем их так, чтобы они не были объектом атаки для фигур соперника и сами по возможности выполняли полезную задачу: атаковали слабые поля соперника, защищали свои фигуры и поля вторжения, боролись за центр и т.д.
4. Фигуры должны работать "в команде". Они могут быть расположены - каждая из них - вроде неплохо, но их работа взаимно не согласована. Тогда говорят, "фигуры раскоординированы" или ещё говорят "расположены негармонично". Но "негармонично" это когда хотят подчеркнуть их работу в "статике" (фигурально выражаясь), а "раскоординированы" - это именно работа в динамике. Это означает, что любой "замут", любая "заваруха" и этот факт даст о себе знать. Стокфиш очень хорошо координирует фигуры.
5. Если видим размен фигур, который не ухудшает нашу позицию - проводим его.
и т.д.
Как видите, рецепт победы - это просто хорошая игра ))

 Re: LLM и шахматы
Аватара пользователя
Ruben, спасибо за рецепт :)
А вы не хотели бы сами показать мастер-класс? :)
У меня формат такой: Стокфиш белыми, без ладьи h1; без контроля времени (обычно электронный монстр думает не более 3 секунд, там, наверное, настройка какая-то есть, не разбирался, всё по умолчанию); человек может брать один или даже два хода назад, если видит, что грубо ошибся.
В таком максимально комфортном формате у меня ничего не получается, но хотелось бы посмотреть, как у других. Я так, конечно, ничему не научусь, но хоть удовольствие получу от унижения железяки :)

Или, может быть, хотите посмотреть и покомментировать, как я её унижаю на седьмом уровне (видно, что он гораздо слабее, на восьмом бы меня в пух и прах разнёс, хотя я и седьмому уровню в 8 случаях из 10 проигрываю): https://lichess.org/Vm8gxqhg/black (в конце я ставлю мат пешкой, а король наблюдает за этим из бинокля, хотел именно так отмстить :mrgreen: ).

 [ Сообщений: 25 ]  На страницу Пред.  1, 2


Соглашение о конфиденциальности | Общие правила

Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group