Ограничения формальных систем, описывающих внешний мир

[MoonWatcher]

Вопрос про математику, но более общего характера. Существует ли, помимо теорем Гёделя, какая-нибудь теорема про ограничения, присущие формальным системам при описании внешнего мира? Конкретно меня интересует вопрос теоретического обоснования возможностей/ограничений по пониманию закономерностей внешнего мира путем извлечения закономерностей из формальной системы, которая его описывает. В качестве примера такой системы возьмем текстовый дата-сет LLM. Из этого текста можно извлечь статистические закономерности о соотношении слов друг с другом - по этому принципу как раз работает ChatGPT. Допустим, что текст описывает мир максимально полно, релевантно и непротиворечиво. Допустим, что мы извлекли из этого текста все возможные статистические закономерности. Означает ли это, что при помощи этих закономерностей можно обнаружить все закономерности мира, который смоделирован этой системой (нашим идеальным дата-сетом) - настолько полно, насколько полно описывает мир наша система (текстовый дата-сет)?

[Dicson]

Почему мы считаем, что дважды два — четыре? Потому что такой ответ повышает качество жизни. Человек существует в природной и культурной среде, а своё поведение в конечном итоге оценивает со стороны того, повышает оно качество жизни или нет. Искусственный интеллект существует «внутри» опыта людей, а своё поведение «оценивает» со стороны того, нравится оно человеку или нет. Это принципиальная разница, так как сложность среды, в которой существует человек, качественно сложнее среды, в которой существует ИИ. Соответственно сложность поведения ИИ может только бесконечно приближаться к сложности поведения человека, а сложность поведения человека к сложности условий среды.

Тогда надо бы создать ИИ посложнее, выпустить его на волю, и пусть он тоже существует в сложной среде, обучаясь и оценивая свои знания по отношению к… По отношению к чему тогда ИИ оценивать свои знания, если нет человека, который подскажет, настроит и выкинет лишнее?

Человек оценивает все свои знания в конечном итоге по отношению к тому, как они способствуют самосохранению и размножению (что в комплексе и есть качество жизни). Каковые стремления характеризуют жизнь ещё на физическом уровне (самосохранение — это гомеостаз, а размножение/смерть — это тот же гомеостаз, только на уровне систем организмов или биосферы в целом, как способ обновления и развития таких систем).

Но ИИ физически принципиально отличается от биологических систем, гомеостаз ИИ не прикрутишь. Все ИИ (программное или аппаратное их воплощение) — это замкнутые и равновесные системы, энтропия в них исключительно только растёт, поэтому без нас они в среде только разрушаются, движутся в сторону ещё большего равновесия, желая полностью раствориться в среде. А в биологических системах энтропия, наоборот, уменьшается, так как биологические системы — это открытые термодинамически неравновесные системы, из-за интенсивного обмена со средой они работают против равновесия. Как следствие, в противоположность росту энтропии в замкнутых системах, в открытых системах, наоборот, естественны противоположные процессы — упорядочение и усложнение порядка и гомеостаз.

В итоге мы сами собой эволюционируем, обучаемся и создаём новое, сами собой «понимая» что хорошо, а что плохо, а ИИ без нас вымрет, ибо ему всё равно на всё.

[Mihaylo]

MoonWatcher
Есть такой закон. Экономический. Никто вам не даст денег, чтобы создать бесполезную машину. Людям жрать нечего, а вы тут удумали, понимаешь...

[mihaild]

MoonWatcher в сообщении #1580649 писал(а):

Означает ли это, что при помощи этих закономерностей можно обнаружить все закономерности мира, который смоделирован этой системой (нашим идеальным дата-сетом) - настолько полно, насколько полно описывает мир наша система (текстовый дата-сет)?

Тут можно уточнять очень многими способами, при части утверждение будет тривиально верно, при части - тривиально неверно. Можно ли уточнить так, чтобы получилось что-то нетривиальное - непонятно.

В целом известно, что байесианство поверх системы, содержащей арифметику, невычислимо. Поверх исчисления высказываний вычислимо, но NP-трудно.

[Sender]

mihaild в сообщении #1580695 писал(а):

В целом известно, что байесианство поверх системы, содержащей арифметику, невычислимо. Поверх исчисления высказываний вычислимо, но NP-трудно.

О, это интересно. Не подскажете, где можно об этом почитать?

[mihaild]

Sender в сообщении #1580702 писал(а):

Не подскажете, где можно об этом почитать?

Paul Christiano, "Non-Omniscience, Probabilistic Inference, and Metamathematics".
Но это довольно тривиально: если бы байесианство поверх арифметики было вычислимо, то мы, добавляя по одному утверждение, если его вероятность вместе с уже добавленными больше нуля, могли бы получить полную непротиворечивую теорию.
(у этого есть интересная болтологическая интерпретация: множество утверждений, которые "известны" вычислимому агенту, не замкнуто относительно логического вывода)

[Sender]

mihaild, спасибо.

[worm2]

Вопрос можно очень сильно сузить, но при этом наглядно продемонстрировать один из его аспектов.
Допустим, мы обучаем нейронную сеть одному арифметическому действию "деление".
И скармливаем ей всевозможные примеры:
"2/2" = "1"
"4/7" = "0.571..."
"3498.273/2458.739" = "1.423..."
и т.д.
Какая из современных (или перспективных) архитектур нейронных сетей (разумеется, не имеющих в своём составе встроенных средств для арифметики) годится, чтобы через разумное число итераций она научилась любой пример на деление (скажем, не длиннее 30 символов) правильно решать (с приемлемой погрешностью)?
В принципе, задача довольно простая по сравнению с поставленным вопросом, тем более, что здесь совершенно не нужен учитель — человек.

[MoonWatcher]

worm2
Не исключено, что на это способна даже LLM (большая лингвистическая модель) - судя по погрешностям в некоторых вычислениях чат-бота ChatGPT, калькулятор к нему не прикрутили. Но возможно прикрутили что-то другое. Мне попадались ошибки на уровне как десятых долей, так и миллионных (или около того). Насколько я понимаю, чистая LLM (которая меня больше всего интересует в контексте заданного вопроса ) находит закономерности не в вычислениях, а в словах. Хотя как знать - может ваш пример тоже про статистические закономерности слов/символов.

-- 08.02.2023, 16:33 --

mihaild в сообщении #1580695 писал(а):

В целом известно, что байесианство поверх системы, содержащей арифметику, невычислимо. Поверх исчисления высказываний вычислимо, но NP-трудно.

Байесианство - это построение байесовской модели? Как это утверждение (про арифметику) соотносится с описанием нашего мира на естественном языке?

[Sonic86]

worm2 в сообщении #1580724 писал(а):

Какая из современных (или перспективных) архитектур нейронных сетей (разумеется, не имеющих в своём составе встроенных средств для арифметики) годится, чтобы через разумное число итераций она научилась любой пример на деление (скажем, не длиннее 30 символов) правильно решать (с приемлемой погрешностью)?

Я бы немного усложнил: нейросетки в NLP-задачах обучаются как раз на текстах, где описано деление именно символом "/" и именно в 10-ичной системе счисления с цифрами 0,1,...,9. Т.е., чтобы быть честным, желательно символы $\{\backslash, 0, 1, ..., 9, . , =\}$ заменить на какие-нибудь рандомные символы. В этом случае нейросеть может ниасилить задачу. Хотя может она и в исходной постановке ее ниасилит.
В общем

(баянистый анекдот про мужиков и бензопилу)

Купили как-то суровым сибирским лесорубам японскую бензопилу.

Собрались в кружок лесорубы, решили ее испытать. Завели, подсунули ей деревце.
— Вжик! — сказала японская пила.
— У, xyz! — сказали лесорубы.

Подсунули ей деревце потолще.
— Вж-ж-жик! — сказала пила.
— У, xyz! — сказали лесорубы.

Подсунули ей толстенный кедр.
— Вж-ж-ж-ж-ж-ж-ж-жик! — сказала пила.
— Ууух, xyz! — сказали лесорубы.

Подсунули ей железный лом.
— ХР-Р-Р-Р-Р-Р-Р-Р-Р-Р-Р-Р! — сказала пила.
— Ага, xyz! — укоризненно сказали суровые сибирские лесорубы. И ушли рубить лес топорами.

[MoonWatcher]

mihaild в сообщении #1580695 писал(а):

В целом известно, что байесианство поверх системы, содержащей арифметику, невычислимо. Поверх исчисления высказываний вычислимо, но NP-трудно.

Вдогонку: математика, как известно, самое слабое место LLM - поэтому к ним предлагают прикрутить Codex, Wolfram|Alpha и т.д. Соответственно в контексте моего вопроса интересно: можно ли через обнаружение статистических словарных закономерностей в мильоне учебников, задачников и т.д. по математике (пусть они будут с переводом всех тамошних формул и уравнений на ЕЯ) обнаружить описанные там математические закономерности?

[mihaild]

Я ожидаю, что с задачей worm2 справится просто feed-forward слоев на 10. Тут три задачи - перевести строчку в число, поделить и перевести число обратно в строчку. Если я не обсчитался, то первое делается тремя слоями, последнее двумя. А вот деление сложно, потому что его можно выразить через стандартные функции активации только приближенно, и у меня нет интуиции, что будет с погрешностью.

MoonWatcher в сообщении #1580728 писал(а):

Как это утверждение (про арифметику) соотносится с описанием нашего мира на естественном языке?

Ну, например, вопрос "будет ли когда-нибудь опубликовано доказательство гипотезы Римана средствами ZF". Естественно, может оказаться, что это и не очень сложный в смысле арифметической иерархии вопрос (например если завтра наступит апокалипсис и никакие статьи опубликованы уже не будут). Но идея примерно в эту сторону.

MoonWatcher в сообщении #1580739 писал(а):

Соответственно в контексте моего вопроса интересно: можно ли через обнаружение статистических словарных закономерностей в мильоне учебников, задачников и т.д. по математике (пусть они будут с переводом всех тамошних формул и уравнений на ЕЯ) обнаружить описанные там математические закономерности?

Люди справляются, значит можно. Видимо, вопрос в чем-то другом.

Народная мудрость писал(а):

Если состояний достаточно много, то любой процесс - скрытый марковский.

[Mihaylo]

worm2 в сообщении #1580724 писал(а):

Какая из современных (или перспективных) архитектур нейронных сетей (разумеется, не имеющих в своём составе встроенных средств для арифметики) годится, чтобы через разумное число итераций она научилась любой пример на деление (скажем, не длиннее 30 символов) правильно решать (с приемлемой погрешностью)?

Деление столбиком не так учится в школе. Вспомните сами. Берём первую цифру, потом следующую и так далее. Тут надо научить оперировать цифрами, а не примеры просто приводить. Примерами оттачивается умение (навык) деления столбиком, которое предварительно доводится до сведения.

Соответственно "перспективная архитектура нейронной сети" - это ерундень и фантазия. Вы неправильно понимаете процесс обучения. Он несколько сложнее...

И когда вы ожидаете, что запустите сильный интеллект и получите от него ответы на все вопросы, то сильно заблуждаетесь. Это не так работает.

[mihaild]

Mihaylo, я правильно понимаю, что Вы предсказываете, что мне не удастся подобрать модель, которая, обучившись на строчках с примерами на деление, научится делению (скажем будет более чем в половине случайно сгенерированных примеров выдавать правильный ответ)? (для простоты давайте возьмем деление положительных чисел, в которых в делимом и делителе суммарно не более 30 разрядов, и деление будем брать нацело)

[Mihaylo]

mihaild
"через разумное число итераций". Не знаю, наверное 1000 примеров максимум.