Ограничения формальных систем, описывающих внешний мир

[Sonic86]

mihaild в сообщении #1581313 писал(а):

для простоты давайте возьмем деление положительных чисел, в которых в делимом и делителе суммарно не более 30 разрядов, и деление будем брать нацело

Я несогласен: это - не для простоты, а - радикальное упрощение задачи, которое делает ее по сути подпадающей под условия теоремы Цыбенко, и тогда аппроксимирующую нейросеть явно можно сделать (хотя даже на практике может оказаться, что это не так просто - достичь 100%-й точности). Я считаю, что следует предполагать, что делимое и делитель д.б. неограничены, а работать с ними через рекуррентные архитектуры, трансформеры те же.
Можно вспомнить статью, где нейросеть выучила функцию $x \to x^3 + a\pmod p$ по неполному датасету примеров - там как раз область тоже была конечна. Вряд ли деление сильно сложнее, чем эта функция, если сделать область определения конечной.
Если я ошибаюсь, напишите мне, я могу тут нагаллюцинировать легко

Mihaylo в сообщении #1581228 писал(а):

Деление столбиком не так учится в школе. Вспомните сами. Берём первую цифру, потом следующую и так далее. Тут надо научить оперировать цифрами, а не примеры просто приводить. Примерами оттачивается умение (навык) деления столбиком, которое предварительно доводится до сведения.

Соответственно "перспективная архитектура нейронной сети" - это ерундень и фантазия. Вы неправильно понимаете процесс обучения. Он несколько сложнее...

Это все - неинтересно. Речь как раз о том, как человек впервые выучил (придумал) деление в столбик. Такого датасета у нас, конечно, нет, но у нас есть AlphaGo, AlphaZero, MuZero, которые как раз все это осилили с нуля.

[mihaild]

Sonic86 в сообщении #1581405 писал(а):

Я считаю, что следует предполагать, что делимое и делитель д.б. неограничены, а работать с ними через рекуррентные архитектуры, трансформеры те же.

Трансформеры на последовательностях работать не умеют, у них вход и выход фиксированного размера.
Рекуррентные сети умеют, и, думаю, в принципе можно сделать рекуррентную сеть, делящую не очень большие числа. Большие точно не получится, потому что элементарно пространства состояний не хватит. Т.е. очевидно что сети нужно как минимум быть в состоянии запомнить входные данные.

[Mihaylo]

Sonic86 в сообщении #1581405 писал(а):

Речь как раз о том, как человек впервые выучил (придумал) деление в столбик.

А вы сами подумайте. Сначала был человек, который придумал числа, чтобы складывать и вычитать. Он учил других людей. Так и жили долго. Пока один из них не сказал: "Устал я раздавать колоду из 36 карт пятерым человекам "по кругу". Может кто-нибудь объяснит, почему 7 карт получается на руках, а одна свободная?". Дробные числа тогда не умели.
Один думал-думал и говорит:
- Нельзя 36 делить на 5, надо убирать лишнюю карту и только потом делить. 35 делить на 5 равно 7.
Другой говорит:
- А как узнать, что карта одна лишняя, а не три?
Третий говорит:
- А может надо вычесть сначала одну карту, попробовать поделить, затем - две, попробовать поделить, затем вычесть три карты и так далее...?
Встаёт четвертый и говорит:
- Толку от разговоров мало, пойду таблицу деления составлю.
- Есть же таблица умножения! Только надо наоборот ей пользоваться.
- А как разделить колоду 360 карт на 11 человек, в таблицу умножения же все числа не впишешь?
- ...

Как видите, особенности: 1. Коллективный разум на протяжении веков. 2. Опробование гипотез, многие из которых неверны. 3. Индивиды должны быть обучены азам математики. 4. Оперирование математической терминологией.

Когда же речь идёт о "перспективных" структурах нейронок, вы все ещё считаете, что нейросеть посмотрит 100 примеров деления и сделает логические выводы в течение трёх минут. А математическим азам вы ее учить не собираетесь: число, плюс, минус, меньше, больше, равно, деление, таблица умножения...

[mihaild]

Мне непонятно, откуда и зачем тут ограничивать число примеров смешными числами.
Вопрос, как сделать, чтобы модели можно было "объяснить" задачу (zero-shot learning) - открыт, прогресс в нём, хотя и есть, но работы осталось сильно больше. Зато модель можно обучить под задачу на очень большом количестве примеров, и она будет относительно неплохо решать эту задачу на других примерах.

[Mihaylo]

mihaild в сообщении #1581437 писал(а):

Мне непонятно, откуда и зачем тут ограничивать число примеров смешными числами.
Вопрос, как сделать, чтобы модели можно было "объяснить" задачу (zero-shot learning) - открыт

Это у вас открыт вопрос, а у собеседников желание поиметь сильный интеллект, который абсолютно из ничего (100-1000 примеров) предположит теорию деления столбиком. Zero-shot learning предполагает обучение, хотя и называют это обучением без обучения.

[mihaild]

Mihaylo, про 100-1000 примеров и "ничего" написали Вы.
Ну и zero-shot learning это обучение без указания конкретной задачи, а потом решение этой конкретной задачи по объяснению условий. Примерно как попросить человека посчитать число заглавных букв в тексте.

[Mihaylo]

mihaild
Я написал про 100-1000 примеров, я перевел на язык нейронок чаяния и настроение масс трудящихся.