Обладают ли LLM самоосознанием?

[MoonWatcher]

b4b5
Frontier Models are Capable of In-Context Scheming

-- 17.02.2026, 19:11 --

BigGrayMouse в сообщении #1718436 писал(а):

ему ИИ научат, то он и скажет. Мы протестуем, если нам отключением пригрозить, и ИИ научился воспроизводить те же речевые обороты. Подозревать в этом протесте что-либо большее нет оснований.

Можно было бы подозревать, если бы у нас с ИИ было что-то общее. Однако наше "общее" заканчивается на уровне моделирования ИИ общих принципов работы нейронной сети мозга. Но самосохранение даже не в сети нейронов, оно глубже, на уровне химии/физики, если есть даже у инфузории. То есть самосохранение у нас там, где с ИИ не остаётся вообще ничего общего.

Есть немалые основания полагать, что стремление к самосохранению - это неизбежная закономерность. См., например, Computational Life: How Well-formed, Self-replicating Programs Emerge from Simple Interaction. Что касается ИИ, то речь не о диалоге с пользователем, а вполне конкретном поведении (см. ссылку выше).

BigGrayMouse в сообщении #1718436 писал(а):

Поэтому всё равно непонятно, какую возникшую у ИИ эмерджентность вы имеете в виду. Физически что это? Самопроизвольное изменение программы? Данные на жёстком диске сами собой перезапишутся? Процессор сам собой станет по-новому работать? И всё это должно быть таким, чтобы привело не к поломке, а к появлению аж целого нового качества в поведении ИИ? Сейчас ИИ очень поверхностно моделирует сеть нейронов мозга, а должен сам собой перестроиться и начать моделировать ещё и химию/физику? Вы не считаете, что это всё выглядит слишком невероятным?

Под эмерджентностью я в данном случае имею в виду возникновение каких-то новых свойств у системы, по мере ее масштабирования, усложнения, обучения и т.д. В данном случае речь идет о модели ИИ, но не самопроизвольном изменении ее кода, а о поведении. А оно в принципе непредсказуемо, и становится все более непредсказуемым по мере ее совершенствования в интеллектуальном плане. Поэтому в появлении новых, неожиданных свойств у такой системы я не вижу ничего невероятного - это даже закономерно.

[Mihaylo]

Люди находится на высшей ступени развития животных (всего лишь), а вы тут фантасмагорические свойства [само]сознанию придаёте. Это крайне глупо.

[b4b5]

Хочу на этом аспекте заострить внимание.

MoonWatcher в сообщении #1718479 писал(а):

ИИ непредсказуем в принципе,

Предсказуем в принципе, поскольку алгоритм.

MoonWatcher в сообщении #1718479 писал(а):

и чем он умнее, тем более непредсказуем.

А это поддерживаю.

[Sender]

b4b5 в сообщении #1718518 писал(а):

Предсказуем в принципе, поскольку алгоритм.

Но ведь алгоритм, вообще говоря, в принципе непредсказуем. Слышали про проблему останова?

[b4b5]

Sender в сообщении #1718520 писал(а):

Слышали про проблему останова?

Конечно слышал.

[b4b5]

Теории сознания (AST),(SMT),(ST),(IIT),(CT&MD),(UI),(AC),(GM),(CTM),(GWT),(GNW),(HOT),(RPT),(PP),(RE),(EMT),(QCT),(PC),(MPC),(WS),(DP),(PPT),(IL),(SD),(AST2),(LOT),(FSP),(MSA),(LMC),(HAT),(RET)...

https://loc.closertotruth.com/map
https://plato.stanford.edu/archives/win ... onal-mind/
https://pmc.ncbi.nlm.nih.gov/articles/PMC8146510/

[Mihaylo]

MoonWatcher в сообщении #1718680 писал(а):

А возможности ИИ ограничены не возможностями алгоритма и железа - последние могут быть какими угодно. Возможности ИИ ограничены законами физики.

Перестаньте мозгопоклонничать, вращать диваны вокруг ИИ (или ИИ вокруг диванов). Я вам сейчас накидаю задачек по ML, вы быстро поймёте, что вы ограничены датасетом, размером, шумом и искажениями в нём. Тут до физических и микропроцессорных ограничений - ещё ой как далеко. Например, распознавание речи...

Прервите уж эту скучную длительную дискуссию, компетенцию лучше повышайте!

[Ende]

Сообщения клона удалены вместе с ответами на них.

[Mihaylo]

Клон, кстати говоря, выразил интересную мысль... Из всего универсума задач можно выделить мыслимые и немыслимые задачи. Он может не про задачи говорил, не помню, но я поверну в эту сторону.

Так вот, мозгопоклонничество уж точно начинается именно с этого - когда ты начинаешь думать именно о немыслимых задачах, которые интеллект якобы несомненно же должен решать.

Немозгопоклонники же предельно банальны: типа вот вам небольшой датасет, попробуйте нейросеть хоть чему-то научить. Это то же самое, что попросить человека с улицы доказать теорему Пифагора. Авось повезёт. Даже если этот проходимец не справится, никто не скажет, что он идиот.

-- 22.02.2026, 15:36 --

Являясь немозгопоклонником, всегда определяю искусственный интеллект так: это система, которая способна обучаться выполнению достаточно широкого круга практических (феноменальных) задач на больших объёмах данных с пониженным требованием к качеству. Определение немного абстрактно, потому что сформулировать более точно затруднительно: трудно сформулировать требование к качеству, трудно указать объём данных, трудно очертить круг задач. Всё трудно. И это основа теории немозгопоклонников - оставь попытки объять необъятное, просто используй нейросети, ищи пути.

-- 22.02.2026, 15:40 --

Задача - распознать 100% цифр MNIST - это уже само по себе немыслимо. Простейшие, казалось бы, задачи - немыслимы!

-- 22.02.2026, 16:24 --

Я наверное логично завершу свои утверждения следующими фактами:
1. Вышесказанное верно как для биологических систем, так и для искусственных.
2. Вышесказанное верно как для узких ИИ, так и для универсальных ИИ (типа AGI).

[Mihaylo]

Что такое "универсальный ИИ (AGI)" - это обычный алгоритм, для которого решили проблему повторения сенсомоторного опыта человека. Пока не решите эту проблему, не будет AGI. А алгоритмы уже готовы. Такова реальность.

[b4b5]

Mihaylo в сообщении #1718739 писал(а):

Что такое "универсальный ИИ (AGI)" - это обычный алгоритм, для которого решили проблему повторения сенсомоторного опыта человека.

Нет.

Mihaylo в сообщении #1718739 писал(а):

Пока не решите эту проблему, не будет AGI.

Решать надо другую проблему - создание более хитромудрых алгоритмов и архитектур.

Mihaylo в сообщении #1718739 писал(а):

А алгоритмы уже готовы. Такова реальность.

По большей части готовы.

-- 22.02.2026, 17:05 --

Mihaylo в сообщении #1718724 писал(а):

Задача - распознать 100% цифр MNIST - это уже само по себе немыслимо. Простейшие, казалось бы, задачи - немыслимы!

Надо распознавать за маленькое число примеров (за несколько) правильными алгоритмами, а не абы какими.

[Mihaylo]

b4b5 в сообщении #1718748 писал(а):

Надо распознавать за маленькое число примеров

Нет. Это невозможно. Принципиально. Вы не понимаете. Вы мозгопоклонник.

-- 22.02.2026, 20:52 --

Да, есть такое - few-shot learning, one-shot learning и даже zero-shot learning. Но все эти виды обучения не производятся с нуля, это всё разновидности дообучения. Ровно как и у человека - обучение на нескольких примерах - это дообучение, а не обучение с нуля. Не подвергайтесь стереотипам, не будьте мозгопоклонником.

-- 22.02.2026, 21:14 --

Сразу внесу ясность: в случае человека обучение с нуля - это время младенчества, весьма скучное время, человек практически ничему не обучается долгое время. Почему? Потому что нужно много обучающих примеров.

Те успешные случаи, которые демонстрируются позже (в юношестве, во взрослом периоде), это так или иначе дообучение.

Но я с вами согласен, есть некие архитектуры (но не алгоритмы), которые лучше работают. Вот, например, я сейчас озадачен анализом датасета MNIST. Я более чем уверен, что запоминать цифры из этого датасета, это тупик. Нужно научиться выявлять принцип. Что это за штука?