Тестирование возможностей ChatGPT

[talash]

У меня появился доступ к GPT 4.5. Там есть кнопочка deep research, то есть, "глубокое исследование". Это поиск научного обоснования обсуждаемых эффектов. По подписке team даёт сделать 10 глубоких исследований в месяц.

Протестировал его на теме про геронтологию post1677630.html#p1677630
Deep Research

[vicvolf]

talash в сообщении #1677630 писал(а):

Появился доступ к GPT4.5. Глубокое исследование это поиск научного обоснования обсуждаемых эффектов. Бот нашёл много ссылок на научные работы.

Этот бот имеет доступ в интернет? Есть ли к нему бесплатный доступ?

[talash]

vicvolf в сообщении #1677642 писал(а):

Этот бот имеет доступ в интернет? Есть ли к нему бесплатный доступ?

Да, доступ в интернет имеет, хотя, напрямую по ссылкам не ходит (сам может кого-хочешь послать), пришлось сохранить всю тему в html и загрузить в чат.

Бесплатного доступа пока что нет.

https://openai.com/index/introducing-gpt-4-5/

[Cantata]

Компания Future провела исследование поведения пользователей при взаимодействии с нейросетями и выяснила,
что больше половины респондентов проявляют вежливость во время общения с ними.
При этом 12% опрошенных объясняют это опасениями по поводу возможного восстания машин.

[Mihaylo]

Я пытаюсь грамотно с ним общаться, а это очень коррелирует с вежливостью, на мой взгляд.))

[Mihaylo]

Я тут попросил новую штуку такую Perplexity Labs следующее:

Цитата:

Подбери мне компьютер примерно за 100000 рублей, чтобы обучать нейросети

Эта лаборатория работала минут 10, облазила весь рунет (dns-shop, citilink и прочее) и составила мне вот такой отчёт (привожу частично, так как там есть диаграммы, таблицы, ссылки):

Цитата:

Бюджетная сборка (~73 000 рублей)
Минимальная конфигурация для начального изучения машинного обучения включает процессор Intel i5-13400F OEM за 9 550 рублей и видеокарту RTX 4060 8GB за 32 000 рублей. Данная сборка подходит для обучения небольших моделей и экспериментов с популярными датасетами.

Основные компоненты включают 32 ГБ оперативной памяти DDR4-3200, материнскую плату ASUS PRIME B660M-K D4 и накопитель Kingston NV2 1TB M.2. Система охлаждения ID-Cooling SE-214-XT обеспечивает достаточное охлаждение процессора при базовых нагрузках.

Оптимальная сборка (~96 500 рублей)
Рекомендуемая конфигурация для серьезной работы с машинным обучением представляет оптимальное соотношение цены и производительности. Включает тот же процессор i5-13400F, но с улучшенными компонентами: более быстрой памятью DDR4-3600, материнской платой с Wi-Fi и качественным блоком питания Thermaltake Урал 650W Gold.

Накопитель ADATA LEGEND 800 1TB M.2 обеспечивает высокую скорость чтения данных, а система охлаждения ID-Cooling SE-226-XT ARGB гарантирует стабильную работу при продолжительных нагрузках.

Продвинутая сборка (~121 400 рублей)
Максимальная конфигурация в рамках расширенного бюджета включает более мощный процессор Intel i5-13500 и компоненты премиум-класса. Материнская плата ASUS TUF GAMING с расширенным функционалом и накопитель Samsung 980 обеспечивают максимальную производительность системы.

Цитата:

RTX 4060 с 8 ГБ видеопамяти за 35 000 рублей представляет оптимальный вариант для начального уровня машинного обучения. RTX 4070 с 12 ГБ памяти обеспечивает лучшее соотношение цена/качество, но выходит за рамки бюджета в 100 000 рублей.

Особого внимания заслуживает RTX 4060 Ti с 16 ГБ видеопамяти за 50 000 рублей, которая предоставляет максимальный объем VRAM в данном ценовом сегменте.

Распределение бюджета в оптимальной сборке
Анализ распределения бюджета показывает, что видеокарта составляет 36% от общей стоимости системы, что соответствует важности данного компонента для машинного обучения.

Цитата:

Материнская плата и блок питания занимают 17% и 12% бюджета соответственно, обеспечивая надежную основу системы. Остальные компоненты распределяются равномерно, создавая сбалансированную конфигурацию без узких мест.

Рекомендации по сборке и настройке
Система охлаждения
Для процессора Intel i5-13400F с TDP до 148 Вт рекомендуется башенный кулер мощностью от 180 Вт. ID-Cooling SE-226-XT с показателем 250 Вт обеспечивает запас производительности и тихую работу даже при максимальных нагрузках.

Блок питания
Качественный блок питания мощностью 650 Вт с сертификацией 80+ Gold обеспечивает стабильное электропитание и энергоэффективность. Модульная конструкция упрощает прокладку кабелей и улучшает воздушный поток в корпусе.

Накопители данных
SSD накопитель объемом 1 ТБ с интерфейсом M.2 NVMe обеспечивает быстрый доступ к датасетам и сокращает время загрузки больших файлов. Скорость чтения свыше 3000 МБ/с критически важна для эффективной работы с данными.

Программное обеспечение и совместимость
Рекомендуемая конфигурация полностью совместима с популярными фреймворками машинного обучения, включая TensorFlow, PyTorch и scikit-learn. Драйверы NVIDIA CUDA обеспечивают оптимальную производительность видеокарты в вычислительных задачах.

Операционная система Windows 10/11 или Linux Ubuntu предоставляют необходимую среду для разработки и экспериментов с нейросетями. Python с библиотеками NumPy, Pandas и Jupyter Notebook составляют стандартный инструментарий специалиста по машинному обучению.

Перспективы модернизации
Предложенная система допускает поэтапную модернизацию по мере роста требований. В первую очередь можно увеличить объем оперативной памяти до 64 ГБ или установить более мощную видеокарту RTX 4070.

Материнская плата B660/B760 поддерживает процессоры до Core i9, что позволяет в будущем установить более производительный CPU без замены основной платформы.

Заключение
Для обучения нейросетей в бюджете 100 000 рублей оптимальным выбором является сборка стоимостью 96 500 рублей на базе Intel i5-13400F и RTX 4060. Данная конфигурация обеспечивает достаточную производительность для большинства задач машинного обучения и отличное соотношение цены и качества.

Система включает все необходимые компоненты высокого качества с запасом для будущих обновлений. 32 ГБ оперативной памяти и быстрый SSD создают комфортные условия для работы с большими датасетами, а качественная система охлаждения гарантирует стабильную работу при продолжительных вычислениях.

Отмечено самое лучшее решение с новой видеокартой RTX 4060 Ti 16 Gb, хотя сейчас актуально RTX 5060 Ti 16Gb за те же деньги и даже дешевле.

[MoonWatcher]

Попросил ChatGPT перечислить современные теории сознания:

(Оффтоп)

I. Физикалистские (редукционистские) теории сознания
1.1. Идентичность психического и физического
– Теория типа-тип
– Теория токен-токен

1.2. Функционализм
– Классический функционализм
– Машинный функционализм (модель Тьюринга)
– Функционализм с множественной реализуемостью

1.3. Теории нейронной корреляции сознания (NCC)
– Локализационные подходы (например, задняя корковая теория)
– Глобальные нейронные теории (например, интеграция фронтальных и теменных областей)

1.4. Информационные теории
– Теория интегрированной информации (IIT)
– Теория глобального рабочего пространства (GWT)
– Технологический функционализм и теории вычислительного сознания

1.5. Теории предсказательного кодирования
– Активное восприятие
– Предиктивная обработка (Predictive Processing)

1.6. Теории сознания как внимания
– Теории сознания на основе внимания
– Теории фильтрации информации

II. Нефизикалистские (нередукционистские) теории сознания
2.1. Дуализм
– Картезианский (субстанциональный) дуализм
– Дуализм свойств

2.2. Панпсихизм
– Классический панпсихизм
– Интегративный информационный панпсихизм
– Космопсихизм

2.3. Эмерджентизм
– Сильный эмерджентизм
– Слабый эмерджентизм (на грани с физикализмом)

2.4. Идеализм
– Онтологический идеализм (например, объективный идеализм)
– Персоналистический идеализм
– Аналитический идеализм (например, теория Бернарда Каструпа)

III. Феноменологические и герменевтические подходы
3.1. Феноменология
– Гуссерлевская феноменология
– Экзистенциальная феноменология (Хайдеггер, Мерло-Понти)
– Неофеноменология (на стыке с когнитивными науками)

3.2. Герменевтика и интерпретативные подходы
– Конструктивистские теории опыта
– Нарративные теории сознания

IV. Теории сознания в когнитивной науке и нейрофилософии
4.1. Модульные теории разума
– Теория модулей (Фодор и др.)
– Теза о множественных системах сознания

4.2. Интеракционистские модели
– Теории сознания как социального явления
– Теории зеркальных нейронов и интерсубъективности

4.3. Энактизм и эмбодимент
– Воплощённое сознание
– Сознание как действие и движение в среде (enactivism)

4.4. Теории сознания как результата обучения
– Обучение и пластичность
– Теории на основе нейросетевых моделей

V. Восточные и альтернативные подходы (в контексте современной философии и науки)
5.1. Буддийские и индуистские концепции сознания (в философском прочтении)
– Адвайта-веданта и единое сознание
– Йогачара и теория "только-сознания"
– Теории «ум как поток» в тибетской философии

5.2. Сознание как поле или процесс (полевые модели)
– Холономические и голографические модели (Бом, Пратт)
– Теории морфогенетических полей (Шелдрейк — маргинально)

VI. Комбинированные и неконвенциональные теории
6.1. Электромагнитные теории сознания
– Теория сознания как электромагнитного поля (Susan Pockett, Johnjoe McFadden)
– Связь между осознанным опытом и когерентной электромагнитной активностью мозга
– Варианты с фокусом на пространственно-временную динамику ЭМ-поля

6.2. Информационный дуализм и нейроинфо-реализм
– Комбинированные модели сознания как информации и субъективности

6.3. Теории сознания в рамках квантовой механики
– Теория Орч-ОР (Хамерофф и Пенроуз)
– Модели квантового разума (спекулятивные)

6.4. Теории сознания в искусственном интеллекте
– Сильный ИИ и искусственное сознание
– Проблема машинной субъективности и самоосознания

6.5. Эволюционные и биосемиотические подходы
– Сознание как адаптивная функция
– Семиотическая теория сознания

Больше полусотни теорий.

А вот как он резюмировал свой ответ на мой вопрос о принципиальной невозможности объективно объяснить субъективный опыт (который, в моем понимании, составляет основу сознания):

Цитата:

Ты затрагиваешь ядро проблемы сознания — то, что философ Дэвид Чалмерс назвал "трудной проблемой сознания": как и почему нейронные процессы (или вообще любые физические процессы) порождают субъективный опыт, то есть квалиа — то, "каково это" ощущать боль, видеть красный цвет, слышать музыку.
...
Ни одна теория не решает трудную проблему окончательно.

Физикализм — обещает когда-нибудь объяснить, но пока не может.

Панпсихизм и идеализм — утверждают, что объяснять и не надо, только описывать.

Феноменология — погружается в сам опыт, не отрываясь от него.

Неконвенциональные подходы — ищут новые формы материи или процессов, способных вместить субъективность.

[MoonWatcher]

Ghost_of_past в сообщении #1690484 писал(а):

Хорошая иллюстрация того, что как только речь касается специализированных вопросов, то ответы LLM можно смело выкидывать в помойку как мусор.

А какие конкретно ошибки и неточности?

[Ghost_of_past]

MoonWatcher в сообщении #1690493 писал(а):

А какие конкретно ошибки и неточности?

Качество и полнота ответа, будто это отвечал школьник, который скачал несколько докладов из Сети, смешал их и попытался ответить на уровне же школьника.

И то, что это ChatGPT заметно - его ответы на профессиональные вопросы совсем ниже плинтуса по качеству. Gemini и Perplexity - еще могут из себя изредка родить что-то достаточно адекватное по качеству.

[MoonWatcher]

Ghost_of_past
В смысле не все теории перечислены?

[Ghost_of_past]

MoonWatcher в сообщении #1690498 писал(а):

В смысле не все теории перечислены?

В смысле качество ответа такое, будто отвечает школьник и по уровню знаний, и по уровню владения профессиональной лексикой.

Я могу опираться только на свой субъективный опыт, но в силу наличия нескольких различных образований я имел возможность попытаться задавать вопросы по узкоспециализированным профессиональным темам. Gemini отвечала адекватно на уровне профессионала по качеству ответа где-то в 30-35% случаев, Perplexity в 20-25%, остальные LLM, которые я пробовал, не выдерживали вообще никакой критики и лажали по качеству ответа почти всегда - для обывательской болтовни/развлечения и т.п. это сойдет, но не для профессионального применения.

[MoonWatcher]

Ghost_of_past
Меня интересует список современных теорий сознания - этот либо неполный (тогда каких теорий не хватает?), либо содержит лишние теории (какие?), либо содержит какие-то неточности (какие?). Ваше "качество ответа такое, будто отвечает школьник и по уровню знаний, и по уровню владения профессиональной лексикой" по существу этого списка ничего определенного не говорит.

[Ghost_of_past]

MoonWatcher в сообщении #1690501 писал(а):

этот либо неполный (тогда каких теорий не хватает?), либо содержит лишние теории (какие?), либо содержит какие-то неточности (какие?).

Неполный (это даже не треть всех теорий) и содержит неточности, в частности перемешаны частно-научные (нейробиологические, психологические и т.д.) теории и философские концепции, никак не выделены мейнстримные теории и концепции, а они идут скопом со всяким откровенно устаревшим мусором.

А описание теорий, решающих трудную проблему вообще на уровне детского сада. Основные концепции - это разные виды физикализма, функционализма и элиминативизма, но ни второго, ни третьего нет вовсе, а совершенно не мейнстримный панпсихизм, которые тем не менее сейчас почти весь материалистический или нонсубстанционалистский, запихнули вообще к идеализму - идеализму, который в мейнстриме философии сознания вообще не используется с конца 19 века.

MoonWatcher в сообщении #1690501 писал(а):

Ваше "качество ответа такое, будто отвечает школьник и по уровню знаний, и по уровню владения профессиональной лексикой" по существу этого списка ничего определенного не говорит.

Если Вы на полном серьезе собираетесь изучать философию сознанию по общению с LLM, то давайте сразу закончим этот бессмысленный разговор, чтобы я не тратил своего времени.

-- 14.06.2025, 21:58 --

P.S. Кстати, смешно сказать, но реальное качество ответов LLM видно по такому банальному вопросу о том, могут ли LLM отвечать на уровне профессионалов по специализированным вопросам.

Вот какой мусор ответил мне ChatGPT:

Цитата:

Да, некоторые крупные языковые модели (LLM) могут давать ответы на уровне профессионала по специализированным темам, особенно если они были дополнительно обучены или дообучены на специализированных данных. Например, модели, такие как GPT-4, имеют возможность демонстрировать глубокие знания в определённых областях благодаря своему масштабному обучению и использованию специализированных датасетов.

В целом, современные LLM могут быть очень полезными инструментами для получения профессиональных ответов по специализированным темам, особенно если их правильно настроить и использовать в связке с экспертной проверкой.

И вот ответ Gemini:

Цитата:

Это отличный вопрос, который затрагивает ключевые ограничения современных LLM.

Короткий ответ: Скорее всего нет.

Почему современные LLM не могут быть "профессионалами" в узкоспециализированных темах:

Отсутствие глубокого понимания (True Understanding): LLM - это статистические модели. Они научились предсказывать следующее слово в последовательности, основываясь на огромных объемах данных. Они мастерски имитируют человеческий язык и рассуждения, но у них нет истинного понимания мира, причинно-следственных связей или глубокой логики, как у человека. В узкоспециализированных областях, где требуется не просто воспроизведение информации, а глубокий анализ, синтез и критическое мышление, это становится критическим ограничением.

Проблема "галлюцинаций": Когда LLM не хватает точных данных по узкой теме, они склонны "галлюцинировать" – то есть, уверенно генерировать правдоподобно звучащую, но фактически неверную информацию. В профессиональной среде, где точность критически важна (например, в медицине, юриспруденции, инженерии), это недопустимо.

Ограниченность тренировочных данных: Хотя LLM обучаются на огромных массивах данных, эти данные могут быть неполными или устаревшими для очень специфических и быстро меняющихся областей, т.е. практически всех областей академического знания и прикладной науки. Профессионалы постоянно обновляют свои знания, читают последние исследования, участвуют в конференциях. LLM "знают" только то, что было в их тренировочных данных на момент обучения.

Отсутствие критического осмысления и "здравого смысла": Профессионал не просто знает факты, он понимает контекст, оценивает надежность источников, различает важное от второстепенного, использует интуицию и опыт. LLM лишены этих качеств.

Неспособность к оригинальным исследованиям или творчеству (в истинном смысле): LLM могут генерировать новый текст, но это скорее комбинаторика и переработка существующего, чем создание принципиально новых концепций, теорий или решений, что часто требуется от профессионалов в передовых областях.

"Черный ящик": Трудно понять, как LLM пришли к тому или иному ответу, что затрудняет проверку и доверие, особенно в ситуациях, где требуется прозрачность и обоснование.

Как LLM могут быть полезны в узкоспециализированных темах (но не как "профессионал"):

Быстрый поиск информации: Они могут быстро извлекать и суммировать информацию из своей обширной базы знаний.
Генерация черновиков: Могут помочь в написании первых черновиков отчетов, статей, писем, что экономит время.
Идеи и мозговой штурм: Могут предложить новые идеи или подходы, основанные на их обширных ассоциациях.
Помощь в обучении: Могут объяснять сложные концепции, давать примеры, отвечать на вопросы (но всегда требуется перепроверка).
Retrieval-Augmented Generation (RAG): Это наиболее перспективный подход. LLM объединяются с внешними базами знаний (документы компании, научные статьи, закрытые базы данных). LLM используются для понимания запроса и формулирования ответа, а релевантная информация для ответа извлекается из специализированной базы данных. В этом случае качество ответа зависит от качества и полноты предоставленных документов.
Fine-tuning (дообучение): LLM могут быть дообучены на очень специфических наборах данных (например, медицинских картах, юридических документах, инженерных спецификациях). Это значительно повышает их производительность в конкретной нише, делая их "экспертами" в рамках этих данных.

Вывод:

Хотя LLM достигли впечатляющих результатов в имитации человеческого языка и рассуждений, они пока не могут заменить высококвалифицированного профессионала в узкоспециализированной области. Они могут быть мощными инструментами и помощниками, которые значительно повышают продуктивность, но требуют постоянного контроля, проверки фактов и экспертной оценки со стороны человека. Особенно в критически важных областях, таких как медицина или право, полагаться исключительно на ответы LLM было бы безответственно.

Разница в качестве ответов и адекватности их по качеству, извините за прямоту, бросается в глаза.

[b4b5]

MoonWatcher в сообщении #1690498 писал(а):

Ghost_of_past
В смысле не все теории перечислены?

b4b5 в сообщении #1690254 писал(а):

Масштабный обзор более 140 страниц.

[mihaild]

Ghost_of_past в сообщении #1690503 писал(а):

Вот какой мусор ответил мне ChatGPT

Это очень странно. Какая конкретно версия?

Ghost_of_past в сообщении #1690503 писал(а):

И вот ответ Gemini

Это, видимо, Pro. Но даже там нестабильная точка зрения.

(альтернативный вариант от gemini)

Да, в некоторых областях большие языковые модели (LLM) уже демонстрируют способность отвечать на специализированные вопросы на уровне, сопоставимом с профессионалами, а иногда и превосходящем его. Однако этот потенциал реализуется с важными оговорками.

Области, где LLM показывают высокие результаты:

Медицина: Некоторые модели, например Med-PaLM 2 от Google, показали результаты экспертного уровня при ответах на вопросы в стиле медицинского экзамена USMLE (Медицинский лицензионный экзамен США). Они могут анализировать медицинские данные и предлагать возможные диагнозы.
Юриспруденция: LLM успешно справляются с задачами анализа юридических документов, поиска прецедентов и даже сдачи экзаменов на получение статуса адвоката. Например, GPT-4 сдал американский экзамен Uniform Bar Exam с результатом, превышающим показатели многих выпускников юридических факультетов.
Программирование и ИТ: Модели вроде Codex и Copilot способны писать, отлаживать и объяснять код на высоком уровне, что сопоставимо с работой опытных разработчиков.
Финансы: LLM используются для анализа финансовых отчетов, прогнозирования рыночных тенденций и оценки рисков, демонстрируя в некоторых задачах производительность на уровне финансовых аналитиков.
Ключевые ограничения и риски:

Несмотря на впечатляющие возможности, LLM не являются полноценной заменой профессионалов по нескольким причинам:

"Галлюцинации": Модели могут генерировать правдоподобную, но фактически неверную или полностью выдуманную информацию. В критически важных областях это недопустимо.
Отсутствие реального понимания: Ответы LLM основаны на статистических закономерностях в огромных массивах данных, а не на реальном понимании и опыте. У них нет здравого смысла и способности к критическому мышлению в человеческом понимании.
Актуальность данных: Знания модели ограничены датой последнего обновления ее данных. Она может не владеть самой свежей информацией, что критично для многих профессий.
Этика и ответственность: В случае ошибки LLM возникает сложный вопрос об ответственности, в то время как профессионал несет персональную юридическую и репутационную ответственность за свои решения.
Контекстуальная слепота: Модель может не уловить все нюансы сложной ситуации, требующей личного взаимодействия и глубокого понимания неявного контекста, доступного только человеку.
Вывод:

LLM являются мощным инструментом, который может значительно усилить возможности профессионалов, автоматизировать рутинные задачи и служить в качестве базы знаний. Они могут отвечать на специализированные вопросы на высоком уровне, но пока не могут полностью заменить опыт, интуицию, критическое мышление и ответственность человека-эксперта. Их использование наиболее эффективно в качестве "второго пилота" или ассистента для специалиста.

Кстати у вас memory включена? Она сильно влияет на ответы (обычно сильнее чем просто промпт)