Гугл-перевод, постарался я:
(Оффтоп)
10 Указания и выводы
Мы представили наше первоначальное исследование GPT-4 в широком диапазоне задач и областей, предоставив подтверждающие доказательства утверждения о том, что способности GPT-4 сопоставимы с человеческим уровнем для многих из них.
Этот вывод согласуется с выводами OpenAI, представленными в [Ope23]. Основная цель наших экспериментов — дать предварительную оценку интеллекта GPT-4, что является сложной задачей, учитывая отсутствие формального определения этого понятия, особенно для искусственных систем. Мы надеемся, что наше исследование станет полезным и необходимым первым шагом для оценки замечательных возможностей и проблем GPT-4, а также откроет новые возможности для разработки более формальных и всеобъемлющих методов тестирования и анализа будущих систем ИИ с таким широким интеллектом. Возможности модели, которые были продемонстрированы выше, как с точки зрения глубины, так и общности, предполагают, что сообществу машинного обучения необходимо выйти за рамки классического бенчмаркинга с помощью структурированных наборов данных и задач, и что оценка возможностей и когнитивных способностей этих новые модели стали гораздо ближе по сути к задаче оценки человека, а не узкой модели ИИ. Мы надеемся, что наше исследование стимулирует дальнейшие исследования GPT-4 и подобных систем как с точки зрения изучения новых приложений и областей, так и с точки зрения понимания механизмов и принципов, лежащих в основе их интеллекта.
Центральное утверждение нашей работы состоит в том, что GPT-4 достигает формы общего интеллекта, действительно демонстрируя искры искусственного общего интеллекта. Об этом свидетельствуют его основные умственные способности (такие как рассуждение, творчество и дедукция), диапазон тем, по которым он приобрел опыт (например, литература, медицина и программирование), и разнообразие задач, которые он может выполнять. (например, играя в игры, используя инструменты, объясняя себя, ...). Многое еще предстоит сделать для создания системы, которая могла бы квалифицироваться как полноценный ОИИ. Мы завершаем эту статью обсуждением нескольких ближайших следующих шагов, касающихся определения самого ОИИ, создания некоторых недостающих компонентов в LLM для ОИИ, а также лучшего понимания происхождения интеллекта, продемонстрированного последними LLM.
10.1 Определения интеллекта, ИИ и ОИИ
В этой статье мы использовали неформальное определение интеллекта, сосредоточившись на рассуждениях, планировании и обучении на собственном опыте. Это определение не указывает, как измерять или сравнивать эти способности. Более того, он может не отражать специфические проблемы и возможности искусственных систем, которые могут иметь иные цели и ограничения, чем естественные. Поэтому мы признаем, что это определение является просто отправной точкой для исследования интеллекта в искусственных системах. Существует богатая и постоянная литература, в которой предпринимаются попытки предложить более формальные и всеобъемлющие определения интеллекта, искусственного интеллекта и искусственного интеллекта в целом [Goe14, Cho19], но ни одно из них не лишено проблем или противоречий. Например, Легг и Хаттер [Leg08] предлагают целенаправленное определение общего искусственного интеллекта: интеллект измеряет способность агента достигать целей в самых разных условиях. Однако это определение не обязательно охватывает весь спектр интеллекта, поскольку оно исключает пассивные или реактивные системы, которые могут выполнять сложные задачи или отвечать на вопросы без какой-либо внутренней мотивации или цели. В качестве общего искусственного интеллекта можно представить, например, блестящего оракула, который не имеет полномочий или предпочтений, но может предоставить точную и полезную информацию по любой теме или области. Более того, определение достижения целей в широком диапазоне сред также подразумевает определенную степень универсальности или оптимальности, которая может быть нереалистичной (конечно, человеческий интеллект никоим образом не является универсальным или оптимальным). Необходимость признания важности априорных данных (в отличие от универсальности) была подчеркнута в определении, предложенном Шолле в [Cho19], которое сосредотачивает интеллект вокруг эффективности приобретения навыков или, другими словами, делает акцент на обучении на основе опыта (что также случается, что это одна из ключевых слабых сторон LLM). Еще одно возможное определение общего искусственного интеллекта от Легга и Хаттера [LH07] звучит так: система, которая может делать все то же, что и человек. Однако это определение также проблематично, поскольку предполагает существование единого стандарта или меры человеческого интеллекта или способностей, что явно не соответствует действительности. У людей разные навыки, таланты, предпочтения и ограничения, и нет человека, который может делать все, что может любой другой человек. Кроме того, это определение также подразумевает определенную антропоцентрическую предвзятость, которая может не подходить или не относиться к искусственным системам. Хотя мы не принимаем ни одно из этих определений в статье, мы признаем, что они дают важные точки зрения на интеллект. Например, можно ли достичь интеллекта без каких-либо действий или внутренней мотивации, является важным философским вопросом. Предоставление LLM агентности и внутренней мотивации — увлекательное и важное направление для будущей работы. При таком направлении работы необходимо уделять большое внимание выравниванию и безопасности в зависимости от способности системы предпринимать автономные действия в мире и выполнять автономное самосовершенствование посредством циклов обучения. Далее мы обсудим несколько других важных недостающих компонентов LLM.
10.2 На пути к более общему искусственному интеллекту
Некоторые из областей, в которых GPT-4 (и LLM в целом) следует улучшить для достижения более общего интеллекта, включают (обратите внимание, что многие из них взаимосвязаны):
• Калибровка достоверности: Модель не может понять, когда она должна быть уверена, а когда просто предполагает. Он выдумывает факты, которых не было в его обучающих данных, а также демонстрирует несоответствия между сгенерированным контентом и подсказкой, которые мы назвали галлюцинациями открытого и закрытого домена на рис. 1.8. Эти галлюцинации могут быть изложены в уверенной и убедительной манере, которую бывает трудно обнаружить. Таким образом, такие поколения могут привести к ошибкам, а также к путанице и недоверию. Хотя галлюцинации — это хорошо при создании творческого контента, опора на фактические заявления, сделанные моделью с галлюцинациями, может быть дорогостоящей, особенно для использования в областях с высокими ставками, таких как здравоохранение. Есть несколько дополнительных способов борьбы с галлюцинациями. Один из способов — улучшить калибровку модели (путем подсказок или точной настройки), чтобы она либо воздерживалась от ответа, когда маловероятно, что она верна, либо предоставляла какой-то другой индикатор достоверности, который можно было бы использовать в дальнейшем. Другой подход, который подходит для смягчения галлюцинации открытого домена, состоит в том, чтобы вставить в подсказку информацию, которой не хватает модели, например, позволив модели совершать вызовы к внешним источникам информации, таким как поисковая система, как в разделе 5.1. Для галлюцинаций с закрытым доменом также многообещающим является использование дополнительных расчетов модели с помощью апостериорных проверок, см. пример на рис. 1.8. Наконец, создание пользовательского опыта приложения с учетом возможности галлюцинаций также может быть частью эффективной стратегии смягчения последствий.
• Долгосрочная память: контекст модели очень ограничен, она работает «без сохранения состояния», и нет очевидного способа научить модель новым фактам. На самом деле даже неясно, способна ли модель выполнять задачи, требующие развития памяти и контекста, например, чтение книги с задачей следить за сюжетом и понимать отсылки к предыдущим главам в процессе чтения.
• Непрерывное обучение: модели не хватает возможности обновляться или адаптироваться к меняющейся среде. Модель фиксируется после обучения, и нет механизма для включения новой информации или обратной связи от пользователя или мира. Можно точно настроить модель на новых данных, но это может привести к ухудшению производительности или переоснащению. Учитывая потенциальное отставание между циклами обучения, система часто будет устаревшей, когда речь идет о событиях, информации и знаниях, появившихся после последнего цикла обучения.
• Персонализация. Для некоторых приложений требуется, чтобы модель была адаптирована к конкретной организации или конечному пользователю. Системе может потребоваться получить знания о работе организации или предпочтениях отдельных лиц. И во многих случаях система должна будет адаптироваться персонализированным образом в течение определенного периода времени с конкретными изменениями, связанными с динамикой людей и организаций.
Например, в образовательной среде ожидается, что система должна понимать определенные стили обучения, а также со временем адаптироваться к прогрессу учащегося с пониманием и мастерством. У модели нет никакого способа включить такую персонализированную информацию в свои ответы, кроме как с помощью мета-подсказок, которые ограничены и неэффективны.
• Планирование и концептуальные скачки. Как видно из примеров в разделе 8, модель демонстрирует трудности при выполнении задач, которые требуют предварительного планирования или требуют «идеи-эврики», представляющей собой прерывистый концептуальный скачок в процессе выполнения задачи. Другими словами, модель плохо справляется с задачами, требующими концептуальных скачков формы, которые часто типичны для человеческого гения.
• Прозрачность, интерпретируемость и непротиворечивость: модель не только галлюцинирует, выдумывает факты и создает противоречивый контент, но и кажется, что модель не имеет возможности проверить, соответствует ли создаваемый ею контент обучающим данным или нет. это непротиворечиво. Хотя модель часто способна предоставить высококачественные апостериорные объяснения своих решений (как показано в разделе 6.2), использование объяснений для проверки процесса, который привел к определенному решению или заключению, работает только тогда, когда этот процесс точно смоделирован и Точно моделируется и достаточно мощный процесс объяснения (раздел 6.2). Оба эти условия трудно проверить, и когда они не выполняются, возникают несоответствия между решениями модели и ее объяснениями. Поскольку модель не имеет четкого представления о собственных ограничениях, трудно установить доверие или сотрудничество с пользователем без обширных экспериментов в узкой области.
• Когнитивные заблуждения и иррациональность. Модель демонстрирует некоторые ограничения человеческого знания и рассуждений, такие как когнитивные предубеждения и иррациональность (например, предубеждения подтверждения, привязки и игнорирования базовой скорости) и статистические ошибочности. Модель может унаследовать некоторые предубеждения, предубеждения или ошибки, присутствующие в ее обучающих данных, которые могут отражать распределение мнений или точек зрения, связанных с подмножествами населения или более широкими общими взглядами и оценками.
• Проблемы с чувствительностью к входным данным: ответы модели могут быть очень чувствительными к деталям оформления или формулировок подсказок и их последовательности в сеансе. Такая ненадежность предполагает, что часто требуются значительные усилия и эксперименты с инженерными подсказками и их последовательностью, и что использование без таких затрат времени и усилий людей может привести к субоптимальным и несогласованным выводам и результатам.
Ограничением нашего исследования является отсутствие четкого различия между недостатками, связанными с тем, как выполнялся этап обучения с подкреплением (RLHF), и недостатками, которые принципиально присущи более крупной архитектуре и методологии. Например, неясно, в какой степени проблема галлюцинаций может быть решена с помощью усовершенствованного шага обучения с подкреплением или с помощью целенаправленных усилий по введению новых форм калибровки вероятностей правдивости альтернативных выводов, которые система может вычислить и учесть в ходе анализа. его поколения (см. также [Ope23] для более подробного обсуждения этого). Если провести аналогию с людьми, то когнитивные искажения и иррациональное мышление могут быть основаны на артефактах нашей культуры, а также на ограничениях наших когнитивных способностей. Для лучшего понимания источников и потенциальных решений проблем, связанных с галлюцинациями в GPT-4, будут полезны исследования, в которых сравниваются несколько версий стадии RL с одной и той же архитектурой.
Более широкий вопрос о выявленных ограничениях: какие из вышеупомянутых недостатков можно смягчить в рамках предсказания следующего слова? Просто ли большая модель и больше данных решат эти проблемы, или архитектуру нужно изменить, расширить или переформулировать? Потенциальные расширения предсказания следующего слова включают следующее:
• Внешние вызовы модели к компонентам и инструментам, таким как калькулятор, поиск в базе данных или выполнение кода, как предложено в Разделе 5.1.
• Более богатый и сложный «медленный» более глубокий механизм, который наблюдает за «быстрым» механизмом предсказания следующего слова. Такой подход может позволить модели выполнять долгосрочное планирование, исследование или проверку, а также поддерживать рабочую память или план действий. Механизм медленного мышления будет использовать модель предсказания следующего слова в качестве подпрограммы, но он также будет иметь доступ к внешним источникам информации или обратной связи и сможет пересматривать или исправлять выходные данные механизма быстрого мышления.
• Интеграция долговременной памяти как неотъемлемой части архитектуры, возможно, в том смысле, что как входные, так и выходные данные модели будут включать в себя, помимо токенов, представляющих текст, вектор, представляющий контекст.
• Выход за рамки прогнозирования по одному слову: замена последовательности токенов иерархической структурой, в которой части текста более высокого уровня, такие как предложения, абзацы или идеи, представлены во встраивании, а содержимое генерируется нисходящим образом. . Неясно, могут ли более точные предсказания о последовательности и взаимозависимости таких концепций более высокого уровня появиться из крупномасштабных вычислений и данных, сосредоточенных на парадигме предсказания следующего слова.
10.3 Что происходит на самом деле?
Наше исследование GPT-4 носит исключительно феноменологический характер: мы сосредоточились на удивительных вещах, которые может делать GPT-4, но мы не затрагиваем фундаментальные вопросы, почему и как он достигает такого замечательного интеллекта.
Как он рассуждает, планирует и создает? Почему он обладает таким общим и гибким интеллектом, если по своей сути представляет собой просто комбинацию простых алгоритмических компонентов — градиентный спуск и крупномасштабные преобразователи с чрезвычайно большими объемами данных? Эти вопросы являются частью тайны и очарования LLM, которые бросают вызов нашему пониманию обучения и познания, питают наше любопытство и мотивируют более глубокие исследования. Ключевые направления включают в себя продолжающиеся исследования феномена эмерджентности LLM (см. недавний обзор [WTB+22]). Тем не менее, несмотря на интенсивный интерес к вопросам о возможностях LLM, прогресс на сегодняшний день был довольно ограниченным только с игрушечными моделями, в которых доказан некоторый феномен эмерджентности [BEG+22, ABC+22, JSL22]. Одна общая гипотеза [OCS+20] заключается в том, что большое количество данных (особенно разнообразие контента) заставляет нейронные сети изучать общие и полезные «нейронные схемы», такие как обнаруженные в [OEN+22, ZBB +22, LAG+22], в то время как большой размер моделей обеспечивает достаточную избыточность и разнообразие нейронных цепей для специализации и точной настройки для конкретных задач. Доказательство этих гипотез для крупномасштабных моделей остается сложной задачей, и, более того, можно с уверенностью сказать, что гипотеза является лишь частью ответа. С другой стороны, огромный размер модели может иметь несколько других преимуществ, таких как повышение эффективности градиентного спуска за счет соединения различных минимумов [VBB19] или просто обеспечение плавной подгонки многомерных данных [ES16, BS21]. В целом, выяснение природы и механизмов систем искусственного интеллекта, таких как GPT-4, является огромной задачей, которая внезапно стала важной и срочной.
Благодарности. Мы благодарим OpenAI за создание такого замечательного инструмента и предоставление нам раннего доступа к его использованию. Мы также благодарим многочисленных коллег из Microsoft и Майлза Брандейджа из Open AI, которые предоставили вдумчивые отзывы об этой работе.
если эти обсуждения на уровне "у GPT нет чувств", то я бы предпочел, чтобы вы лично перечитали документ.