Прогнозы экспертов относительно ИИ

[Rasool]

Консультативный орган высокого уровня по искусственному интеллекту (КОИИ) ООН 19 сентября опубликовал доклад с рекомендациями по регулированию этой технологии (на английском и французском языках, русскоязычная версия ожидается).

Цитата:

Отчет включает семь положений:

- создать независимую Международную научную группу по ИИ, которая объединит экспертов из разных стран и дисциплин и будет работать при поддержке учреждений ООН, например Международного союза электросвязи (ITU) и ЮНЕСКО. Такая группа может выпускать исследования и отчеты о возможностях ИИ и связанных с технологией проблемах. Авторы доклада отмечают, что ранее подобные группы были созданы по темам изменения климата и атомной радиации;
- начать в рамках ООН межправительственный диалог по вопросам управления ИИ: обмениваться опытом; способствовать внедрению в разных странах мер регулирования, которые будут совместимыми, а не противоречащими друг другу; делиться значительными инцидентами в области ИИ;
- организовать обмен стандартами в области ИИ с участием представителей национальных и международных организаций по разработке стандартов, технологических компаний, гражданского общества;
- создать сеть для развития потенциала в области ИИ. Среди прочего она должна предоставлять тренеров, вычислительные мощности и данные для обучения ИИ исследователям и предпринимателям, которые стремятся применять эту технологию в общественных интересах; запустить программу стипендий для перспективных специалистов;
- создать глобальный фонд для развития ИИ, который будет управляться независимой структурой. Он должен в том числе обеспечить предоставление вычислительных ресурсов для специалистов в странах, где их нет, и создание репозитория для ИИ-моделей и наборов данных, которые могут использоваться для целей устойчивого развития;
- создать глобальную структуру по управлению данными для ИИ по аналогии, например, со Всемирной организацией интеллектуальной собственности (WIPO, ведет базу патентов на изобретения, товарных знаков и т.п.);
- создать офис ИИ, который будет подчиняться генсекретарю ООН.

Как отмечается в докладе, ИИ может принести позитивные изменения в различных сферах, но без контроля возможности этой технологии могут не проявиться или будут распределены несправедливо. «Из-за увеличения цифрового разрыва преимущества ИИ могут быть доступны лишь небольшому числу стран, компаний и отдельных лиц», — указано в документе. Кроме того, ИИ несет различные риски, в том числе для мира и безопасности, а также связанные с энергопотреблением поддерживающих ИИ систем во время климатического кризиса. Поэтому разработку, внедрение и использование такой технологии «нельзя оставить только на усмотрение рынка». Поскольку речь идет о трансграничной по структуре и применению технологии, это требует глобального подхода.

[Rasool]

Small Language Models: Survey, Measurements, and Insights - довольно интересная статья, в которой авторы сравнивают по различным критериям 59 малых языковых моделей с открытым исходным кодом. Анализируют такие возможности, как рассуждение, возможность к обучению, математика и кодинг, а также затраты на запуск, задержку ответов и многое другое.

[Rasool]

Сэм Альтман: «До появления сверхинтеллекта осталось несколько тысяч дней».

Цитата:

Гендиректор OpenAI Сэм Альтман представил свое видение будущего, в котором сверхразумный ИИ может появиться уже в этом десятилетии, через «несколько тысяч дней». Он называет наступающий период «Эрой интеллекта», следующей за каменным, аграрным и промышленным веками. Альтман прогнозирует, что персональные ИИ-команды станут частью повседневной жизни, революционизируя образование, медицину и другие сферы. Однако он также предупреждает о потенциальных вызовах, таких как изменения на рынке труда и необходимость масштабной инфраструктуры для доступности ИИ. По его мнению, без необходимых вычислительных мощностей ИИ станет ресурсом, за который будут вестись войны. Несмотря на это, Альтман уверен, что ИИ приведет к глобальному процветанию и решению сложных мировых проблем.

«Возможно, через несколько тысяч дней (!) у нас появится сверхразум; это может занять больше времени, но я уверен, что мы этого достигнем», — написал Альтман в своем личном блоге. Судя по всему, глава OpenAI считает, что сверхинтеллект может появиться в течение ближайшего десятилетия. Для сравнения: 2000 дней — это примерно 5,5 лет, 3000 дней — около 8,2 лет, а 4000 дней — почти 11 лет. Генеральный директор OpenAI знает о перспективных исследованиях в области искусственного интеллекта, которая недоступна общественности. Учитывая это, к его прогнозам стоит прислушиваться.

[Rasool]

Ян Лекун уверен, что ИИ не сможет сравниться с человеческим разумом в ближайшем будущем. В то время как многие технологические лидеры, включая Илона Маска и основателя OpenAI Сэма Альтмана, предсказывают появление сверхчеловеческого ИИ в ближайшие годы, Лекун скептически относится к подобным заявлениям. Он отмечает, что даже самые передовые ИИ-системы не могут конкурировать с интеллектом домашних животных. «У кошек есть мысленная модель мира, долговременная память, способность рассуждать и планировать, а современные ИИ не обладают этими качествами», — говорит он. По его словам, современные модели на самом деле просто предсказывают следующее слово в тексте. Но они настолько хороши в этом, что вводят людей в заблуждение. Из-за их огромных объемов памяти может казаться, что они рассуждают, хотя на самом деле они просто воспроизводят информацию, на которой их уже обучили.

[Dmitriy40]

Тогда это новость про Яна Лекуна, а не про ИИ.

[Serg53]

Rasool в сообщении #1659060 писал(а):

многие технологические лидеры, включая Илона Маска и основателя OpenAI Сэма Альтмана, предсказывают появление сверхчеловеческого ИИ в ближайшие годы

И в чём этот "супер интеллект" будет проявляться, на какие виды деятельности людей может повлиять? Что, появятся какие-то невиданные открытия, изобретения? Или всё ограничится изощрённым балабольством рекламного толка?

[Rasool]

Кай-Фу Ли объявил войну Nvidia и всей ИИ-экосистеме США. И судя по его последним достижениям, шансы победить есть.

(Оффтоп)

Потрясающе интересное выступление китайского ИИ гуру Кай-Фу Ли будут теперь долго обсуждать. Это абсолютно революционное выступление, прозвучавшее на закрытой дискуссии Collective[i] Forecast, Ли посвятил трем темам.

    ИИ-экосистема США (основа мировой ИИ-экосистемы) «невероятно больна». Её необходимо кардинально перестроить, иначе на реальном (практическом) прогрессе ИИ можно ставить крест.

Сегодня ИИ-экосистема состоит из Nvidia и мелких производителей ИИ чипов. При этом производители чипов для ИИ зарабатывают сейчас в год $75 млрд, а вендоры ИИ-инфраструктуры – лишь $10 млрд и вендоры ИИ-приложений — лишь $5 млрд».

«Если мы продолжим работать в этой перевернутой пирамиде, это станет проблемой» — сказал Ли. Т.к. это беспрецедентный переворот в экономике классической технологической отрасли. Традиционно производители приложений получают больше, чем поставщики чипов и систем (напр. Salesforce, внедряя CRM, получает куда больше, чем Dell и Intel, производящие компьютеры и чипы для запуска CRM в облаке)

Оздоровить ИИ-экосистему может лишь создание ИИ-компаниями собственных вертикальных интегрированных технологических стеков, как это сделала Apple с iPhone. Только так станет возможным значительно снизить стоимость генеративного ИИ.

2. Главным направление в разработке моделей должно стать снижение стоимости вывода – это самое важное для создания востребованных бизнесом приложений с ИИ.

Сегодняшняя стандартная стоимость сервиса типа GPT-4 составляет $4,40 за млн токенов. Это эквивалентно 57 центам за запрос —и это непростительно дорого, ибо поисковый запрос в Google (без всякого ИИ) обойдется в 180 раз дешевле.

3. Вторым важнейшим направлением в разработке моделей должен стать переход от универсальных базовых моделей к «экспертным моделям».

Бизнесу нужны не универсальные модели, обученные на океанах неразмеченных данных, собранных из Интернета и других источников. Подход «экспертных моделей» подразумевает создание множества нейронок, обученных на отраслевых данных. Это может обеспечить достижение того же уровня «интеллекта», что и универсальная базовая модель, при использовании гораздо меньшей вычислительной мощности.

Самое потрясающее, что все 3 пункта – это не предложения, основанные на предположениях. Стартап Кай-Фу Ли «01.ai» уже делает все это на практике.

И не просто делает, а уже добивается уникальных результатов.

• Их новая модель Yi-Lightning занимает 6-е место в мире (выше выпущенной 5 мес назад GPT-4o). Но при этом это очень маленькая модель, которая чрезвычайно быстра и недорога (всего $0,14 за млн токенов ). Её производительность сопоставима с Grok-2. Но она обучалась всего на 2000 H100 в течение 1 месяца. Что демонстрирует ненужность 100 тыс H100 и ярдов затрат (обучение Yi-Lightning стоило всего $3 млн).

• 01.ai применяет «экспертный» подход к сбору данных. И хотя «инженерам приходится проводить массу неблагодарной черновой работы» по маркировке и ранжированию данных, но – как считает Ли, - Китай с его резервом дешевых инженерных кадров может сделать это лучше, чем США.

• И даже в создании собственного вертикального интегрированного техно-стека есть прогресс. Напр, за счет использования собственных аппаратных инноваций, стоимость одного запроса к ИИ-поисковику BeaGo составляет всего около 1 цента (что приблизилось к стоимости запроса Google без всякого ИИ)

И еще 3 цитаты Ли:

Сила Китая не в том, чтобы делать лучшие прорывные исследования, которые никто не делал раньше, с бюджетом без ограничений. Сила Китая в том, чтобы построить хорошо, быстро, надежно и при этом дешево.

Для предприятий новое поколение ИИ станет их мозгом, а не периферийными приблудами. Для нефтяных компании ИИ будет добывать нефть. Для финансовых — зарабатывать на деньгах.

Для потребителей сегодняшняя модель смартфона, скорее всего, исчезнет.

А ведь еще 1.5 года назад Ли предупреждал - Китай не станет догонять США в ИИ, а сразу пойдет на обгон.