Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




На страницу 1, 2  След.
 Использование разработчиками LLM ответов пользователей
Аватара пользователя
 i  Ende
Выделено из темы «ИИ и перспективы математики и математического образования»


vpb в сообщении #1728753 писал(а):
Так я бы всё равно не стал к нему обращаться, если он не будет сугубо локальным. Потому что обращаться означает рассказывать ему свои идеи, то есть отдавать их во всеобщий доступ
Сегодняшние LLM не дообучаются на репликах пользователей. То есть все, что Вы ему скажете, он забудет, как только Вы закроете сессию. Правда, если разработчики суть злоумышленники, то к LLM может быть приделана внешняя память, в которую она может записывать реплики о том, в какой квартире деньги лежат. Но и в этом случае злоумышленникам будет интересно то, на чем можно быстро и хорошо заработать, а математические идеи к этой категории не относятся.

 Re: ИИ и перспективы математики и математического образования
Аватара пользователя
Anton_Peplov в сообщении #1728894 писал(а):
Сегодняшние LLM не дообучаются на репликах пользователей. То есть все, что Вы ему скажете, он забудет, как только Вы закроете сессию.
Это не так. В ChatGPT есть переключатель "Улучшать модель для всех", по умолчанию он включён, так что модель как раз дообучается на диалогах с пользователем (насколько я понимаю, не в реальном времени, а во время запусков дообучения). Этот переключатель можно отключить (у меня он включён).

"Забудет" - тоже неправда. У ChatGPT есть память (которую, опять же, можно отключить, но удобнее этого не делать). И в одном диалоге ChatGPT вполне может вспомнить, о чём шла речь в каких-то других диалогах, и использовать это в ответе (но может и не вспомнить; когда память срабатывает - это приятно, но полагаться на неё пока нельзя и если надо напомнить ChatGPT какую-то информацию, то это стоит делать явно).

Для конфиденциальной информации есть "Временные чаты". Диалоги в них удаляются сразу после закрытия окна и не используются для дообучения модели, а также не сохраняются в памяти. Конечно, люди, слишком ценящие свои идеи и их конфиденциальность, могут не доверять этой информации, и это их право; я же думаю, что подавляющему большинству людей будет удобнее работать не во временных чатах, а с включённой памятью и, возможно, с разрешённым дообучением модели на диалогах.

 Re: ИИ и перспективы математики и математического образования
Mikhail_K in post #1728897 писал(а):
подавляющему большинству людей будет удобнее работать не во временных чатах, а с включённой памятью и, возможно, с разрешённым дообучением модели на диалогах.

Ну с памятью понятно, а в дообучении какое удобство? Она же не локально, конкретно под тебя дообучается?

 Re: ИИ и перспективы математики и математического образования
Аватара пользователя
Dedekind в сообщении #1728899 писал(а):
Ну с памятью понятно, а в дообучении какое удобство?
Удобство тут, конечно же, самое минимальное: не нужно залезать в настройки и отключать поставленную по умолчанию опцию, а ещё можно бесплатно почувствовать себя самую капельку альтруистом :D

 Re: ИИ и перспективы математики и математического образования
Anton_Peplov в сообщении #1728894 писал(а):
Сегодняшние LLM не дообучаются на репликах пользователей. То есть все, что Вы ему скажете, он забудет, как только Вы закроете сессию.

В режиме онлайн они не учатся, это верно. На завтрашние ответы модели не повлияют ни ответы Васи, ни вопросы Пети.
Но если вы согласились сохранять историю (а без этого трудно жить дальше), скажем, в Gemini, то вы автоматически подписались под тем, что они могут использовать ваши данные и реплики для обучения. И используют. Честно предупредив, между прочим.

Есть более новая фишка, когда Gemini хранит экстракт информации по всем чатам о вас, и тем самым, помнит, что у вас болит колено, даже если вы решили сегодня заняться математикой. Это относительно новая фишка, от нее тоже можно отказаться, кстати, в отличие от предыдущей, довольно безболезненно.

Непосредственно, сию минуту, ваша информация на веса модели не влияет, но данные в обучении используются, если только вы не отказались от этого использования, отказавшись от хранения истории. Не настолько прямолинейно, правда, как многие себе представляют - мол, раз я написал, то ИИ это запомнит и будет пользоваться. А как полигон для тренировки новых версий.

Надо тут оговориться. Непосредственно данные точно не могут использоваться как ответы, а вот сливы на почве уязвимостей бывают. Недавно вон дипсик пострадал на этой почве, когда в сети оказалось огромное количество запросов к нему. Буквально на днях. С чувствительной информацией и конфиденциальными данными.

Так что про не обучается верно наполовину, но завтра - нет, не забудет.

 Re: ИИ и перспективы математики и математического образования
Аватара пользователя
Ок. Отстал я, значит, от жизни.

 Re: ИИ и перспективы математики и математического образования
Mikhail_K в сообщении #1728897 писал(а):
Это не так. В ChatGPT есть переключатель "Улучшать модель для всех", по умолчанию он включён, так что модель как раз дообучается на диалогах с пользователем (насколько я понимаю, не в реальном времени, а во время запусков дообучения). Этот переключатель можно отключить (у меня он включён).


В Claude также, а вот в Гемини есть какое-то соглашение, что модель не будет дообучаться в диалогах с пользователями - вроде европейское законодательство запретило, а Google очень активно переносит дата-центры в Европу.

Combat Zone в сообщении #1728906 писал(а):
Есть более новая фишка, когда Gemini хранит экстракт информации по всем чатам о вас, и тем самым, помнит, что у вас болит колено, даже если вы решили сегодня заняться математикой. Это относительно новая фишка, от нее тоже можно отказаться, кстати, в отличие от предыдущей, довольно безболезненно.


Это опять же из-за европейского законодательства - для работы с государственными и муниципальными органами без этого не дают заключать контракты.

 Re: ИИ и перспективы математики и математического образования
Цитата:
How your activity is used
Google uses your activity to provide, develop, and improve its services (including training generative AI models), as well as to protect Google, its users, and the public with the help of human reviewers. Data reviewed by service providers is disconnected from your account and saved for 3 years. Your audio and Gemini Live videos and screenshares aren’t used to improve Google services by default. Depending on your settings and region, Google also uses your activity to personalize your experience.

You’re in control
Your activity is auto-deleted after 18 months. You can change this to 3 or 36 months, or choose not to auto-delete. You can turn this setting off or review and delete your activity anytime in Gemini Apps Activity.

Ну что гадать. https://support.google.com/gemini/answer/13594961

 Re: ИИ и перспективы математики и математического образования
Я сижу чаще с корпоративной учетки, у меня в соглашении прямо был пункт, что все данные остаются в контуре и не передаются для дообучения ни при каком случае, но могут все равно использоваться для персонализации поиска. Видимо, зависит от учетки: надо в личную заглянуть.

 Re: ИИ и перспективы математики и математического образования
Ghost_of_past
В моей корпоративной учетке (где все эти правила не написаны, это, конечно, нужно наружу выйти) в соотв. моделях значится только - не для NDA и не для личной информации. Пометка, можно сказать, вручную. На всех внешних моделях.

 Re: ИИ и перспективы математики и математического образования
Combat Zone в сообщении #1728917 писал(а):
В моей корпоративной учетке (где все эти правила не написаны, это, конечно, нужно наружу выйти) в соотв. моделях значится только - не для NDA и не для личной информации. Пометка, можно сказать, вручную. На всех внешних моделях.


У нас в учетке есть разрешение даже на информацию из NDA и по нашему соглашению Гугл за ее сохранность несет юридическую ответственность по законодательству ЕС. Возможно от типа подписки зависит или чего-то подобного. Ради любопытства стоит посмотреть Claude: там я наоборот сижу обычно только с личного аккаунта, надо взглянуть, что в корпоративной учетке.

 Re: Использование разработчиками LLM ответов пользователей
Аватара пользователя
Anton_Peplov в сообщении #1728894 писал(а):
То есть все, что Вы ему скажете, он забудет, как только Вы закроете сессию.

Алиса AI помнит всё, что я у неё раньше спрашивал:
Алиса AI писал(а):
Связь с твоими прошлыми интересами

Учитывая твой интерес к тензорам и математическим структурам: ...

А гугловый AI вообще выпытал у меня какую конкретно сумму денег и через какого брокера я собрался отнести на биржу тогда когда я спрашивал у него про ситуацию на рынке ОФЗ.

 Re: Использование разработчиками LLM ответов пользователей
SergeyGubanov
У Алисы кросс-чатовая память неотключаема (и невключаема, вшита по умолчанию). Мне здорово мешает, например.
А с остальной можно как-то бороться. Как - вы можете у нее у самой спросить, она доступно расскажет.

 Re: Использование разработчиками LLM ответов пользователей
SergeyGubanov в сообщении #1728931 писал(а):
А гугловый AI вообще выпытал у меня какую конкретно сумму денег и через какого брокера я собрался отнести на биржу тогда когда я спрашивал у него про ситуацию на рынке ОФЗ.


Узнаю Гемини. Она может очень хорошо использовать при текущих диалогах даже то, что обсуждалось пару лет назад в диалогах, которые не удалены. Собственно говоря, поэтому и пользуюсь для работы ею, так как не надо с нуля все время все объяснять.

 Re: Использование разработчиками LLM ответов пользователей
Насчет памяти.
Эти функции можно включить в Codex. Когда они появились в Кодексе, не знаю.

"
Enable memories может:
извлекать полезные сведения из завершённых задач;
запоминать ваши предпочтения, решения и состояние долгосрочных проектов;
добавлять релевантные воспоминания в контекст новых задач;
избавлять вас от необходимости каждый раз повторять одни и те же сведения.
Allow memory generation from tool-assisted chats
Этот параметр разрешает создавать такие записи из задач, в которых использовались веб-поиск, MCP, подключённые сервисы или другие инструменты. Если его выключить, подобные задачи смогут использовать уже существующую память, но не станут источником новых воспоминаний.
"


За последние 3 дня кеширование входных токенов у меня в кодексе - 97% .

На днях случайно нашел программу Obsidian Mind: https://github.com/breferrari/obsidian-mind
Программа разработана для Claude Code, Codex и Gemini CLI. Я оптимизировал и адаптировал её под свои нужды, попросив модель собрать все паттерны использования Codex за последние 4 месяца - с момента его установки на мой компьютер. Недавно начал пользоваться.


Код: [ скачать ] [ спрятать ]
  1. Obsidian Mind улучшила работу Codex, добавив ему внешнюю долговременную память. Она не изменяет саму модель и не делает её «умнее», но помогает сохранять и восстанавливать рабочий контекст. 
  2. Основные улучшения: 
  3. Сохранение контекста между перезапусками. 
  4. Проверенные сведения записываются в Markdown-файлы в C:\Users\...\Documents\ObsidianMind, поэтому они не исчезают после закрытия Codex. 
  5. Восстановление после сжатия контекста. 
  6. После сжатия контекста (compaction) Codex может повторно загрузить активную заметку и продолжить работу с сохранённого состояния. 
  7. Автоматическое определение проекта. 
  8. Obsidian Mind сопоставляет текущую рабочую папку с зарегистрированным проектом и загружает соответствующую заметку. Например, папка Goedel_Architect связывается с проектом системной безопасности и обслуживания. 
  9. Сохранение только полезной информации. 
  10. В память записываются проверенное состояние, решения, результаты тестов, точные пути, версии, неудачные подходы, нерешённые вопросы и следующие действия. Полные стенограммы разговоров обычно не копируются. 
  11. Более точное продолжение работы. 
  12. Codex реже повторяет уже выполненные исследования, забывает принятые решения и предлагает ранее отвергнутые варианты. 
  13. Локальный поиск по знаниям. 
  14. QMD поддерживает точный и смысловой поиск по заметкам. Результат поиска служит указателем, а Codex должен открыть исходную заметку перед использованием информации. 
  15. Контроль целостности и безопасности. 
  16. Заметки должны отделять подтверждённые факты от предположений. Пароли, ключи API, токены, cookies и другие секреты сохранять в них запрещено. 
  17. Главное ограничение: Obsidian Mind помнит только то, что было записано при создании checkpoint. Это не автоматическая копия каждого сообщения и не полное сохранение внутреннего контекста модели. Иными словами, система сделала Codex более последовательным, воспроизводимым и пригодным для длительной работы над проектами. 



Установил Obsidian Mind пару дней назад. Работа над проектами стала идти заметно быстрее. Объем контекста в Codex ограничен, поэтому при приближении к установленному пределу запускается автоматическое сжатие (autocompact). После него значительная часть информации теряется. Obsidian Mind эффективно сохраняет информацию между сессиями и повторно загружает контекст после сжатия. Сейчас работа в Codex иде быстрее.

На днях хочу разобраться, как распределять задачи между моделями: простые рутинные задания поручать более дешевым моделям, например DeepSeek, а сложные и критически важные части проекта - более мощным моделям. Такой подход уже широко применяется. Опытные пользователи утверждают, что даже с учетом нескольких повторных попыток использование недорогих моделей обходится намного дешевле.

 [ Сообщений: 16 ]  На страницу 1, 2  След.


Соглашение о конфиденциальности | Общие правила

Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group