С телеграм-канала Spydell_finance:
Цитата:
Что можно ожидать от LLMs в 2025 году?
Это как захватывающий блокбастер с непредсказуемым развитием сюжета – интересно и интригующе, но и важно, т.к. от траектории развития ИИ зависит экономический, технологический и даже геополитический мировой ландшафт.
Темп инноваций феноменальный, а вчерашние лидеры очень быстро могут стать аутсайдерами, все меняется очень быстро.
Если компании в секторе ИИ не вносят существенные инновации в среднем раз в 1.5 месяца и значительные модернизации раз в полгода – вероятность вылететь за борт резко возрастает.
Пример компании Anthropic, которая всего полгода назад была в лидерах, а теперь стремительно отказывается (нет рассуждающих модификаций моделей, нет доступа к сети, нет тонкой настройки через условный GPT, как у OpenAI или Gem, как у Google).
Даже OpenAI с «архаичной» моделью ChatGPT 4o безнадежно устарел – по сути, базовая модель не меняется два года и, если бы не релиз o1 осенью и o1 pro зимой с планами внедрения o3 в начале 2025, баланс сил был бы совершенно иным.
На Олимп врывается новой король – DeepSeek R1, но нет гарантий, что удержат темп. В чем секрет успеха DeepSeek R1, как им удалось достигнуть такой эффективности и производительности при столь малых инвестициях? Вероятно, за счет чистого обучения с подкреплением (RL) без предварительного этапа контролируемой тонкой настройки (SFT) плюс самоэволюция через алгоритмы группового сравнения выходных результатов.
Успех DeepSeek заставил более активно действовать OpenAI, ускоряя разработку и внедрение o3, которая могла выйти не ранее середины 2025, эксплуатируя ресурс o1.
По сути, DeepSeek заставляет задуматься, а на какой черт нужны инвестиции в сотни миллиардов долларов в ИИ, когда можно управиться небольшой командой с ресурсами на три (!) порядка меньше, т.е. в тысячи раз?
Феномен DeepSeek еще предстоит изучить, а пока технологический сектор США в ошарашенном состоянии пытается спешно ускорять внедрение прогрессивных моделей.
В следующие три месяца должны быть представлены: OpenAI ChatGPT o3, Google Gemini 2 в расширенной версии с механизмом рассуждения, Grok3, Claude 4 с вероятным доступом в сеть и рассуждением, а особенно интересно, как и в каком направлении будет развиваться DeepSeek?
С каждым месяцем стоимость прогресса возрастает, а видимость прогресса снижается, сейчас уже сложно добиться количественного прогресса, т.к. наборы качественных данных ограничены.
LLM начинаются тренироваться на синтетических данных, сгенерированных самими LLM, но что если изначальное качество генерации остается низким, искажая весь процесс обучения?
Что я ожидаю в 2025?
● Усовершенствованные рассуждения и логические способности (впервые появились в начале осени 2024): LLM станет лучше для решения сложных задач, которые требуют нескольких шагов, планирование и структурированные логические выводы. Это включает в себя понимание причинно-следственных и эффектных рассуждений.
● Контроль над ошибками и верификация результатов – это основное препятствие к внедрению LLMs в бизнес проекты, но процесс активной стабилизации галлюцинации ГИИ начался в 2024 и очевидно будет продолжен в 2025.
● Более глубокая персонализация и настройка через прямые пользовательские инструкции для LLMs (то, что было внедрено еще в конце 2023, но должно получить развитие и улучшение гибкости в 2025 и далее).
● Внедрение пользовательских агентов: обычные скрипты, которые благодаря расширенному функционалу и возможностям ГИИ способны лучше и эффективнее автоматизировать рутинные задачи по широкому спектру. Первый блин комом от OpenAI с ИИ агентом Operator на прошлой неделе, но это только начало.
● Возможность появления глубокого анализа контента так, как это частично пытается внедрить Genspark, что позволит создавать детализированные ответы и исследования на пользовательские запросы через анализ сотен различных источников.
● Развитие поисковых систем на основе ГИИ.
На развитие LLMs смотрю позитивно, понимания при этом, что не стоит ждать чудес сразу – слишком мало времени прошло от массового внедрения.
