Курс К.В.Воронцова по машинному обучению

[BorisIvanov]

Здравствуйте, закончил второй курс мехмата не самого топового вуза и чувствую, что изучение курса К.В.Воронцова идет туго... Теории вероятности, статистики у меня не было. Можете порекомендовать какие книги я должен почитать перед изучением этого курса? Или какими подробными книгами можно заменить этот курс? В списке литературы учебники на английском, а мне бы что-то на русском...

[Dedekind]

BorisIvanov в сообщении #1599246 писал(а):

В списке литературы учебники на английском, а мне бы что-то на русском...

Лучше сразу цельтесь в английский, потом будет намного легче (терминология, чтение документации, поддержка комьюнити и т.д.). Благо, технический язык не особо сложен.

[ozheredov]

Dedekind в сообщении #1599253 писал(а):

Лучше сразу цельтесь в английский

Начинать целиться в английский с научных текстов - верный способ приобрести стойкое отвращение и к английскому, и к научным текстам.

То есть Dedekind разумеется прав - нормальные книги и статьи пишутся на инглише. Но заходить в него нужно либо с индивидуальных занятий с носителем, либо с игр, ютьюба, фильмов, и переписывания с носителями.

[Sdy]

BorisIvanov,
Не уверен, что мой совет вам чем-то поможет, но попробую.
Курс Воронцова читается в МФТИ на 3 курсе. И подразумевается, что вы знаете в том объёме, в котором это рассказывают в МФТИ все "предыдущие" предметы -- линейную алгебру, математический анализ, теорию вероятностей, математическую статистику. Если реально есть желание/время проработать весь материал, то можно зайти на канал Лектория ФПМИ и в разделе плейлистов выбрать себе плейлисты по всем перечисленным дисциплинам, они там все есть. Единственное, что до теории вероятностей на ПМИ там ещё читают "Основы теории меры и теории вероятностей" за авторством Эрлиха, а потом уже саму теорию вероятностей.

И неплохо бы понять, зачем Вам именно курс Воронцова? Да, он вводит весь необходимый математический формализм, да ведёт повествование на высоком уровне, но он практически ничего не доказывает, если Вы любитель разбираться подробно, то всё равно придётся лазить в публикации/книги за доказательством и разъяснениями, всё равно будет идти туго, будет очень много самостоятельной работы, даже если вы предыдущий материал проработаете.
В общем, напишите, цель у вас с этим курсом какая, может быть мне продуктивнее будет Вам просто порекомендовать курсы от других преподавателей/институтов.

[мат-ламер]

Sdy в сообщении #1599268 писал(а):

Курс Воронцова читается в МФТИ на 3 курсе. И подразумевается, что вы знаете в том объёме, в котором это рассказывают в МФТИ все "предыдущие" предметы -- линейную алгебру, математический анализ, теорию вероятностей, математическую статистику.

Недавно по случаю смотрел ролик Гасникова относительно математических курсов на ФПМИ. И они там уже на втором курсе изучают такой курс как "методы оптимизации". Можете посмотреть лекции Гасникова по этому предмету. В частности разделы по стохастической оптимизации.

Sdy в сообщении #1599268 писал(а):

Да, он вводит весь необходимый математический формализм, да ведёт повествование на высоком уровне, но он практически ничего не доказывает, если Вы любитель разбираться подробно, то всё равно придётся лазить в публикации/книги за доказательством и разъяснениями, всё равно будет идти туго, будет очень много самостоятельной работы, даже если вы предыдущий материал проработаете.

Читать можно на двух уровнях. На первом уровне можно разобраться с основными идеями. На втором уровне (если к этому возникнет интерес) можно поразбираться с деталями доказательств. А они там могут быть и не такими простыми. Так, в стохастической оптимизации надо что-то знать из теории мартингалов (это теория случайных процессов). А если вы учитесь на мехмате, то это вас не должно смущать.

[Sdy]

мат-ламер в сообщении #1599275 писал(а):

Недавно по случаю смотрел ролик Гасникова относительно математических курсов на ФПМИ. И они там уже на втором курсе изучают такой курс как "методы оптимизации". Можете посмотреть лекции Гасникова по этому предмету. В частности разделы по стохастической оптимизации.

У него ещё есть классный курс "Математика больших данных". Читается магистрантам, подразумевает что люди знают всю стандартную математическую базу, и делает упор именно на те идеи из разных областей математики что используются в разных областях ML. Я пробовал смотреть, мне понравилось, но в какой-то момент понял, что всё-таки нужно больше знать чем я знал тогда, и отложил его до лучших времён. Этот курс слабо поможет автору темы, просто вспомнилось.

[мат-ламер]

ozheredov в сообщении #1599255 писал(а):

Начинать целиться в английский с научных текстов - верный способ приобрести стойкое отвращение и к английскому, и к научным текстам.

Выражу своё несогласие. Читать свободно английские тексты по специальности - по-видимому, в университете за первые два года обучения должны были вас обучить. А если нет, то неплохо бы самостоятельно заняться этим. По любому в жизни пригодится.

[BorisIvanov]

Sdy в сообщении #1599268 писал(а):

BorisIvanov,
Не уверен, что мой совет вам чем-то поможет, но попробую.
Курс Воронцова читается в МФТИ на 3 курсе. И подразумевается, что вы знаете в том объёме, в котором это рассказывают в МФТИ все "предыдущие" предметы -- линейную алгебру, математический анализ, теорию вероятностей, математическую статистику. Если реально есть желание/время проработать весь материал, то можно зайти на канал Лектория ФПМИ и в разделе плейлистов выбрать себе плейлисты по всем перечисленным дисциплинам, они там все есть. Единственное, что до теории вероятностей на ПМИ там ещё читают "Основы теории меры и теории вероятностей" за авторством Эрлиха, а потом уже саму теорию вероятностей.

И неплохо бы понять, зачем Вам именно курс Воронцова? Да, он вводит весь необходимый математический формализм, да ведёт повествование на высоком уровне, но он практически ничего не доказывает, если Вы любитель разбираться подробно, то всё равно придётся лазить в публикации/книги за доказательством и разъяснениями, всё равно будет идти туго, будет очень много самостоятельной работы, даже если вы предыдущий материал проработаете.
В общем, напишите, цель у вас с этим курсом какая, может быть мне продуктивнее будет Вам просто порекомендовать курсы от других преподавателей/институтов.

Я выбрал научного руководителя, специализирующегося на машинном обучении, а он предложил пройти первым делом этот курс. На самом деле, по видеозаписям лекций проходить курс куда более легче, чем по текстовому варианту. И в текстовой вариант преподаватель вложил больше материала, которого на лекциях не было, и с которым у меня возникли первые сложности и дизморали. Не знаю во что еще упрусь.

Теории вероятности у меня не было, но научник сказал, что там сверх школьных знаний в курсе не требуется - это правда? Математической статистики не было, а все остальное было.

Спасибо за ссылку на канал с лекциями, буду рад дальнейшим рекомендациям.

[ozheredov]

мат-ламер в сообщении #1599279 писал(а):

Читать свободно английские тексты по специальности - по-видимому, в университете за первые два года обучения должны были вас обучить.

И """"обучили"""" (вот так, в пятидесяти кавычках). Это не обучение, это какой-то ералаш типа запихивания тонны вещей в чемодан и прыганья ногами сверху, чтобы закрылась крышка. Язык невозможно объяснить, его также невозможно заучить, его можно только почувствовать, как езду на велосипеде. Университетсткое English-аброзование это: 1) Заучивание тысяч слов. Да, вот так вот: a13ghs28h1h23902hsghjuern - это стол, 2806ag123adsg2 - это стул, и т.д. Именно в качестве такого бессмысленного набора символов воспринимает слова на иностранном человек "без опыта". Точно такое же издевательство над личностью, как заучивание стихов в школе - у ребенка нет никаких ассоциаций, нет опыта отслеживания чужой мысли и чужого настроения - для него строфы это такие же хэши, как я написал выше. Я сейчас, понимая как устроено ассоциативное мышление и т.д., любое стихотворение или песню выучиваю за 10 мин. 2) Тупые тексты про философское значение второго закона Ньютона и т.п. 3) Упор на грамматику, польза которой раскрывается только тогда, когда ты можешь свободно читать, писать и говорить. Если носитель видит, что у тебя скудная лексика, ты не знаешь тонких оборотов языка и вообще ты новичок, то ты для него априори безграмотное чучело, даже если умеешь написать "май нейм из коля" без единой ошибки. В общем, это аброзование либо откровенная диверсия, либо широкий жест по предоставлению рабочих мест одноклеточным училкам, которые в силу хардверных особенностей головного мозга ни на что более не способны.

мат-ламер в сообщении #1599279 писал(а):

А если нет, то неплохо бы самостоятельно заняться этим. По любому в жизни пригодится.

Да, я в свое время занялся. Начал с того, чтобы разобраться куда кликать на англоязычных веб-страницах, чтобы скачать то что нужно. Потом прохождения игр на языке оригинала. Потом подвалили обильные переписка и общение с носителями. Краем глаза просматривал обучающие материалы от людей, обремененных интеллектом в отличие от институтских училок. Сейчас 90% рекомендаций у меня в ютьюбе на английском языке, из которых 90% я могу смотреть и понимать слово в слово без субтитров (тематика -- животные, шахматы, комп.игры, математика, data science, программинг, истори древнего мира). При всем при этом я понимаю, что я полнейший нуб и потребуется вбухать примерно лям рублей, чтобы стать в инглише тем, кем я наметил.

[Sdy]

BorisIvanov в сообщении #1599282 писал(а):

Теории вероятности у меня не было, но научник сказал, что там сверх школьных знаний в курсе не требуется - это правда?

Ну если строить теорию вероятностей как математическую дисциплину на основе теории меры, то по-моему, там очень даже нешкольные знания нужны. Но допустим, для начала бы какую-то интуицию и понять основные моменты, можно начать с курса по теории вероятностей Храброва.
Из плюсов курса -- там всё довольно строго, изложение хорошо продумано, интересные задачи.
Из минусов -- не все темы, что Вам понадобятся там есть. В частности там не так сильно раскрыта тема условной вероятности, как хотелось бы (и за этим раскрытием нужно идти во второй курс, а он на мой взгляд уже куда более непростой), там нет многомерной нормальной случайной величины и задач не так много, как хотелось бы.
Поэтому можно смотреть ещё видео с курса Шабанова. Я даю ссылку на Вики ФКН, там Вам будет и ссылка на видео и на материалы занятий. Там есть всё что Вам нужно для курса Воронцова и даже больше, но это как раз так сказать, продвинутый лекционный курс, может быть сложно.
Из книг -- интересно и легко читается Чернова, Теория вероятностей.
Если математическая подготовка хорошая у вас -- то Боровков, Теория вероятностей и Ширяев, Теория вероятностей.

BorisIvanov в сообщении #1599282 писал(а):

Математической статистики не было, а все остальное было.

Я бы категорически не советовал браться за статистику без проработки теории вероятностей.

-- 29.06.2023, 00:53 --

BorisIvanov в сообщении #1599282 писал(а):

И в текстовой вариант преподаватель вложил больше материала, которого на лекциях не было

Ну у Воронцова конспект лекций супер старый, много лет не правился, он сам об этом говорит. Можете смотреть его лекционный курс в записи и только следом читать конспект по просмотренной теме.

BorisIvanov в сообщении #1599282 писал(а):

и с которым у меня возникли первые сложности и дизморали. Не знаю во что еще упрусь.

Там будет много нетривиальных моментов, которые будут требовать от Вас отличное знание и теории вероятностей и статистики. Просто по тому что бОльшая часть курса, как мне показалось, там отводится на самоусвоение -- интересно разобрать доказательство, читайте литературу или публикации, сам он его вам не расскажет. Неинтересно -- поверьте просто в него и идите дальше.
Если будет прямо совсем не по себе -- смотрите параллельно курс Нейчева. Он тоже читается на третьем курса МФТИ и студентам как раз дают выбор -- выбрать курс Воронцова или курс Нейчева. Во втором курсе более прикладной упор, но зато что-то разжевывается подробнее.

[BorisIvanov]

Sdy в сообщении #1599285 писал(а):

Если будет прямо совсем не по себе -- смотрите параллельно курс Нейчева. Он тоже читается на третьем курса МФТИ и студентам как раз дают выбор -- выбрать курс Воронцова или курс Нейчева. Во втором курсе более прикладной упор, но зато что-то разжевывается подробнее.

А есть ли достойная альтернатива этим курсам в виде учебника на русском?

[Sdy]

BorisIvanov
Мне она к сожалению, неизвестна. Курс Воронцова огромное количество тем затрагивает, пусть некоторые лишь слегка.
Я могу посоветовать посмотреть в сторону книги Мэрфи, Вероятностное машинное обучение, она есть в двух томах, по моему пока только первый перевели.
Правда, перевод на русский там мне абсолютно не понравился, я всё равно читаю английскую версию.
Она поможет разобраться в каких-то темах, но полностью материал не покроет и полного представления, на мой взгляд, не даст.

На русском языке я других книг, из тех что могут Вам помочь, не читал.

[Mihaylo]

BorisIvanov в сообщении #1599246 писал(а):

Теории вероятности, статистики у меня не было.

Это очень и очень плохо. Я бы сказал, печальная ситуация.
Нужно уметь мыслить теорвером/матстатом об объектах нашего мира. Это требует времени, обкатывания на примерах. Одних лекций по теорверу и матстату недостаточно.

[Rasool]

Mihaylo в сообщении #1599512 писал(а):

BorisIvanov в сообщении #1599246 писал(а):

Теории вероятности, статистики у меня не было.

Это очень и очень плохо. Я бы сказал, печальная ситуация.
Нужно уметь мыслить теорвером/матстатом об объектах нашего мира. Это требует времени, обкатывания на примерах. Одних лекций по теорверу и матстату недостаточно.

Говорят, что для хорошего освоения теорвера нужно знать функциональный анализ (например, по учебнику Колмогорова и Фомина).