Исходные данные аналогичные. 3 года математики для технарей в универе. Тему изучаю не так давно, где-то год. Поделюсь своим опытом.
Как ориентиры математической подготовки взял
общую программу ШАД Яндекс и
вступельный экзамен магистратуры ФУПМ МФТИ.
Сейчас читаю:
Кудрявцев Л.Д. - Курс математического анализа, том 1
(советовали также Зорича или Фихтенгольца. Ну там дело вкуса и математического образования);
Курош А.Г. - Курс высшей алгебры
(до этого пробовал читать Введение в алгебру часть 1 Кострикина - с трудом шло).
Насчет задачников незнаю. По матану Демидович на слуху. Отточить скиллы до автоматизма. Но ума от этого, думаю, сильно не прибавиться.
По машинному обучению есть русскоязычные курсы на
Coursera от МФТИ и ВШЭ. Если знаешь английский, выбор большой.
Задачи по машинному обучению:
http://kaggle.com/http://archive.ics.uci.edu/ml/Для новичка это так, пока только посмотреть что да как, какие задачи решаются в реале.
Почитываю Коэльо, Ричард - Постоение систем машинного обучения на языке Python. Для серьезных книг по машинному обучению базы не ощущаю.
С одной стороны, лучше хочется хорошо подготовить основание и понимать суть вещей фундаментально. Не обладать поверхностными знаниями. Ну а с другой - всё знать невозможно и зарыться в дебрях легко. Плюс моск начинает отказывать понимать, когда всё слишком оторвано от реальности. Мол, хозяин, зачем нам это, не мотивирушь ты меня. Я для себя выработал такую стратегию. Начинаю изучать что-то непосредственно по data science. Встречается непонятный момент или вообще ничего не понятно. Ищу пробел в базе, какой раздел какой науки и пытаюсь втыкать туда. Ну и так далее. Это как восхождение на вершину. Смотришь на пик и идешь туда. Как только начинаешь скользить, смотришь под ноги и нащупываешь твердое и идешь дальше :)
Хочется, конечно, чтобы пришел волшебник и сказал делай то, читай это. Но, походу, индивидуальная программа строится методом проб и ошибок только самостоятельно.