Задачи в machine learning

[Quentin1]

Я окончил вуз по специальности, не связанной с программированием или математикой, сейчас работаю в одной организации, которая тоже не связана с machine learning.
На слуху у многих сейчас довольно модное направление в искусственном интеллекте - машинное обучение.
У меня есть интерес получить ученую степень и сделать публикации по machine learning.
В связи с этим у меня возник вопрос:
- какие задачи стоят в machine learning (скажем, чтобы хватило на статью в журнале, желательно ВАК-ском)
- мне нужна мотивация для изучения курса machine learning, которое может занять много времени (я скачал список дисциплин курса Data Science НИУ ВШЭ).
Я нашел список ВАК-ских журналов по этой тематике: www.machinelearning.ru/wiki/index.php?title=Журналы_ВАК_по_тематике_ресурса

[Pphantom]

Quentin1 в сообщении #1111425 писал(а):

У меня есть интерес получить ученую степень и сделать публикации по machine learning.

В связи с чем возник этот интерес? Судя по предыдущему, с тем же успехом у Вас мог возникнуть интерес исполнить партию Одетты/Одилии в Большом театре...

Quentin1 в сообщении #1111425 писал(а):

- мне нужна мотивация для изучения курса machine learning, которое может занять много времени

Т.е. предыдущий интерес достаточной мотивацией для изучения предмета не является?

Знаете, это все даже для троллинга слишком глупо выглядит.

[Quentin1]

Вот нашел, на одном форуме мне посоветовали:

Цитата:

https://www.kaggle.com/ там много турниров, соревнований и практических задач по Data Science и Machine Learning (все на английском).

Вот на русском языке интересный Machine Learning Boot Camp от Mail.ru и Университета Лобачевского: http://mlbootcamp.ru/main/

Вот классный репозиторий данных для задач машинного обучения: http://archive.ics.uci.edu/ml/

[XYZ321]

Вот хороший свежий учебник, написанный для MIT Press известными в машинном обучении специалистами: http://www.deeplearningbook.org/ (Это на случай, если вам, как и мне удобнее читать, а не смотреть видео-курсы). Там даются сначала необходимые знания из математики (так что отсутствие профильного образование вам, скорей всего не будет фатально мешать, хотя и будет ощущаться), а потом рассказывается о самых важных современных моделях. Книга имеет хороший баланс между понятностью и строгостью. Авторы, повторюсь, известные люди - не каждый прохожий опубликуется в Nature: http://www.nature.com/nature/journal/v5 ... 14539.html (кстати, чтобы читать статьи из таких именитых, но платных журналов, лучше всего юзать https://sci-hub.io/ ).

Про мотивацию к конкретным курсам. Пожалуй, самым часто упоминаемым ученым в машинном обучении является Джеффри Хинтон. Сложно найти человека в среди любителей машинного обучения, который о нем не слышал бы. У него есть его видео курс на курсере от университета Торонто: https://ru.coursera.org/instructor/~154

Еще на курсере есть видео курс от Andew Ng : https://ru.coursera.org/learn/machine-learning. Эндрю Ын - основатель курсеры и ведущий специалист в Байду. Байду это Китайскй аналог Гугла и имеет, говорят, приличные успехи в машинном обучении: https://geektimes.ru/post/273582/.

И, в довершение, вот еще один классный ресурс - (http://www.arxiv-sanity.com/search?q=qa). Это поисковик по всем текущим препринтам научных статей, выходящих в области машинного обучения. Статей реально много - можно даже найти и статьи от команд Майкрософта (это текущий победитель бенчмарка ImageNet) и Гугла (который недавно сделал нейросетку, победившую чемпиона мира по Го).

К сожалению, знание английского строго обязательно, и отвертеться никак. Вся движуха в этой области - на нем.

Про задачи - вопрос, конечно, интересный. Имхо, есть два пути выбрать себе задачу. Первый путь - можно почитать статьи (на вышеупомнятом архиве) и посмотреть, чего там исследователи добиваются и как меряют свой успех. Есть разные бенчмарки ( в том числе соревновательные). Например, есть корпусы коротких текстов и вопросов по ним. И люди тренируют сетки, чтоб те отвечали на вопросы по текстам. Или - самый известный бенчмарк по распознаванию образов - Imagenet (он же открытая база изображений для обучения). Некоторые любители обучения с подкреплением заставляют сетки играть в простые игры, например, атари. Можно посмотреть на все это дело, и выбрать цель, которая больше приглянется - и попытаться улучшить имеющиеся по этому бенчмарку результаты. Другой вариант - можно взять какую-нибудь глобальную не решенную проблему, и рискнуть что-то изобрести для нее. Например, как нибудь реализовать в нейросети вот этот эффект: https://en.wikipedia.org/wiki/Fast_mapping . Риск, что ничего не получится, правда, будет выше во втором варианте, чем в первом.

Удачи. Машинное обучение это очень интерсно, и я думаю, вы сделали хороший выбор

Р.S.: про отсутствие скиллов по программированию - есть одна хорошая новость. Пожалуй, самым распространенным языком программирования, на котором сейчас работают с машинным обучением, является питон. Он создан таким, чтобы пользователь мог просто сосредоточиться на описании алгоритма, не отвлекаясь на инженерные сложности вроде ручного управления памятью и всякой там типизации. То есть порог вхождения в него не высокий.

[Quentin1]

Спасибо большое.

[Quentin1]

Мне на LinkedIn упала следующая вакансия:

(Оффтоп)

Цитата:

Описание вакансии

Samsung Electronics Co., Ltd. приглашает на работу инженеров-исследователей (research engineer / researcher), инженеров-разработчиков (R&D engineer / development engineer / developer), инженеров-программистов (software engineer / programming engineer / programmer), а также научных сотрудников (физиков (physics-related scientist / physics engineer / physicist) и химиков (chemistry scientist / chemical engineer / chemist)) (со знанием английского языка) в исследовательские центры компании в Республике Корея.

Особый интерес представляют специалисты и аспиранты следующих направлений:

Разработка решений для информационой безопасности (Mobile Platform Security, Information Security, Library Analysis, Anti-Reversing Algorithms, Discretionary Access Control, Secure Boot, TrustZone, HDCP v2, Virtualization, Security Protocols [IPsec, IKE, ISAKMP, or SSL/TLS], TCP/IP Protocols, Security-Enhanced Linux Kernel, Embedded Linux, Android, C/C++)
Разработка систем на основе искусственного интеллекта, машинного обучения, интеллектуального анализа данных (Artificial Intelligence [AI], Algorithms, Smart TV, Computer Vision, Camera Vision, Pattern Recognition, Image Recognition, Motion Recognition, Content Recognition, Automatic Speech Recognition [ASR], Natural-Language-Processing (NLP), Object Analysis, Image Processing, Image Filtering, Machine Learning, Data Mining, Text-to-Speech [TTS] Systems, Machine Reasoning, Database-Related Applications, Database-Related Services, Data Retrieval, Data Analysis, Mathematical Statistics, Optimization, Neural Networks, Eco-System Development, SDK, Embedded Software, Big Data Technology, Big Data Gathering, Fault Detection and Classification [FDC], Equipment Performance Tracking [EPT], Knowledge Discovery from Manufacturing Database [Equipment Engineering System [EES], MES, SCM], Hadoop, NoSQL, MapReduce, C/C++, Java, Python, Linux, Qt)
Разработка телекоммуникационных систем, сетевых технологий (LTE / GSM / UMTS / WCDMA / Software, IPTV, Cloud Computing, IP-Routing Software, PHY Software, LTE Advanced Systems, Mobile or eNodeB (L1/L2 Layer) LTE Scheduler, Digital Schematics, RISC Processor, Firmware Architecture, CPU Architecture, Hardware Control Algorithms, WCDMA, GSM, Android, Linux, Streaming Protocols [SIP / SDP], Network Protocols [RTP, RTSP, HTTP, HTTPS, XML, IPMI, SNMP, PXE, DCM], Network Security [SLS, TLS, SRTP, HTTPS, Key Exchange], 3GPP Signaling Protocols, TCP / IP, LTE eNB Call Processing Software [S1AP, X2AP, and RRC Protocols; X2/S1 Handover, IRAT Handover], Coding, Radio-Frequency [RF] Power Amplifier, Wideband Power Amplifier, Digital Pre-Distorter [DPD] Algorithms, FPGA, Crest Factor Reduction [CFR], DSP Algorithms, Adaptive Filter Design, CAE Simulation and Analysis, CAE Tool Operation [ANSYS, Cadnece, Sisoft], Operational Systems, LSP, Linux OS, [Booter, Device Driver, Kernel], Linux Device, Linux Kernel, BIOS, Python, PHP, Ethernet, RapidIO, and Socket Programs, OpenStack, CloudStack)
Разработка программного обеспечения для мобильных телефонов и смартфонов (Mobile Data Stream Management System, Virtualization, Object Recognition, Face Detection, Neural Network, Rendering Engine, Web Browser, WebKit, HTML Content, Ontology-Based Description, Semantic Discovery, Hardware Acceleration [SIMD], Rendering Acceleration [OpenGL], Parallel Graphics [OpenCL], 2D/3D Graphics, Software-Defined Networking, Embedded Software Optimization, Translation Engine, Game Engine, Game Aplication, Tizen Platform, Linux Kernel, HTML5, HTML / CSS / Javscript UI Controls, OS Kernel, QT / Gtk / Oracle, DB2, MSSQL, DataBase Language Processing [DBLP], Embedded DBMS , Hypervisor, Xen, KVM, Linux, ARM / Android, C/C++, Cloud and Big Data System [MapReduce, Hadoop, Pig, Hive,HBase, Flume, Kafka, CloudStack, OpenStack, NFS, CIFS] Development / Engineering)
Разработка полупроводниковых устройств, нанотехнологий, светоиспускающих диодов, новых материалов (GaN / GaAs Single Crystal Growth, Photolithography [E-Beam, EUV, RET, Photo Resist Material], CVD, Dry Etch, Cleaning, CMP, Diffusion, Ion Implantation, Metallization, Metrology, Inspection, Epitaxy, Yield / Reliability Improvement of Semiconductor Products, Photo-Resist, Slurry, Target, Precursor, Fluids, Gas, Foup, Wafer, Thin Film, Device Isolation, Transistor, Capacitor, Dielectric, FAB Environment, Mask Process Correction, Optical Proximity Correction, Light-Emitting Diode (LED), Organic Light-Emitting Diode (OLED), Computer-Aided Engineering (CAE) / CAD Simulation, CMOS, SoC Design, Holography, Semiconductor Physics, Nanomaterials, Graphene, Magnetic Materials, Optics, Hydrogen Separation Membranes, Quantum Chemistry, Simulation, Photolithography, Optical Proximity Correction, Metal Gate High-k FinFET, SiO2 / SiON Gate Dielectric, Front-End-of-Line [FEOL], Back-End-of Line [BEOL], Mid-End-of-Line [MEOL], TOF-SIMS, Computer Aided Design [CAD], Electrical CAD [ECAD], TCAD, DRAM, Flash, Chip Warpage Control, Flip-Chip Package / Wafer Level Package (WLP / TSV), Nanotechnology, Nanomaterials, Development / Engineering)
Разработка устройств памяти (Flash Design: Verilog / Circuit Simulation, Core Algorithm Design, Layout / ICC, Verilog Design, NAND / Logic / Algorithm Design, Analog Design, DC, VNAND Modeling, Analog / Digital Mixed Signal, PRAM / MRAM / ReRam, High Frequency Interface Design, DRAM Design: STT-MRAM, RAS Chain / Data Path Design, Cell and Core (VRT, BLSA) and DC, High-Voltage Pump Design, High-Speed IO, IO/DLL Design, ESD/Core Layout, Power Gating Layout Method, DRAM Logic Verification, DRAM RTL and Logic Synthesis, High Bandwidth Memory, S/W Development: SSD / Mobile Flash Storage F/W, Security Performance Analysis/Modeling, Storage System Software, Storage Host S/W (Device Driver, File System) etc.)

Требования к кандидатам:

ОБРАЗОВАНИЕ: Ученая степень кандидата технических, физико-математических или химических наук / обучение в аспирантуре / высшее профессиональное образование по направлению информатика, вычислительная техника, компьютерные технологии, приборостроение, радиоэлектроника, системы управления, сетевые технологии, автоматизация, робототехника, программирование, математика, механика, оптика, физика, химия, или материаловедение (либо иное подходящее техническое / естественно-научное направление)
ОПЫТ РАБОТЫ: Научно-исследовательская и опытно-конструкторская работа (НИОКР) / прикладные разработки в любой из указанных выше областей.


Место работы:
Республика Корея (Южная Корея)

Дополнительная информация: JOB.SAMSUNG.RU

Электронная почта для подачи заявки на английском языке: [e-mail]

[bondkim137]

Quentin1,
не очень понял, не являясь приматом даже на уровне высшего образования (магистра), и не занимаясь в соответсвующей области профессионально, но получив вакансию с требованием КТН, вы интересуетесь, как по-проще получить степень?

[Quentin1]

Я считаю, что для получения ученой степени необходимо решить научную задачу (и опубликовать решение в научном журнале). Для этого предварительно нужно стать профессионалом, по моим прикидкам для этого нужно потратить на самообучение 2 года. Вот я хочу и решить, стоит ли мне заниматься machine learning, каковы мои шансы в этой области, чтобы не тратить два года зря.

[Pphantom]

Quentin1 в сообщении #1115663 писал(а):

Для этого предварительно нужно стать профессионалом, по моим прикидкам для этого нужно потратить на самообучение 2 года.

А Вы, батенька, оптимист.

Сейчас обычно считается, что для перехода от общего образования к PhD нужно $4+2+4=10$ лет. И не самообразования.

[Quentin1]

Ну, тем более. Я хочу выяснить для себя, стоит ли ввязываться в обучение machine learning или нет. Какие задачи сейчас стоят перед исследователями в machine learning? Смогу ли я решить их? И т.д.
У меня сейчас за плечами красный диплом по специальности Электроника, так что часть математических дисциплин мне нужно только освежить в памяти: линейная алгебра, теория вероятности, мат. анализ. Знаю, что такое Back Propagation Algorithm в нейросетях.

[dsge]

Quentin1 в сообщении #1111425 писал(а):

На слуху у многих сейчас довольно модное направление в искусственном интеллекте - машинное обучение.
У меня есть интерес получить ученую степень и сделать публикации по machine learning.

В науке постоянно возникают направления, в которые устремляются много народа, следуя моде. Примерами могут служить кибернетика, синергетика, теория катастроф, диссипативные структуры, искусственный интеллект и т.п. и т.д. Обычно они имеют эмоционально окрашенные названия. По прошествии лет интерес к ним обычно остывает.
Машинное обучение - это тоже модная ветвь математической статистики, имеющая отношение к компьютерно-интенсивным вычислениям. Кроме того, в современном научном мире идет жесткая борьба за финансирование проектов, т.е. получение грантов. Больше шансов имеет та тема, то направление, которое больше впечатлит чиновников, распределяющих гранты, поэтому важно выбрать броское название для темы и убедить чиновников в её важности.
Направление "Машинное обучение" - это яркий пример такой ситуации; например, в США грант за "Машинное обучение" в среднем в 10 раз больше, чем грант за Математическую статистику, поэтому понятно, что специалист по мат.статистике будет стараться любой ценой притянуть за уши "Машинное обучение" в свой проект.
Самое надежное в вашей ситуации - это приобрести фундаментальные знания, скажем в мат.статистике, которые: 1. будут ценны независимо от моды; 2. позволят ориентироваться в любой ситуации в будущем и пригодятся при возникновении новой моды.

[mserg]

Немного поправлю. В типовой задаче Data Mining нужно найти ФУНКЦИЮ или алгоритм, которая/-ый хорошо ПРОГНОЗИРУЕТ. Т.е. можно сказать, что математическая модель известна в функциональной постановке. В статистике же решаются несколько иные задачи. Поэтому математика может использоваться "любая", хотя да, тер. вер. и статистику нужно знать обязательно.

Мне видны следующие направления деятельности по Data Mining
* Создание / поддержка репозиториев
* Изобретение значимых признаков. Например, IBM предлагает различные характеристики текста: отношение (положительное / отрицательное), эмоциональность, и т.п.
* Изобретение значимых характеристик. Наиболее известны сумма, минимум, максимум, "вероятность", корреляция, фрактальные характеристики и т.д. Не так давно на Kaggle исследовалась характеристика "кажуалити" (значение от нуля до 1), т.е. какая переменная от какой зависит. Другими словами имеет ли место функциональная зависимость y=f(x) или же x = g(y). Если первое, то 1, если второе, то 0, если ни то и не сё - непонятно, то 0.5. Например, если данные кучкуются около $y=x^2$, то скорее имеем первый случай, чем второй.
* Математика извлечения значимых признаков. Исходные данные могут быть текст, аудио, видео и т.п. - из них нужно достать признаки.
* Разработка общих пакеты (обычно такие пакеты разрабатываются на репозиториях данных в надежде на то, что реальные данные потом будут в некотором роде похожи на данные обучающих репозиториев)
* Прикладная деятельность, т.е. использование наработок Data Mining на практике
И т.д. По машинному обучению список еще больше. Никаких рамок относительно математики не существует - поэтому учиться потребуется всю жизнь.

[dsge]

mserg в сообщении #1115713 писал(а):

В типовой задаче Data Mining нужно найти ФУНКЦИЮ или алгоритм, которая/-ый хорошо ПРОГНОЗИРУЕТ.

Поскольку прогнозировать абсолютно точно не получается, то чтобы учитывать неопределенности прогноза приходиться обращаться к мат. аппарату, учитывающему эти неопределенности, т.е. теории вероятностей и мат.статистике. Регрессионный анализ, как часть мат.статистики, как раз имеет отношение к поиску ФУНКЦИЙ и алгоритмов для "хороших прогнозов". В Data Mining эти регрессионные модели являются довольно "навороченными" и поэтому требуют больших затрат компьютерного времени и, как следствие, изощренных вычислительных алгоритмов.

mserg в сообщении #1115713 писал(а):

Поэтому математика может использоваться "любая", хотя да, тер. вер. и статистику нужно знать обязательно.

А чтобы знать тер. вер. и статистику надо знать анализ, лин. алгебру, методы оптимизации, численные методы.

mserg в сообщении #1115713 писал(а):

Никаких рамок относительно математики не существует - поэтому учиться потребуется всю жизнь.

Да, это правда. Мне встречались работы в этой области, использующие такую экзотику как функциональный анализ, теорию меры, дифференциальную геометрию, дифференциальную и алгебраическую топологию.

[Quentin1]

dsge в сообщении #1115689 писал(а):

В науке постоянно возникают направления, в которые устремляются много народа, следуя моде. ...Машинное обучение - это тоже модная ветвь математической статистики, имеющая отношение к компьютерно-интенсивным вычислениям. Кроме того, в современном научном мире идет жесткая борьба за финансирование проектов, т.е. получение грантов. Больше шансов имеет та тема, то направление, которое больше впечатлит чиновников, распределяющих гранты, поэтому важно выбрать броское название для темы и убедить чиновников в её важности.
Направление "Машинное обучение" - это яркий пример такой ситуации...

На одном форуме я спросил: "Не является ли хайпом machine learning?"
Мне ответили:

Цитата:

На машинное обучение сейчас опираются практически все когнитивные функции искусственного интеллекта: computer vision, natural language processing, robotics, а также большинство предикативных моделей.

GAA:

Предупреждение за избыточное цитирование. Некоторые цитаты удалены. Часть сокращена.

[Quentin1]

В LinkedIn появилась следующая вакансия:

Цитата:

Research Engineer, R&D Engineer, Software Engineer, SW Developer, Programmer, Design Engineer, Research Scientist (SOUTH KOREA)
Samsung Electronics
Russian Federation

Описание вакансии

Samsung Electronics Co., Ltd. has a number of vacancies for R&D engineers, software engineers, design engineers, and researchers at its corporate RnD centers in the Republic of Korea (SOUTH KOREA).

Of particular interest are specialists majoring in one of the following areas:

RnD AREAS

*Platform- and System-Level Security Solutions

Mobile Platform Security, Information Security, C/C++, etc.

*Artificial Intelligence, Machine-Learning, Deep Learning, and Data-Mining Systems

Smart TV, Computer Vision, Image Recognition, Artificial Intelligence, Machine Learning, Deep Learning, C/C++, Java, etc.

*Mobile-Related / Smartphone-Related Software Development

Mobile Application Software, Virtualization, Object Recognition, Linux, Java, C/C++, etc.

*Network and Telecommunication System Development

LTE / GSM / UMTS / WCDMA / Software, IPTV, Cloud Computing, Linux, etc.

BASIC REQUIREMENTS

ACADEMIC BACKGROUND REQUIREMENTS

Doctor of Philosophy (Ph.D.) / Master of Sceince (MS) / Bachelor of Science (BS) degree in computer science, electronics engineering, mathematics, or optics engineering (or other relevant major)

PROFESSIONAL EXPERIENCE REQUIREMENTS

For MS / BS degree holders, more than 5 years of relevant experience in one of the above-mentioned areas

WORKSITE LOCATION

Republic of Korea (South Korea)

(relocation assistance available)

FURTHER INFORMATION

http://job.samsung.ru/vacancies.aspx

EMAIL TO SUBMIT CV IN ENGLISH

[e-mail]

Насколько реальной может быть такая вакансия?