Вслед за первой зимой ИИ (после 60-х годов) и второй (после 80-х годов, когда появились первые многослойные НС и экспертные системы) ожидается третья - после 2010-х, когда появились НС с глубоким обучением. Опять же, как и при крахе доткомов в нулевые, сети с глубоким обучением вызвали хайп и высказывания типа "кто займется глубоким обучением, тот станет первым триллионером в истории". Сейчас наблюдаем некоторое отрезвление в области глубокого обучения. Что же имеем в сухом остатке? В книге Франсуа Шолле "Глубокое обучение на Python" написано:
Цитата:
Глубокое обучение имеет несколько свойств, которые оправдывают его статус как революции в ИИ, и оно задержится надолго. Возможно, нейронные сети исчезнут через два десятилетия, но все, что останется взамен, будет прямым наследником современного глубокого обучения и его основных идей. Эти важнейшие свойства можно разделить на три категории:
Простота - глубокое обучение избавляет от необходимости конструировать признаки, заменяя сложные, противоречивые и тяжелые конвейеры простыми обучаемыми моделями, которые обычно строятся с использованием пяти-шести тензорных операций.
Масштабируемость - глубокое обучение легко поддается распараллеливанию на GPU или TPU, поэтому оно в полной мере может использовать закон Мура. Кроме того, обучение моделей можно производить итеративно, на небольших пакетах данных, что дает возможность проводить обучение на наборах данных произвольного размера. (Единственным узким местом является объем доступной вычислительной мощности для параллельных вычислений, которая, как следует из закона Мура, является быстро перемещающимся барьером.)
Гибкость и готовность к многократному использованию - в отличие от многих предшествовавших подходов, модели глубокого обучения могут обучаться на дополнительных данных без полного перезапуска, что делает их пригодными для непрерывного и продолжительного обучения - очень важное свойство для очень больших промышленных моделей. Кроме того, обучаемые модели глубокого обучения можно перенацеливать и, соответственно использовать многократно: например, модель, обученную классификации изображений, можно включить в конвейер обработки видео. Это позволяет использовать предыдущие наработки для создания все более сложных и мощных моделей. Это также позволяет применять глубокое обучение к очень маленьким объемам данных.
Глубокое обучение находится в центре внимания всего несколько лет, и мы еще не определили границы его возможностей. Каждый месяц мы узнаем о новых и новых вариантах использования и инженерных усовершенствованиях, которые снимают предыдущие ограничения. После научной революции прогресс обычно развивается по сигмоиде: сначала наблюдается быстрый рост, который постепенно стабилизируется, когда исследователи сталкиваются с труднопреодолимыми ограничениями, и затем дальнейшие усовершенствования замедляются. В 2017 году глубокое обучение, по всей видимости, находилось на первой половине этой сигмоиды, а это значит, что в следующие несколько лет можно ожидать еще большего прогресса.
