Деление на train, val и test выборки

[alexey007]

У меня 16 размеченных фотографий на которых я детектирую дефекты. Я хочу обучить модель Yolo и проверить ее точность на валидационной и тестовой выборке. 16 фотографий явно мало для обучения, поэтому можно использовать различные виды аугментации и получить много фотографий для обучения модели, для определенности будем считать что из 16 фотографий различными видами аугментации (поворт, отражение, сдвиг, изменение яркости и контрастности и т.п.) можно получить, ну условимся для простоты 1000 фотографий. И вот теперь вопрос, насколько правильно использовать из этой 1000 фотографий на валидацию и тест например по 150 - валидация и 150 на тест. Ведь это более менее те же фотки, но видоизмененные.
Наверное, правильнее сделать отбор до аугментации из 16 фотографий, например взять 10 на обучение и аугментировать их для обучения, оставшиеся 3 на валидацию и 3 на тест, но на трех фотографиях проверять точность, маловато будет. Остается аугментировать эти 3 фотографии и на них проверять точность на валидации и тесте, что собственно, тоже как то не очень.
Подскажите пожалуйста, как будет более правильней поступить в моем случае

[Mihaylo]

Что-то мне подсказывает, что аугментация некорректна для размножения дефектов... Вы можете мелкие фото показать?

[gevaraweb]

Mihaylo в сообщении #1581805 писал(а):

детектирую дефекты

А дефекты у вас разных видов рассматриваются?

[alexey007]

Mihaylo в сообщении #1581805 писал(а):

Что-то мне подсказывает, что аугментация некорректна для размножения дефектов... Вы можете мелкие фото показать?

Фотки к сожалению показать не могу, так как есть маркировка на продукции. Дефекты - трещины, царапены, потертости. Думаю, что если повернуть трещину, то нормально аугментируется

[Sonic86]

alexey007, у Вас может быть случай отсутствия дефектов?
Идея такая: можно попытаться накачать побольше фоток (хотя бы сотни) с дефектами и без дефектов, разметить их и обучить нейронку на большом неспецифичном датасете. А потом можно дофайнтюнить несколько верхних слоев сетки на вашем специфичном датасете с аугментациями. 16 фоток - это очень мало. Тест мне кажется должен быть без аугментаций.

[Mihaylo]

alexey007
Ну хотя бы объясните, как эти фото появляются? Их делают смартфоном с руки? Аугментация - это какой-то карго-культ в данном случае, думаю.