https://arxiv.org/abs/2304.10552?utm_source=perplexity - интерполяцию, тоже применяют, это дает шанс на результат )
Интерполяция в нейронных сетях — это способность модели предсказывать значения целевой функции в точках, лежащих между обучающими примерами, то есть внутри области, охваченной обучающими данными.
Определение:
Интерполяция нейронной сети происходит, когда тестовые данные лежат во выпуклой оболочке обучающего множества. Экстраполяция — если точка вне этой оболочки.
Линейная и нелинейная интерполяция:
Линейная интерполяция — построение промежуточных значений по прямой между двумя точками. В глубоких нейросетях часто используется интерполяция на многообразии, где промежуточные объекты лежат на кривой во вложенном пространстве признаков, что позволяет моделировать сложные нелинейные зависимости
-- 13.06.2025, 10:35 --https://arxiv.org/abs/2310.09806?utm_source=perplexity - LSH улучшают, тоже хорошо
Locality-sensitive hashing (LSH) отличается от других методов случайных проекций при обучении легких нейросетей рядом ключевых особенностей:
Принцип чувствительности к локальности:
LSH специально сконструирован так, чтобы вероятность попадания похожих объектов в одну и ту же "корзину" (bucket) была высокой, а для непохожих — низкой. Это достигается за счет выбора семейства хеш-функций, где схожие объекты имеют большую вероятность коллизии, чем далекие.
Бинаризация и компактность:
В нейросетях с LSH (например, ProjectionNet) проекции реализуются как набор случайных гиперплоскостей: каждый бит проекционного вектора определяется знаком скалярного произведения между входным вектором и случайным вектором. Итоговое представление — битовый вектор, что позволяет хранить и вычислять признаки крайне компактно и эффективно.
Сохранение метрики схожести:
В отличие от обычных случайных проекций (например, Джонсона-Линденштраус), которые стремятся сохранять евклидовы расстояния между всеми парами точек, LSH гарантирует, что именно схожие объекты (по выбранной метрике — косинус, Жаккара и др.) будут иметь схожие хеши, что важно для задач поиска ближайших соседей и кластеризации.
Фиксация проекций:
В ProjectionNet и аналогичных подходах матрица LSH-проекций фиксируется до обучения и не оптимизируется градиентно. Это резко отличает LSH от обучаемых случайных проекций или trainable embeddings, где параметры могут подстраиваться под задачу.
Масштабируемость и независимость от размерности:
LSH-проекции не требуют хранения или вычисления больших матриц весов, и их вычисление не зависит от общего числа признаков или размерности исходного пространства. Это критично для on-device моделей и задач с очень высокой размерностью.
12.06.2025, 10:24 
