Как выглядит первый миллион чисел...

[Евгений Машеров]

Цитата:

Идея заключается в том, что любое натуральное число можно разложить на простые множители, то есть, представить его в виде произведения простых чисел. Поэтому числу можно сопоставить вектор, где 0 или 1 соответствует тому, что простое число в разложение не входит или входит. До миллиона есть 78628 простых чисел, поэтому в результате получается матрица 1000000 x 78628.
Эта матрица аппроксимируется матрицей 1000000 x 2 алгоритмом UMAP и именно это аппроксимация показана на картинке.

Картинка по ссылке (увы, здешний движок не позволяет вставлять картинки высокого разрешения, а сжимать - терять детали):
https://johnhw.github.io/umap_primes/index.md.html
Там же разные варианты раскраски, видео и 3D


Обсуждение:
https://evgeniirudnyi.livejournal.com/190313.html

[Lia]

Тема перемещена из форума «Дискуссионные темы (М)» в форум «Карантин»
по следующим причинам:

Оформите ссылки, пожалуйста, приведите краткое описание и укажите предмет обсуждения. Стартовый пост очень хочется видеть.

Как будет готово, сообщите в теме Сообщение в карантине исправлено.
Настоятельно рекомендуется ознакомиться с темами Что такое карантин и что нужно делать, чтобы там оказаться и Правила научного форума.

[Lia]

Тема перемещена из форума «Карантин» в форум «Дискуссионные темы (М)»

[ozheredov]

Евгений Машеров

Ну вот, PCA уже не канает :( Автор того журнала приводит ссылку на arxiv, где описывается сам метод визуализации. Сплошная дифференциальная топология и т.п., правда я сразу узнал формулу объема n-мерного шара :) Может есть где объясняется этот UMAP «нормальным языком», для дата-сайентологов?

Ну хорошо, для тупых дата-сайентологов.

-- 30.08.2018, 19:26 --

Ссылка на arxiv. Может кто разберётся. Я не прошу разжевывать мне что там написано, наоборот — скажите что почитать, чтобы написанное там стало мне понятно. В разумных пределах математическая подготовка у меня есть )

https://arxiv.org/pdf/1802.03426.pdf
Это *.pdf с изложением теории метода редуцирования размерностей UMAP

[gris]

Картинка красивая и, наверное, бесполезная. Я понял идею так:
1. Берём $N=10^6$.
2. Берём $\pi(N)=78628$
3. Каждому числу $n$ соответствует массив $(n_i)$ — индикатор простых делителей $n$ без учёта кратностей. Например, $2,4,8,16...\to(1,0,0,0...), 3,9,27...\to(0,1,0,0...),60\to(1,1,1,0...)$.
4. каждый массив интерпретируется как координата точки в 78628-мерном пространстве. Точек, конечно, будет меньше миллиона.
5. Точки раскрашиваются разными способами. Например, нечётные простые — синие, чётные — красные, нечётные составные — жёлтые.
6. Конфигурация некоторым образом проецируется на некоторую плоскость.
7. Восторг эстетический умеренный.
(извините за банальное изложение простого, но чего-то никто не пишет, а жаль...)

Пока писал, уже написали . Меня привлекают чисто визуальные ощущения. Ведь точки лежат в вершинах гиперкуба с центром в $(0.5,0,5...0.5)$, причём степени простых на координатных осях. Как возникают кластеры и петли, пустоты? Что будет, если не ограничивать число точек? Ну это понятно: заполнится весь куб, кроме нулевой вершины (хотя, вероятно, она соответствует числу $1$). Как выглядит проекция гиперкуба на плоскость?

[ozheredov]

gris

1-5: да, это конечно я понял. А вот 6 — неким образом проецируется на некую плоскость... вот каким образом, это и есть предмет моего интереса. А вы уже ходили по ссылке в arxiv? Там вам понятно хоть что-то?

-- 30.08.2018, 19:59 --

gris в сообщении #1335623 писал(а):

Точек, конечно, будет меньше миллиона.

Не меньше ) . Просто некоторые будут сидеть друг на друге

[gris]

ozheredov, вот я этого не понял. Будут ли разные точки с одинаковыми координатами чуть-чуть смещаться? Для повышения яркости числа или пестроты его окраски? Например, $3$ — просто простое, а $9$ ещё и квадрат.

[g______d]

Хотел прокомментировать, но зашёл на оригинальную страницу, там у автора есть два абзаца, в которых написано примерно то, что я хотел сказать.

Цитата:

A very pretty structure emerges; this might be spurious in that it captures more about the layout algorithm than any “true” structure of numbers. However, the visual effect is very appealling and requires no tricky manipulation to create.

Цитата:

It's worth noting that any structure that is not an algorithmic artifact is really the frontier of numbers at some threshold (in this case, 1 million). Every possible finite binary vector corresponds to at least one integer in this representation (actually, infinitely many, as all repeated factors are contracted onto a single binary indicator). Therefore, in the infinite set of integers, all points are present, at every possible angle or distance from each other, and the space would be perfectly evenly filled. However, by cutting off at some specific n, we see the “surface” that we have reached by composing together primes such that their product is less than n.

It might be tempting to say that the images show “what primes look like”; but it would be more accurate to say that they show “what a million looks like”.

[gris]

Раз уж брать миллион, то интересно чисто по картинке определить, что на ней, собственно, нарисовано. Алгоритм проектирования это отдельная сложная тема. А тут, как и говорят авторы, возможен почти развлекательный интерес. Вот столькомерный куб. А ведь даже $2\cdot3\cdot5\cdot7\cdot11\cdot13\cdot17=510510$. Поэтому наши точки содержат не более семи единичек и находятся на расстоянии не больше $2.5$ от начала координат. А все простые на расстоянии $1$ от начала координат. Откуда и куда направлен взгляд? Сколько, всё-таки, точек отмечено (без учёта наложения)? Вот какие вопросы возникают.

[Pavia]

ozheredov в сообщении #1335624 писал(а):

А вот 6 — неким образом проецируется на некую плоскость... вот каким образом, это и есть предмет моего интереса.

Массив чисел разбивается в топологическом пространстве. В тексте указан алгоритм разделения при помощи секущих n-мерных плоскостей, алгоритм k-means.
Каждая группа раскрашивается в свой цвет. А центр этих груп просто размещается путём равномерного заполнения плоскости или как на первой гифке шара. Просто попробуйте сами с генерировать N точек на плоскости равномерно распределённых. Так что-бы расстояние между ними было примерно одинаковыми.

UMAP - мало работ на русском. А вот по t-SENT много.