только не любые две точки, а два ортонормированных набора. И фактор

справа не нужен. "Эдакий аналог малой группы" называется изотропной подгруппой, это уже тут обсуждалось.
Про

вы можете разобраться сами (и, кажется, это тоже тут где-то раньше обсуждалось), а мне нужно потратить столько же времени, сколько и вам :)
Насчет того, что ничего путного не получится, я не из вредности пишу или желания обидеть. Просто я убежден, что в той области, где вы, видимо, хотите работать, без хорошего руководителя вы будете обречены заниматься изобретением велосипедов. И это никуда не годится, что человек вопросы про свой ресерч задает на форуме. Это просто несерьезно. Опять же, простой критерий: если вы хотите серьезно и самостоятельно работать в какой-то области, то вы должны свободно читать статьи в этой области. Если вы попадаете в затык на пятой странице, то вам рано пытаться двигать науку. Тут для старта нужна помощь хорошего руководителя.
Опять же, это, собственно, не мое дело -- давать вам советы, но раз я пытаюсь отвечать на ваши вопросы, то я чувствую себя ответственным за введение вас в заблуждение, что можно делать ресерч, консультируясь при этом на форумах. Не хочу быть за это ответственным :)