Целые сутки уже думаю, не то, чтоб напряжённо, а так, время от времени возвращаюсь. Первый пункт решил, остальные пока непонятно, как решать.
Обозначу несколько очевидных следствий из условия.
1)
![$0 \neq [0]$ $0 \neq [0]$](https://dxdy-04.korotkov.co.uk/f/3/3/0/3308209a56fface02b758f0c455f167282.png)
, так как нет замкнутых подгрупп.
2)
![$[[y]] = y + [[0] - y]$ $[[y]] = y + [[0] - y]$](https://dxdy-02.korotkov.co.uk/f/9/d/2/9d2029a2ddcab2be08555248a142053e82.png)
, в частности,
![$[[[0]]] = [0] + [0]$ $[[[0]]] = [0] + [0]$](https://dxdy-03.korotkov.co.uk/f/2/c/b/2cbd3bacb4a3cb0d21957e2eb5e75d8882.png)
.
3)
![$x \neq y \Rightarrow [x] \neq [y]$ $x \neq y \Rightarrow [x] \neq [y]$](https://dxdy-01.korotkov.co.uk/f/4/5/0/450bc9df42ca9dfe2f6236de26c4cdf682.png)
.
4) В

нет инволюций (то есть ненулевых

со свойством

).
5) Если

конечна, то
![$[]$ $[]$](https://dxdy-01.korotkov.co.uk/f/c/a/b/caba7d3b8508a5a054a5119af5020fa982.png)
- биекция. В частности, найдётся

со свойством
![$[y_0] = 0$ $[y_0] = 0$](https://dxdy-04.korotkov.co.uk/f/3/e/d/3ed75e901afb2a563b837f8970cd812082.png)
. Для этого

справедливо
![$[x] - y_0 = [[x]-y_0]$ $[x] - y_0 = [[x]-y_0]$](https://dxdy-03.korotkov.co.uk/f/a/6/2/a627d3069b9e9740a96f122d80194afd82.png)
.
Из 1 и 5 сразу следует, что

не может быть конечной. Остальные пункты пока под вопросом.
Вообще, было бы интересно посмотреть на пример группы с такой операцией. Есть какие-нибудь естественные примеры?