Все проще. Автор последовательно применяет преобразование 

. Так что это должно сходится к корню уравнения 

. 
Так и есть. Числа в радианах. Косинус первого дает второе, а синус второго - первое.
Добавлено спустя 3 минуты 47 секунд:
К автору: есть общий математический результат, что если последовательно применять к числу некоторое преобразование: 

, 

, 

,...
то 
при выполнении определенных условий последовательность сходится к неподвижной точке этого преобразования. Неподвижная точка - такая, которая переходит в себя, т.е. корень уравнения 

.