Похоже, конечным числом цветов тут не обойтись. Иначе, хотя бы одним цветом будет раскрашено
большое множество (подможество множества натуральных чисел с расходящейся суммой обратных величин). По (недоказанной)
гипотезе Эрдеша оно будет содержать арифметическую прогрессию произвольно большой длины, а уж в ней точно найдется пара членов с разностью в факториал. Кажется, достаточно даже более слабого утверждения, теоремы Семереди.
PS: хотя, конечно, может оказаться так, что каждая из прогрессий большой, но, конечной длины будет иметь "слишком большой" шаг, и тогда необязательно в разностях между членами встретится факториал.