Подскажите формулу или в какую сторону смотреть
Одной формулой здесь не отделаешься.
Если по всем правилам, то нужно считать теплопередачу от змеевика к среде, в которую он погружен - все через критерии подобия, включающие: площадь поверхности змеевика, скорость перемешивания (Рейнольдс), коэффициент теплоотдачи (через Нуссельт) , масса жидкой фазы, масса и геометрия реактора, теплоемкости, теплопроводности, вязкость и т.д и т.п.
А это весьма заморочисто - проще экспериментально определить нужные режимы.