Естественно, там будет рекурсия, в определение входит само

. Это примерно то же самое, что написать
Код:
f[x, y] = f[x, y] + 1
Так пойдет:
Код:
f[x, y] = x + Solve[g[x, y]^2 + 5*fict_var == 0, fict_var][[1, 1, 2]]
Если символ

был до этого не определен, то можно так:
Код:
f[x_, y_] = x + Solve[g[x, y]^2 + 5*f[x, y] == 0, f[x, y]][[1, 1, 2]]
но только один раз и лучше этого не делать.