Эта игра очень хорошо и давно известна. По английски она называется MasterMind.
Только т.к. она для детей, то вместо цифр цвета.
в 70-е Кнут писал про стратегии для этой игры (4-х значные числа с цифрами 0..5)
Прежде чем искать оптимальную стратегию, надо определиться как сравнивать две стратегии.
Два наиболее типичных подхода - в средний и худший случай, т.е. сколько вопросов в среднем и сколько вопросов потребуется в худшем случае.
Чаще всего оптимальные стратегии при этих двух подходах различны.
Но даже выбрав способ сравнения, может возникнуть ситуация, когда сразу несколько стратегий оптимальны, в этом случае Ваш вопрос (про вероятность отгадать за k ходов) может быть некоректен - у разных оптимальных стратегий ответы могут отличаться.
Оптимальную стратегия (она очевидно есть в силу конечности игры) науке не известна, так что наличие каких-либо формул сомнительно
Например, Кнут предлагает стратегию с

вопросов в среднем (для 6 цветов).
Вроде как для Вашей игры можно построить стратегию, с не более чем 8 вопросами в худшем случае