А почему нельзя каждому из них дать по 3 ключа?
Потому что тогда любой человек в одиночку сможет открыть сейф, а это запрещено условием.
В исходной задаче полезно рассмотреть двоичную матрицу, имеющую 11 столбцов и минимально возможное число строк. Условие задачи означает, что для любых 5 столбцов этой матрицы должна существовать строчка, в которой в этих столбцах все нули, а для любых 6 столбцов любая строчка матрицы должна содержать хотя бы одну единицу. Для начала нужно понять, какие строчки могут, а какие не могут содержаться в такой матрице.