Где можно почитать или что нужно сделать, чтоб получить эти матрицы 4х4? Или просто в правый нижний квадрат вставить такую же?

Я не понимаю.
Давайте я попробую объяснить. Может (но не факт) у меня проще получится. Для начала нужно выбрать набор векторов. Можно почти как угодно, например так:




Далее определяем, как операторы Паули (первый спин и второй спин отдельно) действуют на эти векторы. При этом считаем, что операторы Паули с индексом единичка действуют только на правый спин в кет-скобке, а с индексом двойка -- только на левый (можно и наоборот, это как больше нравится, но только всегда одинаково).
z-операторы Паули вектор по существу не меняют, только умножают на 1 если спин вверх и на -1 если спин вниз. Тогда получается:
Т.к. здесь правый спин, на который действует оператор, торчит вверх.

То же самое, но теперь "наш" (точнее этого, первого, оператора) спин торчит вниз. Думаю ясно, как определить действие этого оператора и на остальные два состояния. Нужно лишь точно так же смотреть куда в них торчит "наш" спин.
Для второго z-оператора

все точно также, только смотреть теперь нужно не на правый (первый) спин, а на левый (второй).
С остальными матрицами немного сложнее, но тоже, надеюсь, понятно. Там вектор будет не прост о умножаться на число, но еще и заменяться на другой (причем понятно какой в данном базисе: просто не обращайте внимание на "нерабочий" для этого оператора спин, оставляйте его как был).
Получив результат действия всех операторов

,

,

,

,

,

на базисные векторы (см. выше) можно найти и результат действия на эти векторы операторов

. Просто подействуйте сначала одним оператором, а потом --- другим. А дальше и вообще делать нечего: скалярное произведение двух векторв-столбцов --- это тривиально.