По-моему, в обоих случаях нужно накладывать одно и то же условие (конечность множества ненулевых элементов в каждой строке и каждом столбце).
Вроде бы на

можно определить умножение и без такого условия: хотя у нас в строке и столбце может быть и бесконечно много ненулевых элементов, но все ненулевые элементы в строке имеют номер столбца больший некоторого

, а все ненулевый элементы столбца - номер строки, меньший некоторого

. В итоге если зафиксировать строку

и столбец

, то число

таких что

конечно, и понятно как определять произведение

. А для

- уже непонятно, т.к. там интервал

может содержать бесконечное число элементов.