https://developer.nvidia.com/category/zone/cuda-zone Если не можете/не хотите вникать в английский, есть книга "Технология CUDA в примерах" (по ссылке её тоже рекомендуют), но всего она не заменит.
При установке даётся документация и много примеров. В исходниках можно найти интересные моменты. В 5й версии ещё есть pdf с описанием для некоторых примеров (по-моему, раньше такого не было).
Возможно, вам почти ничего не придётся делать. Очень многое уже реализовано и доступно (например, CUBLAS и CUSPARSE даются сразу при установке).
