Поскольку у вас двумерный случай, попробуйте для начала построить корр.поле, посмотреть, что там вообще с точками происходит. Не исключено, что можно будет сразу увидеть характер нелинейной зависимости. Если она чересчур нелинейна, я могу посоветовать использовать не стандартный анализ, а, например, тесты, разработанные Риццо и Секкеем, вот тут -
http://cran.r-project.org/web/packages/energy/energy.pdf есть и список по анализу нелинейных корреляций, и коды для R. Их вариант анализа лучше распознает нелинейности.