Код:
\documentclass[a4paper,10pt]{amsart}
...
\usepackage{mathtext}
\usepackage{amssymb}
\usepackage[all]{xy}
\usepackage{graphicx}
\usepackage[T2A]{fontenc}
\usepackage[cp1251]{inputenc}
\usepackage[russian,english]{babel}
...
\begin{document}
\selectlanguage{russian}
...
\begin{thebibliography}{11}
...
\end{thebibliography}
\end{document}
У меня команда \selectlanguage{russian} перед \begin{thebibliography} решает проблему. Вообще, если у Вас статья на русском языке, то в нём где-то такая команда должна быть.