Não, yoga não é uma religião. Yoga é uma filosofia que começou há aproximadamente 5 mil anos na India.
É possível encontrar alguns elementos do Hinduismo, Budismo ou Sikhismo em certas tradições de yoga, mas não é mandatório estudar estas filosofias para praticar yoga.
E definitivamente não é necessario que você mude nenhuma de suas crenças religiosas para praticar yoga.
Yoga utiliza termos espirituais universais nos mantras (e nos elementos espirituais em geral) utilizados nas práticas.