Vaishnava Samhita. Karmadevi Charitam. Vol II Book VI Chp 10 Shloka 18

यत्रैव भक्तिनिष्ठायास्त्वन्तरायोsभिवर्तते I
सद्य एव विनिर्गच्छेत्तस्माद्देशाद्दृढव्रतः  ||

One should quit that place where there are hurdles to the practice of Krishna bhakti.