پس از ترک اسرائیل، خان پونس به عنوان یکی از شهرهای معروف اندلسی شناخته شد، که به شهر ارواح نیز شناخته می‌شد. این شهر با فضای مذهبی و فرهنگی منحصر به فرد خود، به مرکزی برای مسلمانان، یهودیان و مسیحیان تبدیل شد و در زمانه اندلس اسلامی به یکی از مرکز‌های علم و فرهنگ معروف شد. اما پس از تحمل تحمل ابادی تشیع، اسرائیلیان از خان پونس فرار کردند و شهر تبدیل به یک شهر خالی از سکنه شد.