وجود داشت که داستان ویرانی آن غم انگیز و عبرت آمیز است. داستانی که از گذشته در میان مردم شهر رواج دارد آن است که ناصر الدین شاه قاجار این قلعه را چون مشرف به منازل و حریم خصوصی مردم بود تخریب کرد اما حقیقت چیز دیگریست. ناصر الدین شاه در دو نوبت در جستجوی گنجینه‌های بازمانده از عصر ساسانی این دژ را به ویرانی کشانید. شاه هیچگاه به هدف خود نرسید اما دژ ساسانی، یادگار ایرانیان کهن جای خود را به ویرانه‌ای تاثر برانگیز داد. او قبل از جستجو دستور داد تا چندین تصویر از دژ تهیه شود و این تصاویر تنها چیزیست که از آن دژ، یادواره تمدن و عظمت ساسانیان، به دست ما رسیده است.