به دلیل عدم آبیاری درختان میوه اش از بین رفت. درویش خان درختان خشک را در زمینی کاشت. سنگ‌های مختلف و با اشکال خاص را از کوه‌های اطراف جمع کرد و با استفاده از وسایلی که خود ابداع کرده بود، به سیم‌های آهنی آویزان کرد و تا روز‌های آخر عمرش به این کار ادامه داد. به این ترتیب باغ سنگی بنا شد. درویش خان در سال ۱۳۸۶ درگذشت و پیکرش در این باغ دفن شد.