این بنای سنگی که در زمان صلح به عنوان کاروانسرا و در زمان جنگ، دژی نظامی به شمار می‌رفته را می‌توان پس از پیمودن مسیری 35 کیلومتری از جاده قم - ری در جوار روستای علی‌آباد قم همچنان پا برجا مانده و در میان بخشی از ویرانه‌هایش خودنمایی می‌کند.
اگر چه در چهار دیواره این بنا سکوت حاکم است اما در قرن‌های گذشته کاروانسرایی امن برای مسافران و بازرگانان جلوه نمایی می‌کرده که همچنان از دوره صفوی تاکنون استحکام و مقاومت خود را حفظ کرده است.
طبق کاوش‌های انجام شده مصالح مهم این بنای تاریخی را سنگ لاشه‌ها و ملاط آن را گل، آهک و گچ زبر تشکیل می‌دهد که در استحکام بنا نقش مهمی داشته است. همچنین برای تزئین بخش‌هایی از قلعه سنگی می‌توان خشت‌های خام و آجر را نیز مشاهده کرد.
برای ساخت بنا ابتدا حصار عظیمی مجموع ساختمان کاروانسرا را احاطه کرده و داخل آن حصار که دو تا سه متر ضخامت دارد برج‌های متعددی آن را حمایت می‌کند و بقیه تأسیسات را با ارتفاعی برابر با نصف ارتفاع حصارها شکل گرفته است.
قلعه سنگی دارای هفت برج به بلندای 10 تا 14 متری از سطح زمین است که برای جلوگیری از رانش دیواره‌ها بنا شده و در گذشته به عنوان دیده‌بانی و محل حفاظت از کاروانسرا مورد استفاده قرار گرفته است.
این بنا به صورت چهار ایوانی با دیوارهایی به ضخامت دو تا سه متر دارای حیاطی مرکزی و حجره‌های مختلف است که طول هر ضلع این بنا بیش از 67 متر است و در سازه، هر یک از استطبل‌های نگهداری از حیوانات دارای 10 متر عمق هستند.
همچنین اتاق‌هایی نیز برای قراردادن توشه و بار مسافران در قلعه سنگی وجود دارد که مستقیماً با هوای آزاد در ارتباط هستند و برای مسافران ویژه، بخش‌های مخصوصی در طرف چپ مدخل کاروانسرا ساخته شده بود، یکی از تالارهای این قسمت از کاروانسرا با گنبد بسیار زیبایی پوشیده شده بود.
ایوان‌های کاروانسرا عمیق با پوشش طاق گهواره‌ای و در انتهای آن راهی برای ورود به استطبل قرار دارد. کاروانسرا مشتمل بر 31 اتاق است، اتاق‌هایی که مستقیما با هوای آزاد ارتباط دارند و برای قراردادن توشه و بار مسافران است.
با توجه به کشف چند سکه مغولی از سده‌های 7 و 8 ه ق، احتمال می‌رود بانی این کاروانسرا غازان خان (694 ه. ق) و حتی تاریخ ساخت کاروانسرا مقدم بر حکومت پادشاه مغول باشد.
قلعه در برابر گردنه کوچکی قرار دارد که از بالای گردنه برج کوچک دیده‌بانی از دور پیداست.