رفته رفته این ساختمان به عنوان دفتر رئیس‌جمور سابق و دفتر مرکزی دانشگاه ایرانیان لقب گرفت و احمدی‌نژاد و یارانش در ان مستقر شدند اما با استقرار دولت یازدهم، دولتمردان روحانی به فکر پس گرفتن این ساختمان که گفته می‌شد متعلق به وزارت دادگستری است، افتادند و خواستار تخلیه ساختمان لادن شدند.
حمید بقایی از چهره‌های نزدیک به احمدی‌نژاد، همان زمان در این باره گفته بود که بنده در همان روزهای اول که به لادن رفتیم، با حسین فریدن برادر رئیس‌جمهور که وی را از قبل نیز می‌شناختم درباره این مسئله صحبت کردم و وی اطمینان داد که به هرحال دیگر شما اینجا حضور دارید و گرفتن آن دیگر معنایی ندارد، پس بمانید.
او گفته بود: اما با گذشت زمان دوستان ما خلف وعده کردند و با حذف مصوبه دفتر رئیس‌جمهور و تنزیل پرسنل‌های آن به 8 نفر، به زور خواستند که ما لادن را ترک کنیم.
معاون اجرای احمدی‌نژاد در دولت دهم حتی در نامه‌ای به حسن روحانی، رئیس‌جمهور از وی خواست که جلوی تخلیه ساختمان لادن گرفته شود اما این نامه ثمربخش نبود.
در همین ارتباط نیز اکبر ترکان در یک برنامه تلویزیونی، ساختمان لادن را متعلق به منطقه آزاد قشم عنوان کرد و گفت که «ساختمانی را در منطقه آزاد قشم برای دانشگاه احمدی‌نژاد (ایرانیان) واگذار کردند که همه این تخلفات در این حیاط خلوت انجام شده؛ این ساختمان از اموال منطقه آزاد است، مال دولت است به چه حسابی اجاره داده شده است؟ چرا این اموال تاراج شده است؟ مگر ارث پدرتان است؟»
با افزایش تاکیدات دولت برای تخلیه ساختمان لادن، نهایتاً اواخر آبان‌ماه حمید بقایی در گفت‌و‌گو با خبرگزاری تسنیم از تخلیه ساختمان لادن خبر داد و گفت که 3 مکان برای دفتر آقای احمدی‌نژاد در تهران مدنظر داریم که با تصمیم قطعی احمدی‌نژاد یک مکان را انتخاب خواهیم کرد.
حالا، احمدی‌نژاد و یاران نزدیکش به ولنجک و ساختمانی در این منطقه نقل مکان کرده‌اند و تمام برنامه‌ها، دیدارها و برنامه‌ریزی‌ها برای دانشگاه ایرانیان در ساختمان ولنجک صورت می‌گیرد، ساختمانی که نزدیکان احمدی‌نژاد می‌گویند، دولتی نیست و از محل درآمدهای دانشگاه تامین مالی می‌شود.