بنای اصلی مسجد جلیلی مربوط به دوران زندیه بوده و قدیمی‌ترین مسجد در شهر کرمانشاه به شمار می‌آید
بنای اصلی مسجد آقا شیخ هادی جلیلی به سال ۱۱۸۵ هجری قمری (۱۷۷۱ میلادی) باز می‌گردد.
این مسجد اولین مسجدی بود که پس از نابودی قلعهٔ کرمانشاه در جوار رودخانهٔ قره‌سو و تجدید بنای شهر در درهٔ رود آبشوران در این شهر ساخته می‌شد و هم‌اکنون قدیمی‌ترین مسجد شهر کرمانشاه به شمار می‌آید.
در آن سال که مقارن با پادشاهی کریم‌خان زند بود، فردی به نام شفیع‌خان زند با هدف آوردن ملاعبدالجلیل جلیلی زنگنهٔ کرکوکی به کرمانشاه اقدام به ساخت این مسجد کرد.
ملا عبدالجلیل جلیلی با ساخت این مسجد به کرمانشاه آمده و اقامهٔ نماز را در دست گرفت.
سال‌ها بعد و در سال ۱۲۹۵ خورشیدی (۱۹۱۶ میلادی) یکی از نوادگان ملا عبدالجلیل به نام عبدالرحمن جلیلی مسجد را توسعه داده و تعمیر کرد.
در خیابان‌کشی‌های دوران پهلوی این مسجد در طرح ساخت خیابان جلیلی قرار گرفت، اما به دلیل قدمت مسجد تخریب نشد و مکان قرارگیری آن به صورت میدانی درآمد.
در سال ۱۳۵۳ عبدالجلیل جلیلی پسر محمدهادی جلیلی بار دیگر اقدام به تجدید بنای مسجد کرد و دو مناره و یک گنبد بزرگ بر روی آن ساخت و نمای آن را تغییر داد.
کاشی کاری دو مناره و گنبد مسجد تا دههٔ ۱۳۸۰ انجام نشده‌بود و مناره‌ها و گنبد پوشش کاشی نداشت.
هم‌اکنون مسجد آقاشیخ هادی جلیلی در وسط میدانی به همین نام قرار دارد.
این مسجد دارای معماری اسلامی خاصی است و از آنجایی که در بخشی از مرکز شهر واقع شده، مناره‌های بلند آن از چند طرف قابل رویت است .