این مسجد یكی از كهن ترین و كم نظیرترین مساجد ایران به شمار می رود كه شیوه های معماری و هنر ادوار مختلف را می توان در آن به تماشا نشست.

مقصوره كهن یا طاق هارونی قدیمی ترین بخش از بنای جامع عتیق قزوین است كه به دهلیز ورودی شرقی آن متصّل بوده و توسط هارون الرشید در سال ۱۹۲ هجری قمری بنا شده است. می گویند شالوده مسجد را بربنیان آتشكده ای نهاده اند . در چهار جهت حیاط آن كه افزون بر چهار هزار متر مربع است چهار ایوان رفیع قراردارد كه دردو سوی هر یك رواقی طولانی ساخته اند. گنبد آجری دوپوش و شبستان جنوبی مسجد به وسیله امیر خمارتاش عمادی در سالهای ۵۰۰ تا ۵۰۹ هجری بنا شده و دارای پنج كتیبه نفیس گچبری شده به خطوط ثلث، نسخ و كوفی است كه از شاهكارهای هنر ایرانی محسوب می شود و علیرغم حمله خانمانسوز مغول و وارد شدن آسیب های جدی به جامع عتیق قزوین همچنان استوار و پرشكوه باقی مانده است. در روزگار شاه طهماسب ایوان شمالی و مناره های كاشی كاری شده نفیس مسجد ساخته شده و ایوان جنوبی در زمان شاه عباس دوم به مدخل مقصوره خمارتاشی ملحق ، ایوان غربی نیز به دستور شاه سلیمان صفوی بناگشته است.

از ویژگی های ممتاز این مسجد علاوه بر داشتن هشت شبستان بزرگ در چهار طرف حیاط، یک شبستان زیرزمینی در ضلع جنوب غربی مسجد است كه بنای آن توسط سعدالسلطنه در روزگار قاجار پایان یافته است.