در 3 کیلومتری جلفا، کاروانسرای ویرانه ای وجود دارد که بنای آن در زمان شاه عباس کبیر به هزینه خواجه نظر ارمنی، از مقربان درگاه شاهی به عمل آمده است. این کاروانسرابه نام کاروانسرای جلفا نیز معروف است.

اورنیه فرانسوی این کاروانسرا را دیده و می نویسد:

خواجه نظر از ارامنه معتبری بود که از جلفا خارج شدند، چون در تجارت ترقی کرد و نزد شاه عباس و جانشین او شاه صفی اعتبارات حصل نمود او را کلانتر ملت ارامنه کردند. به افتخار وطن اصلی خود جلفا، 2 کاروانسرای بزرگ در آن جا بنا کرد که هنوز در طرفین رودخانه باقی هستند و بیشتر از 100000 اکو در آنجا خرج کرد، اما این دو بنای عالی به واسطه فوت بانی ناتمام ماندند.

کاروانسراهای عباسی دارای پلانهای مدور- چند ضلعی – دو ایوانی – کاروانسرا با تالار ستون دار و چهار ایوانی بوده اند. اما در این بین یک سری کاروانسراها دارای پلان های متفاوت با این الگو می باشند. مانند کاروانسرای سبزه وار و نیز کاروانسرای خواجه نظر جلفا. این کاروانسرا دارای حیاط مرکزی و سه ایوان در سه طرف حیاط می باشد بنا در سه ضلع حیاط چرخیده و مصالح آن سنگ تراش و آجر میباشد. دارای پوششهای گنبدی شکل با طاق جناقی می باشد. پلان مستطیل شکل دارد از داخل راهروهایی جهت دسترسی به اتاقها وجود دارد. طول بنا دو برابر عرض آن می باشد.