سرای کاظمی بنا به گفته احمد براتی نیا کارشناس فرهنگی بافت تاریخی، متعلق به سید کاظم وزیردواب است که از ماموران محمد شاه بوده است این بنا همانند خانه‌های سنتی ایرانی شامل بیرونی، اندورنی، آب انبار، مطبخ، اصطبل است. حیات بیرونی در جنوب و اندورنی در شمال واقع شده است و خانه فعلی بخش کوچکی از مجموعه ای بوده است که اکنون جدا شده است. آنچه از قسمت اصلی این خانه بازمانده است قسمت شاه نشین است که یک طبقه زیر و یک طبقه روی دارد.
بادگیرها و تزیینات بیرونی و نمای زیبای آجری و پنجره‌های ارسی از ویژگی‌های منحصر به فرد معماری این ساختمان است. قسمتی از طبقه همکف به مرکز اسناد و کتابخانه اختصاص دارد که شامل کتاب‌های مجموعه تاریخ تهران، معماری هنر و همچنین تحقیقات میدانی که میراث فرهنگی انجام و شناسنامه های ثبتی بناها است.