فردی به نام احسان خان قرایی در سال ۱۲۲۱ کار طراحی و معماری بنای این خانه را انجام داد ولی اولین مالک آن تاجری به نام کشمشیان بود. کشمشیان یکی از تجار معروف خشکبار در آن دوران بود و تا دوره پهلوی اول در این خانه اقامت داشت. بعد از فوت او این خانه توسط شخصی به نام توکلی خریداری شد که اکنون این خانه را با نام او می شناسند.