До отмены крепостного права Заозерьем владели в разное время известные дворянские фамилии: Одоевские, Волконские. Последние хозяева — Салтыковы, родители Михаила Салтыкова-Щедрина.