Первыми известными владельцами усадьбы были дворяне Урусовы. При них здесь был заложен масштабный архитектурный комплекс. Впоследствии Осташево перешло во владение их родственников из рода Муравьёвых. Николай Муравьев прекрасно управлял усадьбой и даже создал на территории имения молочный двор — прообраз и аналог современных молокозаводов. Однако, сын помещика Александр прославился благодаря участию в движении декабристов. Члены «Союза спасения» неоднократно гостили в Осташеве и обсуждали здесь свои политические замыслы. Существует легенда, согласно которой на территории поместья Муравьёвых был зарыт первый рукописный вариант знаменитой «Конституции» декабристов.

В начале XX века усадьбой Осташево стали владеть представители рода Романовых. В усадьбе поселился Константин Константинович Романов, внук императора Николая Второго. Семья Константина Константиновича очень любила проводить время в усадьбе и воспела этот жизненный период в стихах и воспоминаниях. Но здесь же Романовым пришлось встретить тяжкое испытание. От тяжелого ранения во время Первой мировой войны погиб сын супружеской четы — Олег Константинович. Князя императорской крови, которому на момент смерти исполнился всего 21 год, приняли решение похоронить в Осташеве. Над его могилой была построена церковь в неорусском стиле, освященная в честь Олега Брянского. В советские годы могила Олега Константиновича была варварски разорена. Пострадал и архитектурный комплекс усадьбы: разрушен главный дом, зарос парк. Интерес к усадьбе Осташево вновь возник в наши годы, на волне патриотического настроения и возрождения интереса к роду Романовых. Несмотря на бесхозность, усадьба по-прежнему привлекает внимание туристов. В особенности — постройки в псевдоготическом стиле, дошедшие до нас в неплохой сохранности. В здании конного двора с часами функционирует небольшой музей, посвящённый истории усадьбы. Храм Олега Брянского открыт для верующих и туристов.

В наши дни за Осташево прочно закрепилась народная слава «Усадьбы с Биг-Беном». Туристов впечатляет необычное для наших широт здание-башня в псевдоготическом стиле с часами. Оно действительно напоминает архитектурный символ Лондона. Однако, немногие знают, что это место тесно связано и с декабристами, и с жизнью нескольких известных дворянских фамилий, и с династией Романовых.