В период с октября 1941 по конец января 1942 года деревня Матренино находилась в зоне оккупации немецкими войсками. Во время Великой Отечественной войны в Матренино располагался детский дом, который проработал до 1960 года. Подопечные и преподавательский состав интерната размещались в бывшем барском доме. Так описывает усадьбу бывшая учащаяся интерната в период конца 40-х годов ХХ в. «Неподалеку стояло каменное здание – это была школа. И дети, и воспитатели следили за благоустройством территории детского дома. Всюду были дорожки, красивые клумбы, скамеечки, росли кедры. За домом, ближе к реке, был старый разрушенный фонтан, куда мы любили ходить. По периметру школьного огорода росли лиственницы. Хорошо помню липовую аллею, а за нею пруды, куда нас, детей, почему-то не пускали. Зато мы с удовольствием бегали на плотину, сооруженную на реке Берёзе. Справа от плотины была старая мельница с деревянными жерновами. Люди из окрестных деревень приезжали туда на телегах молоть зерно...На реке и прудах в большом количестве жили дикие утки. А на крыше барского дома – аисты».

Сохранились также воспоминания В. Соловьева, проживавшего в интернате в 1950- х гг.: «Несмотря на послевоенную разруху в деревне был порядок. Барский дом был красивый. От дома отходили липовые аллеи, длинною 300 м. В центре усадьбы был фонтан, но уже не работал. В прудах было много рыбы. Мы её ловили и жарили. Чрез декоративный каменный мостик можно было пройти к деревянному зданию кузницы. Кроме дома было ещё одно кирпичное здание (в сторону Рубежка). В них размещались школа для начальных классов и спальни. Около моста через реку Берёзу стояла мельница, и даже работала, а рядом дом мельника Ребане. Ходила молва, что на берегу реки в сторону д. Куркино стояла церковь, примерно 300-400 метров. Говорили, что она провалилась под землю. Учащихся в то время было около 200 человек, в основном школьного возраста. В барском доме жили учащиеся начальной школы (1-3 кл.), а на втором этаже размещались административные кабинеты. Жили эти работники в деревянных домах на территории усадьбы, некоторые снимали жильё у местных жителей в близлежащих деревнях. Начальные классы учились здесь, 5 классы ходили в Марьино (Мешково). А старшие, и я в том числе, ходили напрямую через Бохваловский мох в д. Лопатино. Это были 50-60 годы».

В шестидесятые годы ХХ века в имении находился пионерский лагерь и подсобное хозяйство Нелидовской школы-интерната, а затем пионерский лагерь «Звёздный», в котором отдыхали дети со всех школ города. Парадный вход украшали небольшие статуи пионеров. В это время сооружают дополнительные корпуса, каждый из них поделен на две части, имеет сзади по две веранды.

Также для лагеря были построены: одноэтажное здание клуба, одноэтажное здание медпункта, одноэтажное здание кухни-столовой, одноэтажное здание бани, одноэтажное здание прачечной, одноэтажное строение насосной станции, подведено электричество. Последний раз лагерь принимал детей в 2005 году. В 2008 году усадьба была продана в частные руки и с тех пор страдала от систематичного разорения и вандализма.