Анненковы, жившие в Жеребцово, происходят от орловской ветви Анненковых. Строителем кирпичного дома и первым благоустроителем был Иван Петрович, родившийся, по свидетельству исторических источников, не позднее 1711 года. По всей видимости, этот помещик был очень интересным человеком. Он активно участвовал в жизни Курского уезда и губернии, занимал высокие должности, имел обширную библиотеку, собирал справки о Курской Коренной иконе Божьей матери «Знамение» и оставил после себя своеобразную летопись края. Иван Анненков вел дневники, в которых описывал хозяйственные дела, природные явления и семейные события. Рукописный подлинник находится сейчас в областном краеведческом музее, их частично публиковал Юрий Дегтярев в «Летописи полянской округи».
Каким был усадебный комплекс, можно только представить, основываясь на сохранившихся фото, схемах и документах. Размеры основной постройки – 32 на 22 метра. Рядом с дворцом был разбит красивейший парк площадью 5,5 гектара с аллеями деревьев разных видов. Живое свидетельство утраченного парка – три могучих дуба. Один из них в обхвате примерно такой же, как дуб в Марьино. В 70−е годы, как свидетельствует историческая справка, дереву было 400 лет. То есть сейчас ему чуть меньше 450. Речка Курица, на которой стоит поместье, делала в этом месте крутой поворот, и дворец будто стоял на острове, отделенный от всего мира. Неподалеку был вырыт пруд.
Потомки Петра Ивановича Анненкова занимали поместье до 1−й половины XIX века. Потом имение неоднократно перепродавалось разным владельцам. При одном из них известному курскому купцу Георгию Новосильцеву, производителю алкогольных напитков, был продан местный винный завод. Последней хозяйкой имения была дворянка Ольга Петровна Кушелева. Напуганная восстанием крестьян в 1906 году, она оставила деревню и два года спустя заложила имение банку, который все распродал по частям.
В первые годы советской власти, до прихода осенью 1919 года деникинцев, в усадьбе размещалась местная коммуна «Братство». К началу 20−х годов усадебный дом сильно пострадал и не использовался. После ремонта в 1923–29 годах, как пишет в своих исследованиях архитектор Елена Холодова, здесь находился Дом отдыха железнодорожников. Селяне были враждебно настроены к отдыхающим. После 1932 года тут разместилась школа. Во время войны кровля главного дома была разрушена. После освобождения, уже к сентябрю 1943 года, при участии пленных немцев весь дом был отремонтирован, и в нем разместилась Жеребцовская четырехлетняя, а к концу 40−х годов – 10−летняя средняя школа, которая занимала усадьбу до 1982 года. В этом году в селе Полянском было открыто специализированное здание для школы. С тех пор началось увядание дворца… За эти 30 лет он почти разобран. Впрочем, несмотря на эти печальные события, здание до сих пор поражает своим величием многих туристов.