Prosty dwór parterowy z połowy XIX wieku, nakryty dwuspadowym wysokim dachem, z ryzalitem na osi zwieńczonym arkadą. Dwór poszerzony w XX wieku o alkierz i przybudówkę.
W 1390 roku jako właściciele Brylewa wymieniani Brylewscy. W XVI wieku własność Jączyńskich, Szczurskich i Karchowskich. W pierwszej połowie XVIII wieku należało do Henryka Brühla, ministra króla Augusta III, który na podstawie tej własności dowodził swego polskiego szlachectwa. W 1756 jako właściciel miejscowości figuruje Ludwik Skrzetuski, który sprzedał Brylewo Jakubowi Hersztopskiemu. W XIX wieku własność Hersztopskich i Osińskich, a od roku 1875 aż do drugiej wojny światowej – Ponikiewskich, w tym, w roku 1912, Stanisława Ponikiewskiego, radcy Ziemstwa Kredytowego. Stąd pochodził porucznik Józef Ponikiewski (ur. 1916), adiutant generała Sikorskiego, wraz z którym zginął on w katastrofie gibraltarskiej 4 lipca 1943 roku. Brat Józefa, Stanisław (ur. 1918), zginął w Buchenwaldzie w 1945 roku.
W 1939 roku Brylewo stanowiło własność Hipolita Ponikiewskiego. Majątek w roku 1926 liczył 390 hektarów.