Érguese no lugar coñecido como Casal de Bouza, lugar este que pertenceu aos dominios do Mosteiro de Oseira, no concello ourensán de Vilamarín.
Sitúase nun lugar pouco elevado sobre unha pequena elevación de rocha granítica que domina as terras chairas que o rodean.
As orixes deste edificio son descoñecidas. O certo e comprobable é que a vila de Vilamarín foi unha das doadas por Afonso VII ao tenente do Castelo de Allariz en recompensa aos seus servizos na guerra. Esta doazón foi confirmada por Fernando III O Santo e por Sancho IV.
Seguindo a María Teresa Ribera Rodríguez o pazo pertenceu ao conde de Ribadavia e foi destruído durante a revolta irmandiña en 1467.
Despois de sufrir un período de abandono, a finais do século XVII, xa formando parte da propiedade do conde de Maceda, foi obxecto de profundas reformas que lle conferiron o actual aspecto de pazo fortificado con solucións arquitectónicas barrocas. No ano 1603 segundo noticias de Ángel del Castillo o conxunto permanecía deshabitado.
Tempo máis tarde vincularase ao conde de Taboada. Segundo Ángel del Castillo, a finais do século XVII figura esta Casa como propiedade do Conde de Maceda. O Catastro de Ensenada confirma esta noticia no século XVIII, xa que dí que en Vilamarín o Conde de Maceda "tiene una casa en el Lugar de Fortaleza, de un alto, con su bodega, granxa, cozina y caballerizas e que paga por todo iso ao Convento de San Paio de Antealtares"
Durante o século XIX pasou por varios donos. A principios do século XX pertenceu á familia de la Maza. Pedro de la Maza vendeullo a Juan López Suárez, que o tivo durante 24 anos, pasando logo a mans de José Vicoña Otero ata que no ano 1976 llo vendeu a actual propietaria, a Deputación Provincial de Ourense.
Esta comezou unha serie de obras de restauración do conxunto que remataron no ano 1987. A dirección das mesmas estivo a cargo do arquitecto Carlos Fernández-Gago Varela. O resultado final foi merecedor da medalla de prata da Asociación Española de Amigos de los Castillos