" Le lieu, maison et manoir noble du Fresne, en la paroisse de Caro, consistant en un grand corps de logis à un étage, contenant, au rez-de-chaussée, une cuisine, près de laquelle est l'escalier et la tour du colombier ; au premier étage six chambres et un cabinet. Au devant est une cour fermière, où est la buanderie et la chapelle dédiée à Notre-Dame de Liesse, où la messe est célébrée chaque jour, par suite d'une fondation d'une rente annuelle de trente-six livres. Autour de la cour sont les écuries, une réserve à carrosses, le pressoir et la boulangerie flanquée d'une demi-tourelle ronde. En arrière est une basse-cour où se trouvent les bâtiments de la métairie du Fresne. "

Cette description est celle faite dans la déclaration de la seigneurie du Fresne en Caro, lors de la réformation du domaine royal de Ploërmel, le 5 décembre 1676, par Laurent-François de Saint-Malon, seigneur du Fresne.

(Extrait de Patrick MAHÉO, Caro, Mille ans d'histoire. I. Des origines à 1793.)

Enquête de 1986

Édifice partiellement en ruines et abandonné, construit en deux campagnes principales : l'aile nord date de la fin du 16e siècle ; cette aile est construite en pierre de taille de schiste ; l'aile en retour vers le sud est plus récente (17e siècle), construite en moellons de schiste, baies en grès ; collage au droit de la cage d'escalier et au départ de la tour.

La tour, ouverte de trois meurtrières, et sa jumelle complètement ruinée sont peut-être les souvenirs d'un bâtiment plus ancien. Leur destination d'origine est inconnue.

(J. P. Ducouret)