Le premier château de la Fosse-aux-Loups était un château fort comme le Boudou. Il possédait une chapelle en face du colombier. Le château a été remanié par Alexis-Jean-Ange Viard de Jussé né en 1766 et décédé en 1840, qui a été maire de la commune. Suite à sa mort, le château est devenu la propriété de M. de Lanjamet (de Romillé), qui était marié avec Mademoiselle de Jussé. Il passe ensuite par alliance à M. Vauquelin de la Rivière et à M. Dartige du Fournet. En 1910, il appartenait à M. Monier de Rennes. Le château actuel conserve des parties plus anciennes que le début du 19e siècle, car il existe notamment une date portée (1569) du 16e siècle sur l'aile ouest.