Hôtel peut-être construit dans la première moitié du 17e siècle, acquis par Pierre Dondel, seigneur de Keranguen, conseiller du roi et premier magistrat au siège présidial de Vannes auprès de son oncle François de La Pierre, sieur des Salles, le 29 mai 1680. Si Pierre Dondel procéda à quelques remaniements dont peut-être la construction d'une aile secondaire, il est plus certain que c'est son fils, Pierre-François Dondel, qui, après son mariage avec la fille d'Olivier Delourme en 1726, fit édifier par ce dernier le corps sur rue en calcaire, rejetant l’escalier dans le corps sur l'arrière avec la création d'une cage d'escalier expliquant le décrochement du mur pignon sud. Le sous-sol reprend le plan en L du premier logis en montrant vers l'est les vestiges d'anciens soupiraux bouchés lors de la création de la cage d'escalier. Le "Plan des ruines de l'ancien château de l'Hermine", dont la copie dressée par Pressat en 1797 est conservée, montre que la tour de la porte Calmont (tour du portier) fait également partie de la propriété Dondel. La famille est encore propriétaire de l'hôtel en 1840 d'après les archives conservées et les travaux engagés sur le mur pignon sud-est qui menace ruine. Bien que le plan d'alignement, dressé en 1840, montre l'aile secondaire de l'hôtel sans extension sur la venelle, il est probable que cette extension ait existé avant cette date, d'ailleurs fermée en rez-de-chaussée par un large portail.
L'ensemble des lambris du logis est repris au 19e siècle. Création par la ville d'une venelle après l'acquisition par cette dernière de la portion de remparts la bordant.
Beau frère et associé de Thomas Dondel, père de Pierre Dondel, François de la Pierre et Thomas Dondel ont été des commerçants d'Hennebont assez avisés pour avoir acheté des charges de fermiers généraux autour d'Hennebont (Vannes et Quimper). Ils auraient aussi racheté les terres autour du lieudit Le Faouëdic lieu qui est choisi par la compagnie des Indes pour s'implanter. Thomas Dondel meurt en 1679. C'est l'année d'après que son fils achète l'Hôtel à son Oncle et devient sénéchal de Vannes.