Le gouverneur, nommé par le Marquis de Ouessant, puis par le roi de France, représentait le royaume, levait l'impôt et rendait la justice sur l'île.

L'ancien bâtiment du gouvernement est datable du 18e. Il a servi de logement au chirurgien de la Marine après la Révolution. L'atlas des bâtiments militaires des places de France indique qu'il s'agissait, vers 1846, du logement de l'inspecteur des signaux. Des modifications ont été apportées au bâtiment en 1898. Les travaux de rénovation dans les années 1970 ont supprimé les lambris et l'escalier à balustres du 18e siècle.