Belle-Île apparait vite comme une destination idéale. Perdue en pleine mer dans une Bretagne encore méconnue, sa situation géographique rend les évasions quasi impossibles et, avantage supplémentaire, elle est dotée d’une garnison, cantonnée dans la citadelle toute proche, apte à réprimer d’éventuelles révoltes.
Dès la fin juin 1848, le Génie militaire est chargé de construire, sur les glacis de la citadelle édifiée jadis par Vauban, au lieu-dit Haute-Boulogne, des baraquements pouvant recevoir trois mille détenus.
Le 21 septembre, le « Dépôt de Belle-île » est officiellement institué. Le 30 octobre 1850, Auguste Blanqui arrive à Belle-Ile où il retrouve les déportés de mai 1848 et ceux de juin 1849. Parmi ceux-ci se trouvent Armand Barbès.
De 1849 à 1857, 1.200 prisonniers vont transiter par Belle-île.
La première année d’existence du « Dépôt de Belle-île » est un peu « folklorique ». Sous l’autorité débonnaire de son directeur, Antony Béraud, un militaire atypique, écrivain, chansonnier, auteur dramatique et ancien directeur de plusieurs théâtres parisiens, secondé par dix-neuf gardiens civils, la prison improvise son fonctionnement. Les détenus, n’étant pas astreints au travail, ont tout le loisir de créer une vie démocratique dans cet univers carcéral.
Des clubs voient le jour ainsi qu’un journal manuscrit, on organise des forums de discussion où les partisans de Blanqui et les disciples de Barbés s’affrontent en des joutes oratoires enflammées. Bien vite les autorités s’inquiètent. Les rencontres trop fréquentes des prisonniers avec la population belliloise font naître des idées subversives « dont la population était bien éloignée avant l’arrivée de ces misérables… » parmi les pêcheurs et les ouvriers des sardineries. Le préfet du Morbihan s’émeut : « La première mesure à prendre ne devrait-elle pas avoir pour objet d’isoler ce foyer de contagion ».
Rapidement les critiques fusent de toute part pour condamner cette gouvernance « libérale » et on préconise la nomination d’hommes à poigne. En 1850 Béraud est remplacé par un lieutenant-colonel de gendarmerie, Dufraisse de Kerlan, qui laisse vite place à un autre gendarme plus aguerri, le colonel Pierre, autoritaire mais remarquable gestionnaire. Jusqu’en 1858 cinq directeurs se succèdent : Vallet, ancien notaire jusqu’en 1851, Durand de 1851 à 1853, Meynier pendant trois ans, Berger de 1856 à 1858 qui laisse la place à Le Mené. Ils appliquent une politique similaire inspirée des méthodes mises en pratique dans les colonies. Leur doctrine est simple : soumettre physiquement et psychologiquement les détenus, les isoler de la population et leur imposer une obéissance totale à l’autorité.
Pour briser les corps et les âmes, tout est permis. Charles-Ferdinand Gambon, prisonnier à Belle-île pendant dix ans, raconte : « La position n’était plus tenable ! Il fallait se rendre ou mourir. La prison devint un enfer où l’on ne trouvait plus de repos, ni le jour ni la nuit. Tout fut mis en œuvre pour tuer physiquement et moralement les prisonniers qui voulaient rester fermes et inébranlables dans leur conviction… »
Le cachot, les coups, la nourriture poivrée qui attaque l’estomac, la privation de sommeil, les insultes… rien ne fut épargné à ceux qui refusaient de se soumettre ou de quémander leur grâce au Prince-président Louis-Napoléon.
En effet, Louis-Napoléon, élu le 11 décembre 1848 et qui allait devenir bientôt l’Empereur Napoléon III, incite, pour conforter son image libérale, les détenus à solliciter sa grâce. Par conviction tout comme par habileté politique, il l’accorde largement contre l’opinion des plus ultras de ses ministres. 700 grâces sont ainsi prononcées. Elles vident, petit à petit, le « Dépôt de Belle-île » de ses occupants. D’autres prisonniers remplacent bientôt les graciés. Ce sont les condamnés des Hautes Cours de Bourges, de Versailles, de Marseille et de Rouen, les ténors des mouvements de 1848, les plus récalcitrants des révolutionnaires. Belle-île n’est plus un simple dépôt mais devient une « Maison de Détention et de Déportation », une prison à part entière, une « poudrière » selon le préfet, un « bouillon de culture carcérale » pour d’autres. « De 1852 à 1857 deux cent soixante-seize prisonniers sont incarcérés à Belle-île : insurgés du 2 décembre, membres de sociétés secrètes, condamnés des complots contre l’Empereur, exilés rentrés en France pour continuer la lutte, ouvriers révoltés, insoumis des prisons françaises… »
A l’avènement du Second Empire, Belle-île est certainement la prison politique la plus importante de France. Pourtant, quelques années plus tard, Haute-Boulogne voit ses détenus transférés dans d’autres établissements carcéraux et en 1858, le centre de détention de Belle-Ile en mer ferme ses portes.
En 1866 Haute-Boulogne reprend du service. La Maison de Détention change de nom et devient une « Maison centrale de force et de correction », un bagne à part entière. Si les gardiens résident pour la plupart au Château-Fouquet, nombreux sont les prisonniers qui travaillent à l’exploitation de la ferme de Bruté, propriété de la famille Trochu.