By “the red ant heaps of Toulon”, Hugo means the Bagne de Toulon, a notorious prison where the convicts wore red jackets and red caps. This is the prison where Jean Valjean serves nineteen years for stealing a loaf of bread, in Hugo’s Les Misérables.
L’habillement du forçat qui est différent pour chaque bagne, se compose à Toulon, dit l’auteur, d’une casaque de moui† rouge, dont la durée est fixée à deux ans, d’un pantalon de drap jaune, fendu de chaque côté dans la longueur des jambes, de manière à laisser passer la chaîne et pouvoir la vérifier. […]
Le forçat reçoit aussi deux chemises de toile grossière et un bonnet en drap rouge ou vert, selon que la durée de la condamnation est à temps ou à perpétuité.
The clothing of the convict, which is different for each prison, consists at Toulon, according to the author, of a jacket of coarse red cloth, which is required to last for two years, and of trousers of yellow cloth, which are split on each side along the whole leg, to allow them to pass the chain, and so that it can be checked.
The convict is also given two coarse linen shirts and a cap in red or green cloth, depending on whether the sentence is to a stretch of time or for life.
Pierre Zaccone (1877). Histoire des bagnes depuis leur création jusqu’à nos jours, p. 536.
† I couldn’t find this term in any of the French dictionaries I checked, but it seems to be jargon for the poor-quality cloth making up the prison uniform. “Les condamnées à temps portent bonnet et casaque rouges avec pantalon jaune: le tout en une grossière étoffe nommée moui.” (Amable Tastu, Voyage en France, p. 393.)