Ce sont les anciens chasseurs de phoques anglo-américains qui ont donné, à la fin du 18ème, début du 19ème siècle, le nom de la baie des Swains à l'échancrure séparant le massif Gallieni de la presqu'île Jeanne d'Arc, en raison de trois rochers remarquables (les Trois Swains) situés à l'entrée de la baie.

Sur les bords de cette baie, il existe des vestiges de cabanes, près desquelles une cascade a été aménagée pour permettre au navire usine Radioléine de faire de l'eau dans les années 1926 à 1929. Les restes d'une tuyauterie de fer gisent dans le lit du torrent, qui aboutissait à une estacade où les bateaux pouvaient s'amarrer.