D'un point de vue géologique, la péninsule Rallier du Baty est remarquable. Les îles Kerguelen sont constituées en majorité de roches basaltiques (95%) et de roches plutoniques (granite, syénite, diorite, gabbro...). Mais la majorité de ces dernières (90%) se situent dans la péninsule et marque les paysages de leur empreinte. Il y a 8,7 millions d'années, le vulcano pluton s'est mis en place et a recouvert en partie les basaltes de plateaux si caractéristiques des îles Kerguelen. Cinq complexes annulaires bien différenciés ont ainsi pu être mis en évidence. Des coulées récentes de lave datant d'il y a un à trois siècles, telle que la Coulée de Vulcain, complètent l'ensemble. Des fumerolles, sur la côte sud-ouest, constituent les derniers témoins d'un volcanisme récent.