La vieille tour, juste devant le phare des Baleines, fut érigée sous la supervision de Colbert, et a fonctionné à partir de 1682 avant d'être remplacé par le Grand Phare.
Elle était destinée à servir d'amer (27 mètres) et de point de surveillance du trafic maritime. La nuit, son feu était alimenté avec de l'huile de poisson puis avec du charbon de terre. Remplacée par le phare des Baleines en 1854, elle a été classée Monument Historique en 1904.
Le musée est situé dans le bâtiment en pierre, au pied de la Vieille Tour des Baleines. Il propose un parcours permettant de découvrir de nombreux objets d'Histoire liés au fonctionnement du phare, accompagné d'explications vidéoludiques, le tout dans un bâtiment à l'architecture préservée.