Ca la Torre, situada en el nucli antic de Vandellòs, va ser inicialment una torre defensiva datada al segle XVI. Les torres van ser essencials per albirar i protegir la població dels freqüents atacs de bandolers o de pirates des de la costa .

Posteriorment, la torre es va aprofitar per construir-hi una casa pairal, propietat de la família Vernet, i es va convertir en la més important de la població. De la nissaga Gil-Vernet, en provenen els metges insignes Salvador Gil-Vernet i Emili Gil-Vernet.

El monument és un Bé Cultural d’Interès Nacional (BCIN) i actualment acull una exposició sobre la història de Vandellòs, així com l’arxiu municipal històric. La torre es pot visitar i els jardins estan habilitats per celebrar-hi actes socials i culturals en un entorn patrimonial i a l’aire lliure.