La primera muntanya de la Costa Brava està fortificada amb un castell des del segle XI. No podia ser d’altra manera, ja que el seu control visual sobre la desembocadura de la Tordera i tota la vall baixa del riu, amb la ciutat de Blanes en primer terme, és privilegiada.

El vescomtes de Cabrera en foren senyors i dominadors quasi des d’aquest primer moment, tot i que a partir del segle XIV l’aleshores denominat castell de Blanes hagué de cedir el protagonisme a l’elegant castell-palau que els vescomtes havien construït a la vila. Avui continua dempeus la seva torre de l’homenatge, de 15 metres d’alçada, i diverses parets més o menys enrunades ens dibuixen el perfil del castell, que fou definitivament abandonat al segle XVI.

Al costat, l’antiga capella castral, dedicada a Sant Joan, va aconseguir sobreviure i avui és una ermita que no ha deixat mai de funcionar. Tant és així que va acabar per donar nom al propi castell.