Das Castello Visconteo am Rande der Altstadt entstand im 12. Jahrhundert, vermutlich als Wohnsitz der kaisertreuen Capitanei Orelli. 1260 fiel es in die Hände der Ghibellinen. 1342 griffen die Visconti von Mailand, denen das Bauwerk seinen heutigen Namen verdankt, die Burg von der Land- und Seeseite an und nahmen sie ein. In eidgenössischen Besitz kam sie erstmals 1503, endgültig 1513. Heute ist nur noch etwa ein Fünftel des ursprünglichen Burg erhalten. Der Großteil der erhaltenen Strukturen stammt aus dem 15. und 16. Jahrhundert, aus der Gründungszeit der Burg existieren nur noch Grundmauern.