Die Burg Prem erhebt sich in dominanter Form über dem Dorf und der Straße, die sich um den Hügel windet. Sie beherrscht den Panoramahügel über dem Reka-Tal, die Straße durch das Tal sowie den Verkehr auf dem Reka-Fluss. Die Burg wurde vor 1213 vom Ritter Udo de Prem  errichtet und war dann in den Händen wechselnder Pächter und Besitzer, darunter der Familien Walsee und Haller, der Habsburger und der Fürsten Porcia. Der kompakte dreigeschossige Bau in L-Form weist einen romanischen Kern mit einem Anbau und einen kleineren, mit einer Mauer befestigten Hof auf. Der Innenhof ist mit Renaissance-Arkaden geschmückt. Inmitten des Hofes steht ein kleinerer Brunnen. Die gesamte Burganlage ist zusätzlich mit einer Wehrmauer mit Rundtürmen geschützt. Auf dem größeren Hof zwischen Burg und Außenmauer steht eine große Zisterne.

Der Burgraum im Erdgeschoss weist ein Kreuzrippengewölbe auf. Darüber befindet sich die Burgkapelle, die gegen Ende des 14. Jh. eingerichtet wurde. Die bescheidenen Konsolenmasken erinnern an die Parler-Werkstatt. Der große Saal im Obergeschoss, den ein offener Laufgang aus Holz schmückt, wurde vor dem letzten Krieg von den Besitzern, der Familie Zuccolini aus Triest, umgebaut. Sie ließen ihn mit außergewöhnlichen dekorativen Fresken auf dunklem Hintergrund bemalen.

Die Burg beherbergt einige lokale Sammlungen. Die runden Wehrtürme der Wehrmauer sind saniert. Die Schlüssel werden im Nachbarhaus aufbewahrt.