Zamek Rogowiec, usytuowany na stromym górskim szczycie o tej samej nazwie, jest najwyżej położonym zamkiem w Polsce (870 m n.p.m.). Już w XII wieku zbudowano w tym miejscu pierwszą drewnianą strażnicę, a w połowie wieku XIII książę świdnicki Bolko I Surowy nakazał wznieść tutaj nieduży kamienny zamek. Główną jego funkcją miało być zabezpieczanie przebiegającej przez góry granicy z Królestwem Czech oraz zapewnienie porządku na pobliskim trakcie handlowym leżącym w dolinie Rybnej. Grube na 2 metry zamkowe mury okalały powierzchnię około 700 m2. Na tym terenie stała wieża obronna (grubość jej murów to ponad 3 metry!) oraz dwa duże budynki mieszkalne. Oprócz obiektów kamiennych na dziedzińcu mieściły się również stajnie i drewniane budynki gospodarcze.
Droga do zamku prowadząca wśród skał zabezpieczona została bramą wjazdową, a podczas rozbudowy w XIV wieku w sąsiedztwie głównych zabudowań wniesiono dodatkowe umocnienia. Najstarsze udokumentowane wzmianki na temat Rogowca odnaleziono w zapisach cystersów z klasztoru w Krzeszowie – w roku 1292 zapisano nazwisko urzędującego na zamku kasztelana.
W 1392 roku, po śmierci księżnej Agnieszki (wdowy po Bolku II Małym), Rogowiec wraz z całym księstwem świdnickim wszedł w posiadanie władców Czech. Dawna granica przestała istnieć i tym samym zamek utracił swoje strategiczne znaczenie. Podczas wojen prowadzonych na początku XV wieku na Śląsku, warownia została zdobyta i zdewastowana przez husytów, ale już w 1420 roku przejął ją we władanie rycerz Franz von Pogorella. Należał on do tzw. „raubritterów” – rycerzy-rozbójników trudniących się rozbojem i łupiestwem.
W 1429 roku zamek przejęła rodzina Schellendorfów – również rozbójników. Łupili oni okoliczne wioski oraz przejeżdżających przez góry kupców i podróżnych. Zamek Rogowiec służył im za bazę wypadową aż do 1483 roku kiedy to król czeski Maciej Korwin postanowił położyć kres zorganizowanej przestępczości na tych terenach. Dowodzone przez Georga von Steina wojska podeszły pod Rogowiec zajmując pozycję na sąsiednim, wyższym szczycie – Jeleńcu (902 m n.p.m.). Stąd przez długi czas prowadzono ostrzał armatni zamku. Został wówczas doszczętnie zniszczony i pozostaje ruiną do dzisiaj.
Do naszych czasów zachowały się fundamenty murów, resztki baszt oraz fragment podstawy okrągłej wieży obronnej o wysokości około 3 metrów. Na terenie zabytku, w miesiącach letnich często prowadzone są zajęcia dla studentów archeologii Uniwersytetu Wrocławskiego.
Dodatkową atrakcją są piękne widoki i panorama na całe góry Wałbrzyskie. To wraz z bogatą historią tego miejsca czyni z Rogowca ciekawą atrakcję turystyczną.
Prowadzą tu liczne szlaki turystyczne – przechodzą one (aż trzy) od schroniska Andrzejówka przez Rogowiec w kierunku Głuszycy (żółty) oraz Rybnicy Dolnej (czerwony i niebieski).