De Kasteelsepoort is het oudste gebouw van Ravenstein en dateert deels uit de vroegste periode, circa 1300. Een tongewelf vormde de verbinding tussen stad en kasteelcomplex. Het bezat een stevige eiken toegangsdeur. Voor de poort lag een gracht met een houten en/of gedeeltelijk stenen brug. In de 17e eeuw werd de poort met het huis links, gerenoveerd voor de dominee. Het tongewelf is daarbij gesloopt en vervangen door dit ‘gedrongen’ gewelf. De zwarte dakpannen markeren een aanbouw. Vóór de renovatie heeft links van de poort op de plaats van de aanbouw, een hoektoren gestaan, waarvan de eerste treden nog in het huis aanwezig zijn.