Marten van Rossem mag der Erbauer des Schlosses sein, Grünanlagen existierten hier jedoch lange vor seiner Zeit! 1402 wurde das Grün hier erstmals als Wald namens "Vogelhegge" erwähnt. Wie es damals genau ausgesehen hat, wissen wir nicht. Über die Zeit danach ist mehr bekannt. Marten war ein wahrer Kenner und Liebhaber der Gartenkunst. Er ließ einen Gemüsegarten und einen Weingarten sowie einen Irrgarten anlegen um seine Gäste zu unterhalten. In den Büchern wird sein damaliger Gartenchef namentlich erwähnt. Er wurde sehr passend "Martin der Gärtner" (Martijn den Gardeneer) genannt. Er war bei Marten angestellt und arbeitete nicht nur hier, sondern auch in Bredevoort und Powderoyen, den anderen Schlössern seines Brotherrn.