Marten van Rossem mag dan wel de bouwheer van het kasteel zijn, van een groenaanleg was al sprake ver vóór zijn tijd! In 1402 werd het groen voor het eerst genoemd- er was een bos met de naam Vogelhegge. Hoe het er precies uitzag weten we niet. Over de tijd daarna is meer bekend. Marten was een echte kenner en liefhebber van tuinkunst. Hij liet een moestuin en een wijngaard aanleggen, en een dwaalhof, die zijn gasten tot vermaak moest dienen. In de boeken staat de toenmalige tuinbaas met naam vermeld. Hij werd heel toepasselijk Martijn den Gardeneer genoemd. Hij was in dienst van Marten en werkte niet alleen hier maar ook op Bredevoort en Poederyen, de andere kastelen van zijn broodheer.