Graf Heinrich ließ um 1250 im heutigen Wallgarten eine Burg errichten. Damals war der Wallgarten eine Insel, die von der Hache und vom Mühlenbach vollständig mit Wasser umgeben war. Eine Abbildung der Burg in Neubruchhausen fehlt. Um 1600, nach dem Tod des letzten Hoyaer Grafen (1582), befanden sich die Burg und diverse Baulichkeiten in katastrophalem Zustand. Der Drost von Badendorf ließ 1608 im Einvernehmen mit den Bürgern des Fleckens eine neue Glocke gießen. In den Jahren 1610 -1612 wurde eine Kirche durch seinen Nachfolger Eberhard von Bothmer gebaut. Seit 1970 gibt es die alte Fachwerkkapelle von 1612 nicht mehr. Sie wurde 1972 durch einen schlichten Zweckbau, der dem Zeitgeist entsprach, ersetzt. Die Glocke von 1608 befindet sich im Glockenstuhl vor der Kapelle. Altar und Kanzel fanden in der neuen Dreifaltigkeitskirche ihren Platz. 1963 wurde die Denkmalsanlage, die an die Toten der Kriege erinnert, hier im Wallgarten eingeweiht.