Bei „Hethemere“ lagen die Güter, die der Adlige Herbold von Hedinghausen 1146 über seine Ehefrau vom Kölner Erzbischof erworben hat. Hemmern gehörte seit jeher zur Stammpfarre Altenrüthen und erbaute sich im Jahr 1709 die St. Anna-Kapelle, deren Entstehung von einer Legende umrankt wird und die 1959 durch einen Neubau ersetzt wurde. Das ca. 20 Jahre alte Wappen des Ortes erinnert an die dort im Mittelalter ansässige und begüterte, zu den Rüthener Burgmannen zählende Adelsfamilie derer von Hemmern, die auch Karge genannt wurde, aber bereits im 15. Jh. ausstarb.
In den Bereich der Ortschaft gehört auch die südwestlich gelegene
„Spitze Warte“. Dies war ursprünglich die Bezeichnung für einen der 3 Warttürme an der östlichen Grenze der mittelalterlichen Feldmark der Stadt Rüthen.
1856 wurde ca. 150 Meter nordöstlich der ursprünglichen Warte eine Windmühle errichtet, deren steinerner Mühlenturm später diesen Namen erhielt.