Ihren Namen hat die Ilkahöhe zu Ehren von Helene (Ilka) Gräfin von Vieregg. Sie war die Tochter des letzten Patrimonialherrn Karl Matthäus Graf von Vieregg (1798-1864).

Nach dem Tode Friedrich Max Graf von Vieregg (1833-1866) fiel das Erb- und Familiengut an seine damals 28-jährige Schwester Ilka, die sich 1856 mit dem Fürsten Karl Friedrich Fürst von Wrede, einem Enkel des bayerischen Feldmarschalls Carl Philipp Fürst von Wrede, vermählt hatte.

Fürstin Ilka von Wrede hat durch ihre Hilfstätigkeiten für Verwundete im Krieg 1870/71 eine Reihe bayerischer und preußischer Auszeichnungen erhalten. Fürstin Ilka von Wrede wurde am 30.03.1838 geboren, sie starb am 21.02.1913 in Pähl.

Der Sitz der Gutsverwaltung Ilkahöhe ist in Oberzeismering, einem Ortsteil der Gemeinde Tutzing im Landkreis Starnberg. Die Endung “ing“ im Ortsnamen Oberzeismering deutet darauf hin, dass spätestens im 6. Jahrhundert in dieser Gegend Bauern siedelten. Seit dem Mittelalter gab es ein stattliches Bauerndorf mit mehreren Gehöften, das bis in das 19. Jahrhundert Bestand hatte.

Nach der Märzrevolution 1848 und dem daraus resultierenden Ende der Hofmark Tutzing, musste im Jahr 1869 das Schloss Tutzing und seine dazugehörigen Besitzungen (dazu zählte auch Oberzeismering) von den damaligen Besitzern Fürst Carl Friedrich und Fürstin Ilka von Wrede - die lediglich die beiden Schlösser in Pähl als Wohnsitz behielten - aufgrund der wegfallenden früheren Einkünfte, an den Stuttgarter Verlagsbuchhändlers Georg Eduard von Hallberger verkauft werden. 

Kommerzienrat Eduard von Hallberger gestaltete den Ort zu einem luxuriösen Treffpunkt der literarischen Welt und des Großbürgertums um.

Nach seinem Tod im Jahre 1880 errichtete ihm seine Tochter etwas unterhalb der eigentlichen Ilkahöhe ein Denkmal in Form eines Tempels. Das Gebäude wurde während des zweiten Weltkrieges stark beschädigt und in den 1970er Jahren abgerissen. Heute steht an dieser Stelle auf der Ilkahöhe noch eine Schautafel. 

Ende des 19. Jahrhunderts wurden innerhalb weniger Jahre die einzelnen Höfe durch den Münchener Kommerzienrat Max Kustermann aufgekauft und zu einem Gut zusammengefasst. Ein Großteil der Höfe und Gebäude wurde abgerissen, einige zu Stall- und Wirtschaftsgebäuden umfunktioniert.

Nur drei ursprüngliche Höfe blieben auf der heutigen Ilkahöhe erhalten. Die Familie Kustermann verkaufte den land- und forstwirtschaftlichen Gutsbetrieb 1924 an den Dachauer Papierfabrikanten Niklas. Diesen zwang jedoch die Weltwirtschaftskrise Anfang der Dreißiger Jahre zum Verkauf der Land- und Forstwirtschaft auf der Ilkahöhe. 

In der Folge übernimmt die rheinische Industriellen-Familie Carp den Betrieb von Gut Ilkahöhe. Otto Frey, der über viele Jahre den Betrieb geführt und verwaltet hatte, übernahm 1959 von Frau Elsa Carp, geb. Windthorst, nun die Ilkahöhe. Früh in den sechziger Jahren beschließt Otto Frey die Landwirtschaft aufzugeben.  

Große Flächen wurden aufgeforstet, die verbliebenen Wiesen an die Bauern in der Umgebung verpachtet.  1994 übertrug Otto Frey den Besitz an seine Tochter Monika Wendelstadt.  Ihr Sohn Hermann Wendelstadt führt den Gutsbetrieb nun in der dritten Generation.