Als Hans von Dörnberg am 28. April 1416 als erster Amtmann auf Burg Ludwigstein verpflichtet wird, ist ihm das Amt Witzenhausen mit 1.466 Ländereien und Einkünften in den Dörfern Oberrieden, Wendershausen, Hilgershausen, Hundelshausen, Weißenbach, Roßbach, Kleinalmerode, Bischhausen und der Stadt Witzenhausen unterstellt. Burg Ludwigstein liegt zudem oberhalb der wichtigen Handelsstraße, die seinerzeit noch östlich der Burg entlang führt und ist Mittelpunkt der Verwaltung und der Gerichtsbarkeit im hessischen Werraraum. Im 16. Jahrhundert kommen noch weitere Dörfer um Witzenhausen, Eichenberg und Friedland zum Herrschaftsbereich des Ludwigstein hinzu.

Hans von Dörnberg, zuvor hessischer Marschall und Amtmann in Homberg an der Efze, versieht seinen Dienst auf der Burg bis etwa 1421. Ihm folgt eine lange Reihe hessischer Adeliger in derselben Funktion. Die Herren Diede, Meisenbug, von Buttlar, von Berlepsch, von Herda, von Boyneburg, von Hanstein, Rommel und von Steinberg tauchen in Urkunden und Rechnungen als Amtmänner, aber auch als Pfandinhaber auf. Denn immer wieder müssen die klammen Landgrafen ihre Ämter (nebst deren Einkünften) über kurz oder lang verpfänden. Unter den Amtmännern ragt der jüngere Hans von Dörnberg (1427-1506) hervor, der Sohn des ersten Amtmanns auf dem Ludwigstein. Jahrzehntelang ist er der Vormund jugendlicher Landgrafen und dank seiner politischen und organisatorischen Fähigkeiten der eigentliche Regent Hessens.

Ein Zwischenspiel erlebt der Ludwigstein von 1545 bis 1574 als Lehen und selbständiges Adelsgericht. Ein Gegengeschäft zur Versorgung von Verwandten seiner Zweitfrau hat Landgraf Philipp von Hessen dazu genötigt, Burg und Amt seinem Kammerdiener Christoph Hülsing und dessen Nachkommen als Lehen zu übertragen. Erst nach zähen Verhandlungen gelingt später der Rückkauf in landesherrlichen Besitz. Seitdem wird die Burg nicht mehr verpfändet, und es residieren auf dem Ludwigstein wieder hessische Amtmänner.

Einem Stich von Wilhelm Scheffer (genannt Dilich) aus dem Jahr 1605, der ersten bildlichen Darstellung des Ludwigstein, ist zu entnehmen, dass die Burg zu dieser Zeit noch weit aufwändiger gestaltet ist, als sie sich dem Betrachter heute darbietet. Insbesondere ist der der Burg Hanstein zugewandte Mittelbau um ein Stockwerk höher, Landgrafenflügel und Seitenbau sind mit Giebeln – der Landgrafenflügel mit einem gotischen Stufengiebel - versehen, die Vorburg ist bebaut, und südlich der Burg schließt sich ebenfalls eine geschlossene Bebauung unter anderem mit einer Kapelle an. Als spätgotisch werden auch die so genannten Vorhangbogenfenster angesprochen, die an mehreren Stellen in den Außenmauern zu sehen sind. Einige Umbauten und Erweiterungen gehen dagegen auf das 16. Jahrhundert zurück und weisen dementsprechend Elemente der Renaissance auf. Die für den Landschaftsraum typischste Schmuckform der Frührenaissance ist die in das Fachwerk geschnitzte Rosette, die sich beispielsweise in der hofseitigen Fassade des Landgrafenflügels wieder findet.

Trotz der grenznahen Lage bleibt es durch alle Zeiten friedlich um den Ludwigstein. Selbst den Dreißigjährigen Krieg übersteht die Burg unbeschadet – ganz im Gegensatz zur benachbarten Burg Hanstein: 1632 wird sie von den Schweden zerstört und ist seitdem eine Ruine.

Die Reihe der hessischen Amtmänner auf dem Ludwigstein setzt sich mit Holle, von Hesberg, Lucanus, Ungefug und Wasserhuhn fort. Zum Adel gesellt sich nun auch zunehmend das Bürgertum, der letzte Amtmann wohnt bereits in Witzenhausen, und einige Jahre nach dem Dreißigjährigen Krieg ist die Zeit als Amtssitz für den Ludwigstein vorbei.

War die Versorgung der Burg von jeher schwierig – der Ludwigstein verfügte über keinen Brunnen, und Frischwasser musste über einen Eselspfad mühsam vom unterhalb der Burg gelegenen Bornhaus hinaufgeschafft werden - so waren Burgen seit der zunehmenden Entwicklung von Feuerwaffen zudem nur noch bedingt sicher. Und schließlich nahm auch auf dem Land die Bedeutung der städtischen Zentren immer mehr zu. 1664 wird das Amt Ludwigstein mit dem Schultheißenamt Witzenhausen vereinigt. Die Burg verliert damit nach rund 250 Jahren ihre Eigenschaft als Amts- und Gerichtssitz und wird zum Sitz einer Domänenverwaltung.