Das am Ortsrand von Rapperzell gelegene original erhaltene Schloßgebäude mit weithin sichtbarem Giebel wurde 1690-1698 unter dem Hofmarksherrn Dominikus Carl von Widmann errichtet. (Michael Wening hat die Ansicht 1700 in einem Kupferstich festgehalten.).
1838 erwarb es Herzog Max in Bayern. Sisis Vater war hier bis 1863 Jagdpächter und Schloßherr. Seither ist der Baron von Kühbach Eigentümer.
Der neben dem Schloß heute noch sichtbare Teich ist ein Rest des Wassergrabens einer abgegangenen mittelalterlichen Inselburg.
