Fu acquistato nel 1500 dagli fratelli Kaspar e Christoph Herbst. Nel 1511 fu usato dall'imperatore Massimiliano I d'Asburgo come quartiere generale.
Il Castello degli Herbst é visitabile soltanto dall'esterno.
Il complesso fu acquistato nel 1500 dai fratelli Kaspar e Christoph Herbst zu Herbstenburg e ricostruito in un complesso fortificato. Era il centro di un complesso fortificato che si estendeva attraverso passaggi sotterranei fino alla cosiddetta "Torre Rossa" nella parte nord-occidentale del paese. Le cantine del castello ospitavano le prigioni della corte di Dobbiaco.
Negli anni dal 1508 al 1511 il castello fu sede del quartiere di corte dell'imperatore Massimiliano I d'Asburgo. Qui fu presa la decisione di muovere guerra alla Repubblica di Venezia nel 1511.