Первый замок построен в середине XIII века, перестроен в середине XV века, с 1525 года - герцогский домен.
Первое орденское деревянно-земляное укрепление в Вальдау было построено в 1258-1264 годах. Расширение территории, подконтрольной Тевтонскому ордену, привело к тому, что замок Вальдау потерял свое оборонительное значение.
В 1457 году старые укрепления были перестроены, после чего замок стал использоваться в качестве летней резиденции великих магистров Тевтонского ордена. После секуляризации Ордена в 1525 году замок Вальдау стал герцогским доменом.
17-18 мая 1697 года в замке Вальдау останавливалась основная часть Великого русского посольства во главе с адмиралом Францем Яковлевичем Лефортом (1656-1699), 17 мая в замке побывал царь Петр I. С 1720 года королевским правительством Пруссии замок Вальдау сдавался в аренду.
В 1858 году в замке разместилась сельскохозяйственная школа. В 1860-х годах здание было основательно перестроено, окончательно разобраны башни и крепостные стены.
Петр I Великий
(30 мая 1672 года - 28 января 1725 года)
С 1682 года царь всея Руси из династии Романовых, с 1721 года Император Всероссийский. С 18 мая по 8 июня 1697 года пребывал в Кенигсберге в составе Великого посольства под именем дворянина Петра Михайлова, посещал город 8-11 ноября 1711 года, в июне 1712 года, в 1713 году, в феврале и апреле 1716 года.