Zamek w Olsztynie był największą warownią Orlich Gniazd. W 1349 roku zamek został przebudowany z drewnianego na murowany na rozkaz Kazimierza Wielkiego. Zamek swą nazwę otrzymał w połowie XIV wieku, kiedy to nazwa została zmieniona z wcześniejszej Przymiłowice. Zamek pełnił funkcję więzienia królewskiego i chronił granice Królestwa Polskiego przed najazdami z południa. W XV wieku zamek był często najeżdżany przez książąt śląskich lecz dopiero sto lat później zamek poddał się atakom napastników. W 1656 roku, w czasie najazdu Szwedów warownia została zupełnie zniszczona.