Początki olsztyńskiego zamku są bardzo podobne do wielu innych znajdujących się na Jurze Krakowsko-Częstochowskiej. W niespokojnych czasach XIII i XIV wieku budowane warownie miały bronić rozdrobnienych dzielnic Polski przed zakusami Śląska. Dokładne początki zamku nie są znane, pierwsze wzmianki pochodzą dopiero z czasów księcia (później króla) Władysława Łokietka. Zamek, jaki w swych podstawach możemy zobaczyć do dziś to budowla Kazimierza Wielkiego, chociaż późniejsi właściciele również odcisnęli na murach ślady swojej obecności. W czasach Jagiellonów zamek był siedzibą starostów. Jeden z nich, Mikołaj Szydłowiecki, w poł. XVI w. przebudował zamek w stylu renesansowym. Renesansowa struktura została jednak częściowo zniszczona w 1587 roku, kiedy to zamek został zdobyty i uszkodzony przez wojska Maksymiliana Habsburga. Jednak do najpoważniejszych zniszczeń doszło podczas potopu szwedzkiego. Po wojnie ze Szwedami zamek już nigdy nie wrócił do swojej świetności. W pierwszej połowie XVII wieku użyto zamkowego kamienia pod budowę miejscowego kościoła, także okoliczni mieszkańcy korzystali z darmowego budulca, dokonując kolejnych zniszczeń.