Działalność szkoły muzycznej w Nowej Hucie rozpoczęła się od sygnalizacji potrzeb jej mieszkańców-pierwszych budowniczych. Już w pierwszych latach budowy powstawały zespoły muzyczne pośród junaków ze "Służby Polsce". Kierownik Szkoły Podstawowej nr 81 przy ul. Demakowa - Kacper Mietła poddał pomysł zorganizowanie ogniska muzycznego. Ta właśnie szkoła stała się placówką, gdzie rozpoczęto placę dydaktyczną w 1953 roku (zajęcia odbywały się w wymiarze popołudniowym po zamknięciu cyklu zajęć z podstawowego programu nauczania). Szkoła muzyczna jako jednostka powołana została do życia w 1958 roku, jednak bez stałej siedziby, zajęcia organizowano w różnych lokalizacjach (między innymi na osiedlu Centrum B).

  W latach 1959-61 architekt Marek Jabłoński przygotował projekt budynku dla szkoły, ale budowa trwała długie lata, dopiero w 1974 roku oddano do użytku placówkę. Gmach o powierzchni 2370 m, kubatura wynosi 21320 m składał się wówczas z dwóch parterowych pawilonów połączonych gmachem głównym wspartym na filarach od strony skarpy (zaaranżowano wewnątrz ciekawy zielony dziedziniec). W obiekcie mieszczą się dwie sale koncertowe: duża (500 miejsc) i kameralna (100 miejsc). Duża sala koncertowa Od zachodu swą fasadą przypomina nieco gmachy filharmonii i teatrów, realizowanych w latach 60-tych - układa się w płaskorzeźbioną harmonijkę, operując światłocieniem.

  Na ścianie ułożono w 1975 roku mozaikę z różnobarwnych ceramicznych kafli w gamie ochry z kroplą błękitów i zieleni. Do realizacji tego zdobienia architekt zaprosił swego brata malarza Jerzego Jabłońskiego oraz rzeźbiarza Zygmunta Jansohna. Do 2008 roku, kiedy oddano publiczności salę opery krakowskiej projektu Romana Loeglera, gmach auli był największą halą koncertową miasta. Po dziś dzień wyposażenie zachowane zostało z zachowaniem oryginalnych elementów (drewniane panele, lastrykowe posadzkim ścienne gabloty, szatnia na wzór eleganckich garderob teatralnych).

  W 2012 roku szkoła doczekała się rozbudowy według planu Agencji Projektowej A4 z Nowego Sącza. Firma już wcześniej realizowała duże założenia w Krakowie - w 2009 zespół mieszkaniowy Wiślane Tarasy, oraz rozbudowę Krakowskiego Szpitala Specjalistycznego im. Jana Pawła II.

  Od strony Łąk Nowohuckich powstał trzysegmentowy budynek z rewelacyjnie rozwiązanym pomysłem na oddzielne doskonale wygłuszone sale dydaktyczne, bibliotekę n 50 000 woluminów, salę koncertową dla 250 słuchaczy oraz świetlice. Od początków istnienia szkoła była centrum życia kulturalnego i placówką szerzącą wiedzę o muzyce, w 1977 odbył się w niej jeden z koncertów Nowohuckiej Wiosny Muzycznej. Rok później w "Teleranku" wystąpił chór szkolny pod dyr. G. Sułkowskiej.

  Koncerty:

 •Kai Danczowskiej
 •Krystiana Zimmermana
 •"Capelli Cracoviensis"
 •koncert jazzowy w wykonaniu Jarka Śmietany, Andrzeja Cudzicha, Paula Zaunera i Idrisa Muhammada
 •Wynton Marsalis

  8 listopada 2019 r. uczniowie Szkoły Muzycznej im. Mieczysława Karłowicza uczestniczyli w uroczystości zamknięcia Kapsuły Czasu w kościele św. Bartłomieja, umieszczając w pojemniku odznakę Złotej Nutki - symbol szkoły.