O Aliji Đerzelezu u starom Sarajevu mnogo se pričalo. Pisao je o njemu nobelovac Ivo Andrić, opjevan je u mnogim pjesmama, kao zaštitnik podređenih, pravde i vjere.
U svim je djelima čovjek iz naroda, osoba koju se čeka i koja će doći osloboditi narod. Legende o njemu i danas žive.
Muslimani starog Sarajeva opjevali su i pričali o junaštvima Alije Đerzeleza. Govorilo se da je imao dvije kuće u Sarajevu, jednu kod Sinanove tekije, a u drugoj pod Grdonjom je ljetovao, na sjevernoj strani Sarajeva. Od porodice je imao staru majku i neudatu sestru Ajkunu. Prema predaji siromašna porodica nije mogla živjeti od Đerzelezove zarade pa su majka i sestra tkale i plele da bi se prehranili.
U predaji se kaže da mu je sestra nepravedno oklevetana, pa ga je pred smrt zaklela, da poslije njene smrti kad je budu mrtvu kupali, zagrije vodu na vatri od brijestova drveta. Zatražila je da joj na mjestu grobnog nišana umjesto nišana postave dvije glavnje iz te vatre.
Prema predaji kazala je: “Ja čista obraza i nevina umirem, a to će pokazati i dvije glavnje što ćeš mi ih postaviti na grobu: ako olistaju– znat će se da sam istinu govorila” , što se dogodilo, glavnje su olistale, a nad grobom su nikli veliki brijestovi. U predaji jednom je susreo vilu koja ga je nagradila što joj je ostavljenom djetetu napravio hlad, da mu sunce ne naškodi. Od te nagrade stekao je nadnaravnu snagu.
Gradu Sarajevu je od posebne kulturne i historijske vrijednosti graditeljski kompleks “Kuća Alije Đerzeleza” koja se nalazi u sarajevskoj mahali Vrbanjuša, na uglu ulica Sagrdžije i Alije Đerzeleza , na sjevernoj padini grada.
Kuća je podignuta u 17. vijeku i građena je namjenski, kao stambeni objekat za bogatu zanatlijsku porodicu. Do danas nisu pronađeni tačni podaci o osnivaču i graditelju ali se zna da su posljednjih 200 godina vlasnici bili iz porodice Čejvan, u čijem je posjedu objekat bio do prije nekoliko godina. Izgrađena je kao jednospratnica sa svim elementima koji karakterišu stambenu arhitekturu Osmanlija.
Sagrađena je od tradicionalnih materijala kamena, ćerpiča, drveta i kovanog željeza. Restaurirana je 1999. godine i tako je sačuvana od urušavanja. Komisija za očuvanje nacionalnih spomenika BiH 2005. godine ovu je kuću proglasila nacionalnim spomenikom Bosne i Hercegovine.
O Alijinoj smrti i danas se mnogo govori, ali niko sa sigurnošću ne može reći kako je umro bosanski heroj. Njegova je smrt na različite načine u mnogim pjesmama opjevana. Neki su kazivali da ga je pogubio Vuk Jajčanin, da ga je zatekao na molitvi, te mu se prikrao i sabljom ga posjekao, jer Alija, iako je vidio da će poginuti, nije htio da prekine molitvu a u drugoj pjesmi Aliju je pogubio neki hajduk.
U općini Mrkonjić, postoji turbe za koje se vjerovalo da je u njemu sahranjen Alija Đerzelez. Stari su ljudi pričali da se buzdovan Alije Đerzeleza čuvao u Sarajevu, u tekiji „Sedmorice braće” , ali kada je jednom prilikom Sarajevo gorjelo, propao je tada i Alijin buzdovan.