Narodni odbor grada Sarajeva je, po ugledu na slične ustanove koje su već postojale u Beogradu, Zagrebu i Ljubljani, predložio osnivanje Arhiva grada Sarajeva.
Ozbiljnije pripreme za zvaničan početak rada Arhiva započele su još početkom 1948. godine u sobi Gradskog narodnog odbora, da bi zvanično sa radom počeo 3. maja iste godine. Prvi službenik koji je u to vrijeme u Odjeljenju za kulturu i umjetnost vođen kao “refrent za poslove Arhiva” bio je Hazim Šabanović, poznati historičar i osmanist.
Arhiv je prvo bio smješten u jednoj sobi, zatim u dvije manje tavanske prostorije u zgradi Gradske Vijećnice. Početak je bio opterećen mnogim poteškoćama. Sredstva kojima je Arhiv u početku raspolagao bila su veoma skromna, a nije imao ni svog stalnog kadra.
Arhiv je u početku djelovao samo na području grada Sarajeva, ali je vremenom prerastao u regionalnu arhivsku ustanovu u čijoj je nadležnosti vršenje arhivske djelatnosti na široj teritoriji.
Sredinom 1950. godine, zbog bolesti i navršenih godina u penziju odlazi prvi upravnik Arhiva – Šukrija Kurtović, a na njegovo mjesto imenovan je Hamid Dizdar (stariji brat Mehmedalije Maka Dizdara).
Od tog perioda Arhiv djeluje kao samostalna institucija. Tada je prvi put utvrđena i organizaciona struktura i zasnovan stalni radni odnos sa određenim brojem radnika, uglavnom niže stručne spreme.
Zbog problema sa prostorom arhiv je premješten u zgradu tadašnjeg Muzeja grada Sarajeva, nakon toga u zgradu tadašnjeg Prirodno-matematičkog fakulteta, zgradu Skupštine opštine Centar, te u zgradu Hanikaha gdje je arhiv bio sve do 1990. godine kada je arhivska građa preseljena u depo na Vrbanjušu.
Značajan korak u pogledu obezbjeđivanja povoljnijih uslova za rad Arhiva, prvenstveno uposlenika, učinjen je 1973. godine. Skupština opštine Centar dodijelila je Arhivu zgradu u Koturovoj ulici. Poslije temeljite adaptacije, u zgradi su smještene sve službe Arhiva, a obezbijeđen je i prostor za rad Komisije za ediciju “Sarajevo u revoluciji”.
U junu 1975. godine Arhiv grada Sarajeva mijenja svoje ime i od tada nosi naziv Historijski arhiv Sarajevo. Do 1992. godine Historijski arhiv Sarajevo pokrivao je svojom nadležnošću područje 10 opština grada Sarajeva, kao i 10 opština vangradskog područja.
JU Historijski arhiv Sarajevo, ime koje danas nosi ova ugledna ustanova, bez obzira na sve nedaće koje su ga pratile od njegovog osnivanja do danas ostao je i opstao kao jedna od središnjih institucija arhivske djelatnosti koja je nezaobilazna za proučavanje naše historije, kulture, ekonomije, graditeljstva i drugih djelatnosti. Baština prikupljena i smještena u našim depoima neiscrpno je vrelo za istraživanje prošlosti, ali i temelj za razumijevanje savremenosti.