Godine 1935. ustanovljena je i Zaklada za izgradnju džamije te je započelo sustavno prikupljanje sredstava. Odbor zaklade sačinjavali su Ismet ef. Muftić, dr. Salko Kulović, prof. Salih Ljubunčić, Halid Muftić, ing. Sejfudin Muftić, ing. Murat Rizvanbegović i prof. dr. Ibrahim Ruždić, uz tajnika Medžida Žinića. Prvi korak u realizaciji bio je izrada projekta, a posao je povjeren znamenitom zagrebačkom slikaru Omeru Mujadžiću. On je sa svojim suradnicima izradio idejno rješenje nove džamije koja je prvotno trebala biti smještena na Zelengaju

Godine 1916. u Zagrebačkom je garnizonu postavljen vojni imam koji je, uz svoje primarne dužnosti, povremeno obavljao i civilne poslove. Upravo je te godine u Zagrebu osnovana Muslimanska bogoštovna općina koja je već 1917. podignuta na razinu muftijstva, a njemu su bile podređene sve muslimanske općine na području Hrvatske. Za prvog zagrebačkog muftiju postavljen je Ismet ef. Muftić.

U to je doba, pod vodstvom vojnog imama hfz. Abdullaha ef. Muhasilovića, jedna dvorana u vojarni pješačke pukovnije “Zrinski” preuređena u mesdžid. Tada je pokrenuta i prva akcija za izgradnju džamije u koju je svrhu prikupljeno oko 100.000 kruna, dok je gradsko poglavarstvo provizorno darovalo i zemljište južno od Kazališta. Međutim, nakon završetka Prvoga svjetskog rata, ova je ideja propala.

Od ramazana 1920. godine muslimani su bili prisiljeni unajmljivati razne dvorane koje su im služile kao privremeni mesdžidi. Tek su 1935. godine adaptirana dva stana u Tomašićevoj ulici na broju 12 u prvi Zagrebački mesdžid, koji je svečano otvoren 29. novembra iste godine. Tada je u matičnim knjigama Muslimanske bogoštovne općine bilo registrirano 1.250 muslimana, premda je uz sezonske radnike i studente u Zagrebu zapravo živjelo oko 3.000 pripadnika islamske vjere.

U istoj zgradi, na drugom katu, nalazili su se uredi Muslimanske bogoštovne općine i Muftijstvo. Osim muftije Ismet ef. Muftića, određene funkcije u bogoštovnoj općini vršili su i vojni imam Halil ef. Imamović, imam Ragib ef. Muftić te jedan mujezin.

U to se vrijeme organiziraju i “Društvo zagrebačkih muslimana” te Džematski medžlis (1935.) koji su sačinjavali muftija Ismet ef. Muftić, dr. Salih Kulović, Šefik ef. Saračević, Dževad-beg Sulejmanpašić, Ahmed ef. Ivković (koji je prethodno primio islam), Vejsilaga Musakadić, dr. Aziz Halepović i Muharem Suljanović. Uporedo s njima među zagrebačkim muslimanima djeluje i kulturno društvo “Narodna uzdanica”, za čiji su rad posebno bili zaslužni Murat Rizvanbegović i Šerif Šećerćehajić.

Godine 1935. ustanovljena je i Zaklada za izgradnju džamije te je započelo sustavno prikupljanje sredstava. Odbor zaklade sačinjavali su Ismet ef. Muftić, dr. Salko Kulović, prof. Salih Ljubunčić, Halid Muftić, ing. Sejfudin Muftić, ing. Murat Rizvanbegović i prof. dr. Ibrahim Ruždić, uz tajnika Medžida Žinića. Prvi korak u realizaciji bio je izrada projekta, a posao je povjeren znamenitom zagrebačkom slikaru Omeru Mujadžiću. On je sa svojim suradnicima izradio idejno rješenje nove džamije koja je prvotno trebala biti smještena na Zelengaju. U to je vrijeme za imama bio postavljen Himzi-efendija Alagić.

Drugi svjetski rat nakratko je prekinuo akciju za gradnju, no potreba i želja su ostali, pa se aktivnost ubrzo nastavila. U to se doba u Odbor uključuje i dr. Sulejman Mašović, koji je ubrzo postao samim pojmom islamske inicijative u Zagrebu. Odbor je nastavio s akcijom i postavio zahtjev za odobrenje građenja zelengajske džamije, no ova inicijativa, nažalost, nikada nije realizirana.

Za vrijeme Drugoga svjetskog rata u rješavanje pitanja Zagrebačke džamije umiješao se sam politički vrh fašističke NDH, donijevši odluku da se Umjetnički paviljon u središtu Zagreba, na tadašnjem Trgu N, preuredi u džamiju. Glavna briga oko ovog zahvata povjerena je bivšem ministru prometa i javnih radova, dipl. ing. građevinarstva Hilmiji Bešlagiću. On je ovlastio arhitekte Stjepana Planića i Zvonimira Požgaja da obave potrebne radove i posao privedu kraju, pri čemu je Planiću bila povjerena izgradnja minareta i uređenje okoliša.

U jesen 1941. započelo se s gradnjom triju minareta izvedenih od armiranobetonskog skeleta, svaki visine 45 metara. U njima su bila predviđena i dizala, koja se zbog ratnih prilika ipak nisu mogla nabaviti.

Skladno uklopljeni minareti u odnosu na središnju zgradu bili su uljepšani i predprostorom džamije koji je, sa strane ulice Račkoga, bio uokviren bijelim bračkim kamenim klupama. U njegovu se središtu nalazio vodoskok, a sa strana su vodili pristupni putovi. Visina ovog predprostora, zajedno s vodoskokom, bila je brižljivo dimenzionirana kako ne bi zapriječila pogled na pročelje džamije s velikim metalnim vratima.

Unutarnji prostor bio je preuređen tako da su, uz glavni džamijski prostor, ugrađeni muftijski ured, učionice za vjeronauk te dva mala stana,  jedan za mujezina, a drugi za čuvara zgrade. Na prvom katu izgrađen je prostor za knjižnicu. U samom džamijskom prostoru podignuti su mihrab, mimbera (glavna propovjedaonica), ćursa (mala propovjedaonica) te mahfil (odjel za žene), od kojih je jedan u obliku galerije bio smješten na prvom katu, a drugi na polukružnom balkonu iznad glavnog ulaza.

Zidovi i stupovi između središnjeg dijela i prostranih bočnih dijelova bili su obloženi zelenim talijanskim mramorom. Svi zidovi dvorane, uključujući i mimber, bili su ornamentirani sadrenim plastičnim ukrasima koje je izvela grupa hrvatskih umjetnika pod vodstvom akademskog kipara Joze Turkalja. Cijela ornamentika bila je utemeljena na starohrvatskim motivima pletera u koju je vješto ugrađena orijentalna ornamentika s kaligrafskim plastikama arapskim slovima ispisanih ajeta iz Kur’ana. Ove je ispise sastavio i ispisao Muhamed Mujagić, umirovljeni šerijatski sudac iz Sarajeva, dok je mihrab kazeinskim bojama oslikao akademski slikar Julije Merlić iz Varaždina.

Podovi džamije bili su prekriveni brojnim dragocjenim tepisima kupljenim u Istanbulu. Pretežno se radilo o tepisima isfahanskog porijekla koji su se odlikovali jasnim bojama i specifičnom ornamentikom. Ukupno ih je bilo 41 i predstavljali su veliku vrijednost. U objektu je bilo uvedeno centralno grijanje s toplom vodom, a u podrumskim je prostorima bila predviđena abdesthana.

Ipak, povijest ovog zdanja bila je kratka; u proljeće 1948. godine džamija je zatvorena, minareti su porušeni, a Džematski medžlis ponovno je vraćen u Tomašićevu 12 na svoje staro mjesto.