Mehmed Hudović tvrdi da je mahala Skela formirana još u 16. stoljeću. Hifzija Suljkić navodi da je mahala Skela nastala u 17. stoljeću oko istoimene džamije. Šefko Sulejmanović tvrdi da je to, ustvari, Begova džamija  iz putopisa Evlije Čelebije, piše Mustafa Muharemović u Hikmetu.

Najstariji do sada pronađeni zapis o džamiji Skela je zabilježen u listu “Bosna” iz 1876. godine. Tekst opisuje ćud rijeke Drine: “Na desnoj strani poplavila je Mali Zvornik, i tri kuće oštetila je u toliko, što je odnijela daske, kojima su avlije tijeh kuća ograđene bile. Na lijevoj strani pak bila voda zaplavila jednu džamiju i nekoliko kuća, a druge štete nije bilo.”  Ovaj zapis se vjerovatno odnosi na ovu džamiju koja je bila blizu korita rijeke.

Mehmed Hudović tvrdi da je mahala Skela formirana još u 16. stoljeću. Hifzija Suljkić navodi da je mahala Skela nastala u 17. stoljeću oko istoimene džamije. Šefko Sulejmanović tvrdi da je to, ustvari, Begova džamija  iz putopisa Evlije Čelebije, piše Mustafa Muharemović u Hikmetu.

Najstarija fotografija Skela džamije je nastala objektivom austrougarskog vojnika Emila Balcareka iz 1907. godine. U to doba džamija je bila u dobrom stanju. Međutim, tokom prvih godina Velikog rata u Zvorniku se život odvijao otežano, pa je i održavanje vjerskih objekata bilo neadekvatno. Na sjednici Vakufsko-mearifskog sabora 26. februara 1914. bila je odobrena izgradnja magaze Skela vakufa u Zvorniku. Usljed ratnih uvjeta gradnja je bila obustavljena, ali je nakon obnavljanja rada Sabora na sjednici 11. decembra 1916. potvrđena saglasnost za gradnju. Nema pouzdanih podataka o tome da je ovaj zaključak realiziran.

Kako navodi Muharemović, u vrijeme Kraljevine Jugoslavije i nezavidnih ekonomskih prilika kod Bošnjaka vakufski fondovi nisu bili dostatni za ozbiljnije investicije, pa je Skela džamija bila oronula. Prema izvatku iz izvještaja o službenom putovanju tehničkog referenta Vakufske direkcije Sulejmana Sardžića od 23. 6. 1931. godine u Zvorniku, džamije Namazđah i Zamlaz su solidno zidane, a ostale su slabije, građene od mješovitog materijala, s drvenim munarama. Džamija Bajr-Hadži Selim u ruševnom je stanju. U novinskom tekstu iz 1938. spominje se da je “…čudno naherena džamija u Zvorniku.” Iste godine su član Ulema-medžlisa Ali-ef. Aganović i Mustafa-ef. Varešanović prolazili kroz Zvornik. Ali-ef. je službeno predložio: „Za rušenje postojeće džamije treba izdati odmah nalog, kako bi ove turističke atrakcije, a muslimanske sramote, nestalo.“

Vakufsko-mearifsko povjerenstvo je u Zvorniku 15. januara 1940. Ulema-medžlisu i Vakufskoj direkciji obrazložilo potrebu ponovne gradnje, sa zaključkom: “…Jer na ovom mjestu ne može se biti bez džamije.” Vakufsko povjerenstvo je konačni zahtjev za gradnju podnijelo Vakufskoj direkciji 15. januara 1941. Za džamiju je izrađena projektna dokumentacija, koja je sačuvana do danas. Odobrenu skicu je izradila tehnička kancelarija Vakufske direkcije. U zahtjevu je potpuno opisan način finansiranja,i to bez sakupljanja priloga, zbog teškog vremena. Povjerenstvo je sačinilo finansijsku konstrukciju obnove džamije. Kao izvor finansiranja navedene su agrarne obveznice u nominalnoj vrijednosti od 35.000 dinara, koje mahom pripadaju vakufu spomenute džamije, i sredstva u centralnoj vakufskoj blagajni od 95.000 dinara. Svi organi Islamske zajednice su dali saglasnost na projekat. Također je data uputa da se zatraži dozvola samoupravne vlasti. Ulema-medžlis je insistirao da džematlije učestvuju u gradnji, kako bi džamija bila što bolji i masivniji objekat, sa dućanima.

Početak Drugog svjetskog rata je zaustavio projekat, a džamija je dodatno oštećena i zapuštena. Vakufska direkcija u Sarajevu je prijavila dvije srušene džamije u Zvorniku od 1941. do 1945. godine. Jedna od njih je bila Skela džamija. Obnova nakon oslobođenja je bila otežana zbog prioriteta Islamske zajednice, ali i ometanja nove vlasti. Povjerenstvo u Zvorniku prednost je dalo popravci oštećenja Podrinjske medrese i porušene zgrade mektebi-ibtidaijje. Lokalna uprava je sprečavala aktivnosti prikupljanja sredstava za plaćanje imama i obnovu vjerskih objekta. Odsjek unutrašnjih poslova pri Sreskom narodnom odboru Zvornik je aktom pov. br. 164/46 od 2. juna 1946. godine. Povjerenstvu Zvornik zabranio prikupljanje priloga, uz obrazloženje zamjenika javnog tužioca: “Vaš rad je nepravilan i imadete odmah prestati sa daljim kupljenjem.” Obnova vjerskih objekata je bila na marginama interesa socijalističke vlasti, pa je Islamska zajednica obaviještena da se ne mogu isporučiti potrebne količine građevinskog materijala zbog njegova nedostatka, navodi Muharemović.

Na lokaciji džamije podignuta je kafana „Podrinje“. Jedno vrijeme kafana je bila najpoznatije mjesto u Zvorniku, gdje se igrala tombola. Na mjestu Skela džamije danas je stambeno-poslovni objekat, a vlasnici su nosioci prava zajedničke imovine.

Vakuf Skela džamije je do njena rušenja pokrivao troškove održavanja. Prema Završnom računu iz 1913. godine, prihod vakufa džamije Skela je iznosio 590 kruna, a 1939. godine iznosio je 9.500 dinara. O važnosti vakufa Skela džamije govori podatak da je 1932. godine bila na spisku devet osiguranih vakufskih objekata, zajedno sa dućanom i magazom.

Nakon oslobođenja je nestalo vakufa džamije. Jedan dio vakufa je prodat po ugovoru od 19. marta 1947. godine Cviki  Dabiću. Građevinska parcela od 26 m2 se nalazila uz njegovu kuću. Provedene su sve potrebne procedure, a vještačenje su 1943. godine obavili Mustafaga Mustafić i Džemalaga Alirejzović, zvornički trgovci. Prodaju je  odobrio Šerijatski sud i Vakufska direkcija. Povjerenstvo je na sjednici 24. 1. 1943. godine predložilo namjenu utroška sredstava za potrebe obnove zgrada Podrinjske medrese i mektebi-ibtidaijje, koje su usljed bombardovanja porušene i oštećene. Saborski odbor je 10. 6. 1946. odobrio prodaju, uz uslov da se postigne što veća cijena. Postojalo je i oprečno mišljenje Idrisa Šehavdića od 8. 7. 1946. godine, sa prijedlogom da se izgradi objekat koji bi donosio stalne prihode.

Džamijsko zemljište je, kako navodi Muharemović, na osnovu pravosnažnog rješenja Odjeljenja za finansije NOO odbora Zvornik br. 3.132/59 od 7. 11. 1959. godine uknjiženo kao društvena svojina. Vakuf je likvidiran prema čl. 34. Zakona o nacionalizaciji najamnih zgrada i građevinskog zemljišta Uredbe o sprovođenju istog zakona i Zakona o opštem upravnom postupku, po kojem su sva izgrađena i neizgrađena zemljišta u Zvorniku postala društvena svojina. U rješenju je navedeno da se radi o neplodnom zemljištu, iako je to bilo gradsko građevinsko zemljište.

Prema dostupnim izvorima i predajama, Skela džamija u Zvorniku je imala značajnu društvenu ulogu, ne samo za zvorničku čaršiju nego i šire. Na ovo je uticao njen položaj. Pred džamijom su čitana službena akta osmanske uprave. Džamija je bila u zvorničkoj čaršiji. ”Spomenuta džamija je imala vazdi najviše džemata u svih pet vaktova od svih drugih džamija u gradu, stoga što se ona nalazi na sredini grada Zvornika i na najprometnijem mjestu. Ona je u neposrednoj blizini Drine i drinskog prometa splavi i drugog. Zatim su joj u blizini takorekuć do nje dvije glavne pijace: marvena i pijaca glavna sa zemaljskim proizvodima, suhom šljivom, orasima itd. Ona se nalazi uz samu cestu, sa svojim dućanima ispod nje, dok su u istoj liniji i istom redu zgrade privatnih sa radnjama više i niže nje.“

Mahala Skela je bila mjesto prijevoza ljudi i roba sa jedne na drugu obalu Drine, a u vrijeme Austro-Ugarske je bila carinarnica. Pijace u blizini su okupljale veliki broj ljudi. U njenom prizemlju bile su dvije zanatske radnje, lončarska i samardžijska, te poznata kahva „Kod hafiza“, u kojoj se pila dobra bosanska kahva i koja je bila okupljalište putnika, trgovaca, vlasnika dućana i drugih. Vlasnik kahve je bio imam džamije hfz. Salih-ef. Hodžić. U kahvi su se vodili korisni, a često i dokoni razgovori. Prema narodnom predanju u ovu džamiju su rado svraćali sejjar-vaizi, a tu su se u vrijeme ispijanja kahve i sjedeljki često čitale i „kazivale“ poučne pjesme šejh Hasana Kaimije, piše Mustafa Muharemović.