Na poziv bosanske vlade, a preporuku svog profesora, dolazi 1883. godine u Sarajevo gdje je proveo najveći dio života i bio vodeća ličnost u arhitekturi. Proučavao je bosansko narodno graditeljstvo i nastojao primjenom njegovih karakterističnih elemenata ostvariti “bosanski stil”.

U periodu Austrougarske uprave u Bosni i Hercegovini od 1878. do 1917. godine Sarajevo je doživjelo preobražaj u moderan evropski grad. Sarajevo je bilo centar Zemaljske vlade, Vrhovnog suda, kao i centar glavnih institucija vjerskih zajednica. Uspostavljene su institucije kao što su Zemaljski muzej, Zemaljska bolnica, Direkcija bosanskohercegovačkih željeznica, Zemaljska finansijska direkcija, bosanskohercegovački Sabor i druge. U modernizaciji Sarajeva značajnu ulogu su imali Zemaljska vlada i Gradsko poglavarstvo.

Zalaganjem Zemaljske vlade podignute su zgrade Zemaljska vlada I, II i III, Šerijatska sudačka škola, gimnazija i učiteljska škola, Zemaljska bolnica, Zemaljska štamparija, sudska palata, Zemaljski muzej, tvornice duhana i ćilima, zgrada filijale Austro-ugarske banke, izgrađen je gradski park, podignuti brojni objekti vojnog karaktera itd. Veoma značajna bila je i građevinska aktivnost sarajevske općine, koja je omogućila regulaciju Miljacke, izgradnju vodovoda, kanalizacije, javne rasvjete, gradskog tramvaja, kolodvora, gradske tržnice, gradske vijećnice.

Zgrada Zemaljske vlade bila je jedan od najvećih i najznačjnijih građevinskih poduhvata nove vlasti, a projekat je povjeren arhitektu Josipu Vancašu. Vancaš je predložio idejno rješenje u tri stilske varijante: firentinska rana renesansa, italijanska gotika i italijanska kasna renesansa. Zbog ograničenih finansijskih sredstava odlučeno je da se zgrada izvede u jednostavnijim, samim tim i jeftinijim, ranorenesansnim stilskim oblicima. Na Vancaševo insistiranje, ulazno pročelje koje je prvobitno predviđeno sa južne strane, orijentirano je na Ćemalušu ulicu, (danas ulicu Maršala Tita). Bio je to njegov prvi projekat u Sarajevu. Početak jednog velikog preobražaja grada u kojem je Vancaš vodio glavnu riječ.

Josip Vancaš je rođen 22. marta 1859. godine u  Sopronu. Studirao je do 1881. na Tehnološkom Institutu, a zatim radio u atelieru F. Fellnera i H. Helmera u svojstvu crtača na projektima za neka pozorišta, pa i za Hrvatsko narodno pozorište u Zagrebu. U tom ateljeu Vancaš je bio orijentiran na renesansni stil, što će mu kasnije dobro doći u Sarajevu. Čekajući na pravo zaposlenje Vancaš se u oktobru 1882. upisuje na Arhitektonski odjel Akademije likovnih umjetnosti gdje se kod Friedricha Schmidta posvetio studiju gotike.

Na poziv bosanske vlade, a preporuku svog profesora, dolazi 1883. godine u Sarajevo gdje je proveo najveći dio života i bio vodeća ličnost u arhitekturi. Proučavao je bosansko narodno graditeljstvo i nastojao primjenom njegovih karakterističnih elemenata ostvariti “bosanski stil”.

U njegovim djelima prevladavaju historicizam i eklekticizam, a kasnije se javljaju i elementi bečke secesije. U svojim projektima ide od pseudoromaničkih do pseudoorijentalnih oblika.

Za vrijeme djelatnosti u Bosni 1883.-1921., Vancaš je bio neobično produktivan arhitekta, sagradio je 102 stambene kuće, 70 crkava, 12 škola, 10 banaka, 10 palača, 10 vladinih i općinskih zgrada, 6 hotela i kafana…

Još jedno Vancaševo djelo u Sarajevu koje treba spomenuti je Katedrala Srca isusova (1884-89), rađena u kombinaciji elemenata gotike i romanike. U neorenesansnom stilu rađena je palača Zemaljske vlade, današnja zgrada Predsjedništva, dok se secesijom bavio pri projektovanju Vojne pošte, još jedne građevine bez koje bi Sarajevo bilo siromašnije.

Zajedno sa Karlom Paržikom projektuje zgradu Grand hotela, kasnije zgrada Zemaljske banke, a još kasnije Zavod za platni promet, odnosno građevinu pred kojom je smještena Vječna vatra. Godine 1989. projektuje zgradu današnje Muzičke akademije, tadašnji zavod sv. Augustina.

Vancaš je projektovao i Katoličko groblje na Koševu, paviljon Bosne i Hercegovine na Milenijskoj izložbi u Budimpešti 1896., Hotel Union u Ljubljani.

Umro je u Zagrebu 15. decembra 1932. godine, a danas jedna od ulica u centru Sarajeva nosi Vancaševo ime.