Osmanlı Devletinin kuruluş devrinde Anadolu’da yaşamış olan evliyanın büyüklerinden. Babasının ismi Yahya olup, soyu Hazreti Ömer’e dayanır.
1320 (H. 720) senesinde İsfahan’da doğdu. Küçük yaşından itibaren ilim tahsiline başlayıp, Kur’an-ı kerimi ezberledi. Zamanının alimlerinden akli ve nakli ilimleri tahsil etti. Genç yaşında tefsir, hadis, fıkıh ve tasavvuf ilimlerinde yüksek derecelere kavuştu. Tahsilini tamamladıktan sonra, Mekke'ye gitti. Kabe'de yıllarca imamlık yaptı. Manevi bir işaretle Medine'ye geldi. Resulullah efendimizin kabrinde yedi sene türbedarlık hizmetinde bulundu.
Peygamber Efendimizin manevi işaretiyle oradan Anadolu’ya gitmek üzere ayrıldı. Gittiği yerlerde İslamiyeti öğretmek için uğraştı. Akdeniz sahilindeki Alanya’ya oradan da bugünkü Ankara’nın Çamlıdere havalisine geldi. Burada yerleşip insanlara, Allahın emirlerini bildirmek, yasaklarından sakındırmak için yıllarca çalıştı. Pekçok talebe yetiştirdi. Kerametleri görüldü.
Zamanla şöhreti yayılıp, Osmanlı Devletinin başşehri olan Bursa’ya ulaştı. Padişah, Ali Semerkandi’yi Bursa’ya davet etti. Ali Semerkandi Bursa’ya geldiğinde Padişah ona iltifatlarda bulundu. Bursa’da kalmasını istediyse de, kabul etmeyerek Çamlıdere’ye döndü.
Ali Semerkandi’nin Karaman’da vefat ettiği söyleniyorsa da o zat başkadır.
1457 (H. 862) senesinde Ankara’nın Çamlıdere ilçesinde vefat etti.