1883 yılında İstanbul’da doğdu. Babası Ahmet Bey, annesi Nazik Hanım'dır. Babası tütün ticaretiyle uğraşan bir tüccardı. 1903 yılında teğmen rütbesiyle Harp Okulu'ndan mezun oldu. İlk görev yeri Manastır'da konuşlanan 6. Nizamiye Piyade Tümeni'ydi. Burada Enver Paşa'nın emrinde bulundu ve hayatı boyunca Enver Paşa'nın en yakınındaki adamlarından biri oldu. II. Meşrutiyet dönemine kadar bu bölgede görev yaptı. Bulgar, Sırp, Yunan ve Arnavut çetelerine karşı mücadele etti. Gayri Nizami Harp tecrübesini bu dönemde kazandı. İttihat ve Terakki'ye katıldı.
II.Meşrutiyet'in ardından 1909 yılında İttihat ve Terakki Cemiyeti tarafından İran'a gönderildi. Görevi, burada daha önceden kaldırılan Meşrutiyet'i yeniden ilan ettirmek üzere yeraltı faaliyetlerinde bulunmaktı. Yol boyunca, bölgedeki Kürt aşiretlerinin desteğini toplayarak ilerledi. İranlı Meşrutiyet yanlılarıyla işbirliği yaptı.
31 Mart olaylarının patlak vermesiyle İstanbul'a çağrıldı. İsyan bastırıldıktan sonra Ermeni ayaklanmaları sebebiyle müfettiş olarak Adana'ya gönderildi. 1910 yılında gazeteci Ahmet Samim'e düzenlenen suikastın faili olduğu iddia edildi. Ancak bu iddia ispatlanamadı.
Trablusgarp Dönemi
1911 yılında İtalyan işgaline maruz kalan Kuzey Afrika'daki Osmanlı topraklarını kurtarmak amacıyla başlatılan mücadeleye katıldı. Trablusgarp yoluna Binbaşı Mustafa Kemal (Atatürk) Bey ile çıktı. Başta Kurmay Binbaşı Enver Bey olmak üzere İttihat ve Terakki'nin en önemli komutanları Trablusgarp-Bingazi eksenine gelmişti. Yakub Cemil yine Enver Bey'in emrindeydi. Buradan İstanbul'a gönerildi.
Babıali Baskını ve Balkanlar
1912 yılında başlayan Balkan Savaşları'na 4 bin mahkumdan oluşan gerilla birliğiyle katıldı. Bu birlikle beklenenin üzerinde yarar sağladı. Ancak Osmanlı ordusu savaşta yenilince hükümet, Edirne ve Çatalca'yı Bulgarlara bırakarak barış yapmak istedi. O dönemde muhalefette olan İttihat ve Terakki Fırkası buna şiddetle karşı çıktı. Bu sebeple Cemiyet, tarihe 'Babıali Baskını' olarak geçen ikinci ihtilalini gerçekleştirdi. Yakub Cemil, Babıali binasına ilk giren baskıncılar arasındaydı. Baskın sırasında karşısına çıkan Harbiye Nazırı Müşir Nazım Paşa'yı şakağından vurdu. Bu olayın etkisiyle yüzbaşı rütbesindeyken ordudan atıldı. Aynı yıl Batı Trakya Geçici Hükümeti'nin kurulmasıyla sonuçlanan muharebe döneminde Enver Bey'in emrinde gönüllü olarak yer aldı.
Teşkilat-ı Mahsusa
1914 yılında Teşkilat-ı Mahsusa'nın resmen kurulmasıyla bu kuruma alındı. İlk görev yeri Doğu Anadolu oldu. 2000 kişilik mahkum ordusuyla yola çıktı. Çorum'da konakladıkları sırada yerel halktan birini idam ettirmesi tepkilere sebep oldu. Bölgedeki diğer ordu birlikleriyle çeşitli zaferler kazandı. Ancak Ardahan'da ciddi bir yenilgiye uğradı ve geri çekilmek zorunda kaldı. Bunun üzerine Ermeni çetelere karşı mücadele etmekle görevlendirildi. 1915 yılında alınan kararla Erzurum ve çevresindeki Ermenilerin tehcir edilmesini organize etti. Yeni görev yeri Bitlis'ti. Sonra Bağdat'a gönderildi. Bağdat Cephesi'nde emirleri ihlal etti. İstanbul'a çağrıldı.
İdam Edilişi
İstanbul günlerinde Enver Paşa ile ters düştü. Yakın arkadaşlarıyla ihtilal planları yaptı. İttihat ve Terakki hükümetini dağıtmak istiyordu. Hükümeti devirmeye teşebbüs suçlamasıyla tutuklandı. Vatana ihanetten suçlu bulundu.
11 Eylül 1916 tarihinde kurşuna dizilerek idam edildi.