1941 yılında Trabzon’un Of ilçesinde doğdu. 1958 yılında liseden sonra Ulusoy’da çalışmaya başladı. 1959 yılında Trabzon Erdoğdu Spor Kulubünde yönetici oldu. 1962 yılında görevi gereği Samsun’a geçti. Burada sosyal etkinliklerde yer aldı. Samsun Oda Tiyatrosu’na destek sağladı. Samsun’da 1963 yılında, Fener Gençlik'te spor kulübü yöneticiliği yaptı. 1965 yılında Samsunspor kurucu üyesi ve yönetim kurulu üyesi oldu.
1967 yılında Samsunspor Başkanlığı’na seçildi. 1973 yılına kadar başkan olarak kaldı. 1974 yılında İstanbul’a geldi. Ulusoy firmasındaki görevlerine burada devam etti. 1985 yılında kurulan Güreş Federasyonu’nda As Başkan olarak görev aldı. İTO, İSO ve DTO Meclis Üyeliği yanında TÜSİAD gibi mesleki örgütlerde yer aldı.
Serap Ulusoy ile evli. Pınar Ulusoy Şenol, Pelin Ulusoy Tepret ve Mehmet Yılmaz Ulusoy adlarında üç çocuğu var. Kaan Şenol, Yılmaz Ulusoy, Hikmet Can Tepret ve Mina Tepret adlarında torunları oldu.
Yılmaz Ulusoy Holding A.Ş. Yönetim Kurulu Başkanlığı’nı yürütmektedir.