1942 yılında İstanbul'da doğdu. 1961'de Robert Koleji, 1965'te İngiltere Newcastle Üniversitesi'ni bitirdi. 1968 yılında Almanya Frankfurt Üniversitesi'nde doktorasını yaptı. Yurda döndüğünde ODTÜ Matematik Bölümü'ne öğretim görevlisi olarak girdi (1968). 1977 yılında profesör oldu. 1978 - 1982 yılları arasında ODTÜ Fen-Edebiyat Fakültesi dekanlığı görevinde bulundu. 1978'den 1981'e kadar TÜBİTAK Temel Bilimler Grubu üyeliği yapan Terzioğlu, 1971'de Balkan Matematikçiler Birliği Ödülü'nü, 1974'te TÜBİTAK Teşvik Ödülü'nü, 1986'da TÜBİTAK Bilim Ödülü'nü aldı.
1992-1997 yılları arasında TÜBİTAK Başkanlığı, 1993-1997 yıllarında NATO Bilim Komitesi Türkiye temsilciliği, 1996-1997 yıllarında Bilimsel ve Teknik Araştırma Vakfı Yönetim Kurulu Başkanlığı yaptı. 1997 yılından beri TÜBİTAK Marmara Araştırma Merkezi Yönetim Kurulu Başkanlığı'nı ve 1989 yılından sonra Türk Matematik Derneği Başkanlığı'nı yaptı.
Araştırma alanı fonksiyonel analizdir. 12 yıl Sabancı Üniversitesi rektörlüğü yaptı. 30 Temmuz 2009 tarihinde rektörlük görevini bıraktı.
Türkiye Bilimler Akademisi, Türk Matematik Derneği, TESEV, Türkiye Bilişim Vakfı, Tarih Vakfı, Bilimsel ve Teknik Araştırmalar Vakfı, BITAV ve Türkiye Zeka Vakfı üyesidir.
Fonksiyonel çözümleme üzerine iki kitabıyla, yurtiçinde ve yurtdışında yayımlanmış birçok makalesi vardır.