Liseyi Eskişehir Atatürk Lisesi'nde okudu.1962'de Eskişehir İktisadi ve Ticari İlimler Akademisi'nin ilk mezunları arasında yer aldı. 1966 yılında doktorasını tamamladı. 1968 yılında doçent, 1973 yılında profesör oldu.1976'da mezun olduğu akademinin başkanlığına seçildi. 1982'de Anadolu Üniversitesi rektörlüğüne getirildi. 1987'de aynı göreve tekrar atandı. Ayrıca, 2 dönem Radyo Televizyon Yüksek Kurulu başkanlığını yürüttü. 1994 yılında 3984 Sayılı Kanununun çıkarılmasıyla bu görevinden ayrıldı. Türkiye'nin ilk Sinema ve Televizyon Okulu'nun kuruluşunu Eskişehir'de gerçekleştirdi. Anıtkabir müzesinde Mustafa Kemal Atatürk'ün birebir boyutlardaki balmumu heykeli, yine Prof. Büyükerşen tarafından yapılmıştır. Ayrıca Eskişehir'de ikinci üniversitesinin kurulmasına ve dünyada tek olan açıköğretim fakültesinin kurulmasına da öncülük etmiştir18 Nisan 1999 Seçimleri'nde Demokratik Sol Parti'den aday olan Prof. Büyükerşen, oyların %44'ünü alarak Eskişehir Büyükşehir Belediye Başkanı seçildi. 28 Mart 2004 yerel seçimlerinde, oylarını %45'e çıkararak aynı göreve tekrar seçildi. 2009 Yerel Seçimlerinde %50 üzeri oy ile yeniden büyükşehir belediye başkanı seçildi. 27 Ocak 2011'de, istifa etmesini isteyen Demokratik Sol Parti yönetiminin talebine uyarak bu partiden istifa etti.[1] 27 Şubat 2011'de Cumhuriyet Halk Partisi'ne (CHP) geçti.[2]

DİSK önderliğinde gerçekleşen "Solda Birlik" toplantılarında ve diğer sol senaryolarında adı sık sık geçen Prof. Büyükerşen, 2004 yılında DSP eski Genel Başkanı Bülent Ecevit tarafından yapılan genel başkanlık teklifini geri çevirdi. Prof. Yılmaz Büyükerşen; evli, iki çocuk ve iki torun sahibidir. Ayhan Şahenk Vakfı'nda yönetim kurulu üyesi olan Prof. Büyükerşen, aynı zamanda Kanal D'nin kurucularındandır.Büyükerşen, resim ve heykel gibi güzel sanatlara yatkınlığını rektörlüğü döneminde üniversitelere açtığı bölümler ile, özel yaşamında da özellikle yarattığı balmumu heykellerde göstermiştir. Belediye başkanlığı döneminde ise Eskişehir'e koyduğu heykeller ile sanata ilgisini belli etmiş, bu heykeller ile halka mesaj verme amacı gütmüş., zaman zaman tepki toplamış, eleştirilmiştir.

Kendi adını taşıyan Türkiye'nin ilk balmumu heykel müzesini 19 Mayıs 2013 tarihinde açmıştır.[