Cem Yılmaz’ın ailesi, annesi Yunanistan’ın Selanik şehrinden göç etmiş, babası ise Türkiye’nin Sivas ilçesine bağlı Eskihamal köyündendir. Cem Yılmaz 23 Nisan 1973 tarihinde İstanbul’da doğdu. İlk ve ortaokulu İstanbul’da tamamladıktan sonra turizm alanında eğitim aldı. Üniversite yıllarında karikatüre ilgi duyan Yılmaz, Leman mizah dergisinde çalışmaya başladı. Dergideki işi sayesinde sahne deneyimine başladı ve zamanla ünlendi. Ayrıca 1995 yılında Özlem Tekin’in Kime Ne albümünden müzik videosunda da rol aldı.
1998 yılında yönetmen Ömer Vargı’nın Her Şey Çok Güzel Olacak filmiyle oyunculuk kariyerine adım atan Cem Yılmaz, daha sonra Yılmaz Erdoğan’ın Vizontele filminde rol aldı. G.O.R.A., A.R.O.G, Hokkabaz ve Yahşi Batı gibi Türk sinemasının popüler filmlerinde rol aldı ve üç filmde seslendirme sanatçısı olarak yer aldı.
Askerliğini 2001’de MEBS Okulu ve Eğitim Merkezi’nde 18 ay süreyle yapan Yılmaz, bu dönemde Balkan ülkelerinde görevli askerî personele stand-up gösterileri yaptı. Sinema projelerinin yanı sıra sahne gösterilerine de devam etti; dört ayrı kapalı gişe stand-up gösterisi gerçekleştirdi, Borusan İstanbul Filarmoni Orkestrası ile iki kez şeflik yaptı ve üniversite ziyaretlerinden oluşan bir DVD yayımladı.
Yılmaz, kariyeri boyunca birçok markanın reklam yüzü oldu; Panasonic, Telsim, Opet, Türk Telekom, Türkiye İş Bankası, Doritos, Hepsiburada gibi markaların reklam kampanyalarında yer aldı. Ayrıca, karikatürlerinin yer aldığı bir kitap ve üç filminin senaryolarının kitaplaştırılmış versiyonları okuyucuların ilgisini çekti.
Sanat dünyasındaki başarılarından dolayı Sadri Alışık Ödülleri’nde, 4. Yeşilçam Ödülleri’nde ve Brüksel Uluslararası Bağımsız Film Festivali’nde en iyi erkek oyuncu ödüllerini kazandı.
2014 yılında StandartCY adlı gösterisiyle Amerika turnesine çıkan Cem Yılmaz’ın yer aldığı Deli Aşk filmi 10 Mart 2017’de vizyona girdi. 2019’da bir mülakatta Karakomik Filmler dizisi ve Erşan Kuneri karakteri için “Filmler ve dizilerimde eski günlerin anısına bir stand-up yapmayı planlıyorum.” dedi. Ayrıca, 2020-2021 yılları arasında sahne aldığı Diamond Elite Platinum Plus gösterisi büyük ilgi gördü.