1980 yılında Yozgat ili Yerköy ilçesinde doğmuştur. İlk, orta ve lise öğrenimini Yerköy’de tamamlamıştır. 2004 yılında Dicle Üniversitesi Hukuk Fakültesinden mezun olmuştur. Yüksek lisans eğitimini 2017 yılında Yıldırım Beyazıt Üniversitesi Sosyal Bilimler Enstitüsü Kamu Hukuku Anabilim Dalında tamamlamıştır.

2006 yılında Ankara Adli Yargı İlk Derece Mahkemesi Adalet Komisyonu Başkanlığı bünyesinde hâkim adayı olarak başlamıştır. 2007-2008 yılları arasında Kastamonu ili Cide ilçesinde, 2008-2010 yılları arasında Iğdır’da, 2010-2014 yılları arasında ise Nevşehir ili Ürgüp ilçesinde hâkim olarak görev yapmıştır.

2014-2022 yılları arasında Adalet Bakanlığı Ceza ve Tevkifevleri Genel Müdürlüğünde Daire Başkanı olarak görev yapan Yılmaz, 2022-2026 yılları arasında aynı kurumda Genel Müdür Yardımcılığı görevini yürütmüştür.

19 Mart 2026 tarihli ve 33201 sayılı Cumhurbaşkanlığı Atama Kararı ile Ceza ve Tevkifevleri Genel Müdürü olarak atanmıştır.

Evli ve iki çocuk babasıdır.