3 Nisan 1962 tarihinde Yozgat'ın Boğazlıyan ilçesi'ne bağlı Devecipınar Kasabası'nda dünyaya geldi.^[1] Lise öğrenimini Kayseri Lisesi'nde tamamladı.

İstanbul Teknik Üniversitesi Elektrik-Elektronik Fakültesi Elektrik Mühendisliği Bölümü'nü bitirdi.^[1] Kayseri Elektrik Üretim Şirketi'nin Yönetim Kurulu Üyesi, Kayseri ve Civarı Elektrik TAŞ'nin Yönetim Kurulu Üyesi ve Genel Müdürü olarak görev yaptı.^[1]

2002 genel seçimlerinde AK Parti'den Kayseri milletvekili adayı oldu, 22. Dönem'de TBMM'ye girdi. Başbakan Erdoğan'ın enerji danışmanlığı görevini yürüttü. 1 Mayıs 2009'da 60. Hükümet'te gerçekleşen kabine değişikliği sonucu Enerji ve Tabii Kaynaklar Bakanlığı görevini Mehmet Hilmi Güler'den devraldı.^[2]

Yıldız, 1 Aralık 2009 tarihinde hükümetin nükleer santral projesine karşı yaptığı eylemlerle kamuoyu gündemine sık sık gelen Greenpeace'in Akdeniz ofisini ziyaret etti.^[3] Kendisine Nükleer ile Yaşamaya Hazır mısınız? şeklinde bir tişört de hediye edilen Yıldız, böylece Greenpeace Türkiye Ofisi'ni ziyaret eden ilk bakan oldu.^[3]

Evli ve 4 çocuk babasıdır.