3 Nisan 1962 tarihinde Yozgat'ın Boğazlıyan ilçesi'ne bağlı Devecipınar Kasabası'nda dünyaya geldi.[1] Lise öğrenimini Kayseri Lisesi'nde tamamladı.
İstanbul Teknik Üniversitesi Elektrik-Elektronik Fakültesi Elektrik Mühendisliği Bölümü'nü bitirdi.[1] Kayseri Elektrik Üretim Şirketi'nin Yönetim Kurulu Üyesi, Kayseri ve Civarı Elektrik TAŞ'nin Yönetim Kurulu Üyesi ve Genel Müdürü olarak görev yaptı.[1]
2002 genel seçimlerinde AK Parti'den Kayseri milletvekili adayı oldu, 22. Dönem'de TBMM'ye girdi. Başbakan Erdoğan'ın enerji danışmanlığı görevini yürüttü. 1 Mayıs 2009'da 60. Hükümet'te gerçekleşen kabine değişikliği sonucu Enerji ve Tabii Kaynaklar Bakanlığı görevini Mehmet Hilmi Güler'den devraldı.[2]
Yıldız, 1 Aralık 2009 tarihinde hükümetin nükleer santral projesine karşı yaptığı eylemlerle kamuoyu gündemine sık sık gelen Greenpeace'in Akdeniz ofisini ziyaret etti.[3] Kendisine Nükleer ile Yaşamaya Hazır mısınız? şeklinde bir tişört de hediye edilen Yıldız, böylece Greenpeace Türkiye Ofisi'ni ziyaret eden ilk bakan oldu.[3]
Evli ve 4 çocuk babasıdır.