Mersin'de doğmuştur. Ortaokulda kendisine "Rejisör" lakabı takılmasını "Mersin ortaokulunun ikinci sınıfındayım. Kim hangi nedenle uygun gördü hatırlamıyorum şimdi. Bana 'rejisör' lakabı takıldı. Herhalde sınıfta bir Yılmaz daha vardı. Ondan ayırmak için olmalı. Ama hâlâ kendime sorarım. Neden rejisör? Bana bu ismi yakıştıran arkadaş, şimdi ünlü bir falcı olmalı. Bu lakabın meslek seçimimde önemli bir payı olmuştur sanırım." diye anlatmıştır.

Liseye İstanbul Işık Lisesi'nde yatılı olarak başlamış, ardından Adana Erkek Lisesi'ne kaydolmuştur. Mersin'den Adana'ya okulu için yarım dönem her gün trenle gidip gelmiştir. İstanbul Kabataş Lisesi, kısa bir süre Haydarpaşa Lisesi'ne devam eder. Mersin'de lise açılmasıyla birlikte şehre geri döner, Mersin Lisesi'ni bitirir. Daha sonra İstanbul Üniversitesi Hukuk Fakültesi'nde ve İDGSA İstanbul Devlet Güzel Sanatlar Akademisinde bir süre eğitim almıştır.

1951 yılında Kanlı Feryat filmi ile yönetmenliğe başlamadan önce iki kez yardımcı yönetmenlik, ve ayrıca film eleştirmenliği ve senaryo yazarlığı da yapmıştır. Orhan Günşiray‘la birlikte Yerli Film adındaki prodüksiyon firmasını kurduktan sonra film çalışmalarına hız veren Yılmaz, çeşitli sinema derneklerinde ve sendikalarında da görev aldı. Yerli Film kapandıktan sonra 1980‘de Ömer Kavur ve Yavuz Özkan ile birlikte ADAF’ı kuran Yılmaz, bu şirket dağıldıktan sonra, kendi adına Yeşilçam Filmcilik yapımevini açtı. Mimar Sinan Üniversitesi Sinema-TV Bölümünde öğretim görevlisi olarak çalıştı. Aktif olduğu dönem boyunca 110'dan fazla film yönetmiştir. 2004 yılında yönettiği Eğreti Gelin filmi yönettiği son film olmuştur.

Atıf Yılmaz'ın üç evliliği olmuştur. Oyuncu Nurhan Nur ve senarist Ayşe Şasa'dan sonra oyuncu Deniz Türkali ile Türkan Şoray'ın da şahit olduğu bir nikahla 1974'te evlenmiştir.

5 Mayıs 2006 yılında İstanbul'da vefat etmiştir.