1820 yılında Isparta Gelendost’ta doğdu. İstanbul’da medresede okudu. Harbiye’ye girdi. 1848 yılında kurmay yüzbaşı olarak mezun oldu. Bir süre Harbiye mektebinde tabiye hocası olarak görev aldı. Kırım Savaşına katıldı. Serdar-ı Ekrem Ömer Paşa’nın kurmay başkanı, daha sonra da Mektebi Harbiyeyi Şahane Nazırı oldu. Hassa müşiri ve serasker kaymakamlığına getirildi. Girit kumandanı iken (1867), adanın valiliğine tayin edildi. 1868’de önceden vekalet ettiği seraskerlik makamına getirildi. Mahmud Nedim Paşa sadrazam iken, seraskerlikten alındı. Isparta’da on bir ay sürgünde kaldı (1871). Affedilerek Aydın Valiliğine getirildi. Daha sonra Bahriye Nazırı oldu. 1873’te ikinci defa seraskerliğe tayin edildi. 1874’te sadrazamlığa getirildi. On dört ay sonra azledilerek önce İzmir, sonra da Bursa valiliklerine gönderildi. Dördüncü defa seraskerlik verildiği zaman yenilik taraftarlarıyla birleşti. Sadrazam Mütercim Rüştü, Midhat ve Süleyman Paşa’nın sarayında toplanan vekiller heyeti, Sultan Abdülaziz’i indirerek yerine Sultan Beşinci Murad’ı geçirdi.
Taht değişikliğinden sonra meşrutiyet isteyenlerle fikir ayrılığına düştü. Özellikle Midhat Paşa ile anlaşamadı. Sultan Beşinci Murad’ın saltanatı zamanında seraskerlikte kaldı. Midhat Paşa’nın sarayında yapılan Vekiller Heyeti toplantısına, Sultan Abdülaziz taraftarı Çerkez Hasan bir baskın düzenledi. Çerkez Hasan, toplantı odasında Hüseyin Avni Paşa’yı öldürdü (1876).