Osmanlı kapdân-ı deryâsıdır. 1758 yahut 1759'da doğdu. Çerkeş veya Gürcü. Silâhdar İbrahim Paşa'nın aracılığıyla küçük yaşta saraya sokulmuş, enderûn-ı hümâyûn'da iyi bir eğitim görmüştür. Bu arada III.Sultan Selim'e, şehzadeliğinde hizmet etmiştir. Doğrulanmayan bir söylentiye göre de onun süt kardeşiymiş.

Bir süre sonra mabeyincilik, tebdilcilik ve başçuhadarlığa yükseltilmiştir. 1789 ekiminde mühr-i hümâyûn'u Rumeli'deki Cezayirli Gazi Palabıyık Hasan Paşa'ya götürmek emrini aldı. Bu emanetin tesliminde sadrâzam paşa, Hüseyin Ağa'yı bağış ve hediyelere boğdu, İstanbul'a dönüşünde padişahın gözündeki itibarı az zamanda çok arttı. Bunu, Topkapı Sarayı'nda geçtiği anlaşılan bir olaya ait 1792 tarihli bir vesikadan öğreniyoruz.

O sırada Ege denizinde Rum korsanlarının yapmadığı kötülük ve vurmadığı gemi yoktu. Bunların en azılısı Lambro'ydu. Bu haydut Rus bandıralı gemilerle dolaşmaktaydı. III. Sultan Selim, Küçük Hüseyin Paşa'ya bunların temizlenmesini irade etti. Paşa, ufak bir savaş filosuna demir aldırıp korsanların cirit oynadıkları Ege denizine açıldı. Günlerce Lambro' nun peşinde dolaştı. Herifi birkaç defa kıstırdıysa da ne yazık ki tutamadı. Ama onun sağ kolu sayılan Karakaçan'ı suç ortaklarıyle birlikte yakaladı, İstanbul'a dönüşünde Yalıköşkü'ne yaklaşırken Karakaçan ve arkadaşlarını baştardanın direklerine astırdı.

III. Sultan Selim, bu başarıya çok sevindi. Paşa'ya "Bir kıt'a hançer-i murassa ve bir semmûr kürk" armağan etti. Arkasından da Esma Sultan'la "Dünya evine girme" işi törenine başlanıldı. Çok şenlik içinde bir düğün yapıldı. Baş davetli padişahtı. Bu sırada Vidin'de ayaklanma olmuştu. Ruslar, kendi kuvvetleriyle olayın bastırılması için, izin istediler. Sadrâzam Safranbolulu İzzet Mehmed Paşa "Devletin iç işlerine karışmak" olacağını ileri sürerek bu istediği reddetti. Ayaklanma bölgesine de Küçük Hüseyin Paşa'nın gönderilmesinin uygun olacağını padişaha arzetti. III.Sultan Selim, bunu müsbet karşıladığından "Sen ki kapdân-ı deryam ve serasker-i zafer-rehber Hüseyin Paşa'sın, sana her veçhile hüsn-ü nazar-ı şahanem berkemâl olmağla göreyim seni me'mûr olduğun işbu maslahat-ı ehemm-i sabıka itmamına bezl-i makdûr eyleyesin. Cenâb-ı Hak muvaffak eyleye. Amin" satırlarını taşıyan hatt-ı hümâyûn'la bu önemli görevi Küçük HüseyinPaşa'ya verdi.

Paşa, 10 nisan 1798'de Vidin'e gitmek üzere İstanbul'dan yola çıktı. Ayaklanma bölgesine Mustafa, Seyyid Ali ve Tepedelenli Ali gibi Osmanlı vali paşaları da gelmişlerdi. Vidin, karadan orduyla, Tuna'dan "ince donanma"yla kuşatılmıştı. Asi Pazvandoğlu Osman Ağa, bu durumda pek çok kere "Aff-ı şahane" isteğinde bulundu. Hepsi İstanbul'a duyuruldu. Gelen cevaplar tenkile devamı emrediyordu. Kuşatma ve çarpışmalar uzun sürdü. Osmanlı ordusu Rumeli'nin bu hayduduna karşı bir şey yapamıyordu. Bu arada çarpışmaların birinde Osmanlı komutanlarından biri maktul düştü. Küçük Hüseyin Paşa da yaralandı.

Olayın başlıca sorumlusu Seyyid Ali Paşa'ydı. Çünkü, Pazvandoğlu'yla el altından uyuşmuş, kuvvetlerini de Küçük Hüseyin Paşa'nın emri olmadan geri çekmişti. Vali Paşa'nın bu ihaneti kendisine idama kadar götürdü. Bu sırada imparatorluk, öteki ucundan bir saldırıya uğradı: Napolyon, Mısır'a asker çıkarmıştı. Çok zor duruma düşen Bâbıâlî, donanmanın başına geçmek üzere Küçük Hüseyin Paşa'yı acele İstanbul'a çağırdı. Paşa da Pazvandoğlu Osman Ağa'yı affettirip, ayaklanma işini tatlıya bağladıktan sonra döndü.

İstanbul'a gelen Küçük Hüseyin Pasa hemen donanmayla Akdeniz'e açıldı. Mısır sahillerini kuşatan İngiliz donanması ile birleşti. Napolyon, kurtuluşu kaçmak ta buldu. Daha sonra altı bin kadar askeri karaya çıkardı. 10 temmuz 1801'de Kahire'ye girdi. Gavrî Sarayı'nda Mısır ileri gelenlerini toplıyarak III. Sultan Selim adına fetih hutbesini okuttu. Mısır kalesinin anahtarlarını da mühürdanyla padişaha gönderdi. III. Sultan Selim'in sevinci sonsuzdu. Kıymetli Paşa'sı devletin yüzünü ağartmıştı.

Küçük Hüseyin Paşa, 1801 aralığında İstanbul'a döndü, iki yıl kadar gene Ege denizinde dolaşmaları oldu. 1803'te hastalandı. Verem olmuştu, yatağa düştü. Ümitsizlik içersinde vasiyetnamesini yazdı. Gırtlağına kadar borç içindeydi. Padişahtan bunların ödenmesini yalvararak istedi. Çok iyi bir insan, hassas bir kalbe sahip hükümdarın söz konusu isteğe verdiği cevap şöyledir: "Kapdân-ı Derya Paşa huzurlarına selâm ederim. Nicesin? Huda'ya emanet olasın. Hemen Hakteâlâ şifâlar ihsan eyleye. Kâğıtlarını gördüm, niçin böyle vesveseye zâhip olmuşsun. Alimallah hekimbaşı yemin ediyor, hayf olunacak bir şeyi yokdur deyû. Hem maazallah öyle bir şey olsa ben seni hiç borçlu yatırdır mıyım? Inşaallah sen bana çok hizmet edersin. Böyle kuruntuları derûnundan çıkarub ilâca dikkat, hekimlerin sözlerine mümanaat itmiyesin. Kendini sıcak tudasın. înşâallah sıhhat bulursun"

Küçük Hüseyin Paşa, hergün biraz daha çöken imparatorluğumuzun devrimci ricalindendi. Osmanlı donanmasında temelden değişiklik yapıp, düzen veren de odur. 1803'ün 8 Aralığında öldü. Eyüpte Mihrişâh Valide-Sultan türbesinin yanına gömüldü.