雖然有史可查的第一塊手工皂的使用記錄是公元前2000年古巴比倫人在制衣過程中用之清洗紡織品和棉花（并非用于身體清潔），人類使用各種形式的皂其實應可以追溯到更久之前的數千年。

大約在公元前2500年，閃族人的石板上也出現了用皂來清洗紡織品的記錄，另一塊同期的石板上提及皂是由水，堿及肉桂油（cassia oil)制成的。還有一些記錄顯示古埃及人經常在洗浴中使用混合了動物油，植物油及堿鹽的類皂物品。

和現代用制皂設備流水線生產不同，起初肥皂僅僅是原始活動（祭祀）或自然活動（燒烤）的副產品而出現發展的。

原始人將動物或者敵對部族的俘虜（也有少數本部族的成員作為活祭）作為祭品進行焚燒來表達對神靈的崇拜。此類祭祀活動多數在山峰的頂部進行，而山路之下往往與河流交匯；人們于回程中發現祭祀的器具在河中更容易被清洗干凈，于是人們又回到祭祀地點尋找其原因--如我們所知---這就是皂的原型。

這個制皂故事在當時是如此流行，以至于古羅馬人為之創造出了一個傳說。

根據羅馬的傳說，皂被首次發現于Sappo Hill峰下的Tiber River（臺伯河--現在的意大利中部河流）沿岸。女人們在河里洗衣時發現如果在某一特定地點洗衣服，衣物會很容易清洗，比之前少用力氣卻洗的更干凈。當時，羅馬人用牲畜祭祀并在Sappo Hill峰頂的神廟外焚燒。牲畜在焚燒過程中流下的油脂和草木灰的混合物于雨水混合后產生了原始皂體并沿著山坡進入河水。事實上，今日用于描述皂化反應這一化學過程的單詞saponification即來源于此傳說。

考古學家在在龐貝城的遺跡中發現了一座制皂工廠的殘垣。龐貝，即現代意大利的那不勒斯，是發現有古羅馬人用羊油，草木灰以及海鹽系統制造肥皂的城市之一。但是當時的古羅馬，肥皂并沒有用于身體衛生的清潔，古羅馬人于大約公元前312年建立了高級奢華的公共澡堂，在其中使用草本浴劑，其主要成分大概是用香水和皂草（soapwort)、絲蘭（yucca)、 馬尾、晚櫻（fuchsia)葉、茉莉及其他植物的混合物，同時還混合了橄欖油和沙或者鹽（猜想大概是磨砂作用，原來人們使用浴鹽的歷史同樣很悠久哦）。

縱觀歷史，同時期世界各地的多數人是如同羅馬人一樣用其他物品來清洗的。眾所周知，埃及艷后克麗奧佩托拉七世因使用牛奶，蜂蜜和精油的混合物來洗澡而被古羅馬人所崇拜（類似于今日人們對明星奢華生活方式的艷羨）。

手工皂用于個人清洗這一風俗是在羅馬帝國晚期開始逐漸流行起來，但是一直到羅馬帝國覆滅的數百年后才真正開始在人們的洗浴行為中占據主導地位。

有意思的是，當手工皂開始用于身體清洗的時候，地中海地區（包括意大利，西班牙，希臘，南部法國）迅速的摒棄了羅馬帝國時代遺留下的使用橄欖油混合物沐劑的習慣，并用橄欖油替代動物油脂來制造皂。事實上，是選擇橄欖油還是動物油來制皂從基本上來說還是由地域差異決定。上述地中海國家用橄欖油制皂，而北方的一些地區，如當今的北部法國、俄羅斯、德國及英格蘭地區等則使用動物油。但是很明顯，用橄欖油制的皂比用動物油例如牛油和魚油制的皂品質更高。

令人意想不到的是，黑死病在歐洲的蔓延居然帶動了皂的普及。黑死病（淋巴腺鼠疫)的爆發使歐洲人口驟減，當時因為疫病泛濫的原因尚且不明，巨大的恐慌彌漫于整個歐洲大陸。其中一種說法歸咎于公共浴池，這也造成了執政機構將浴池關閉以預防疫病的傳播。為了在疫病蔓延的期間里保證個人衛生，人們也開始更為頻繁的清潔身體和更換衣服，因而也帶來了更多對皂的需求。