Dank der günstigen natürlichen Umgebung der Stadt sind Stolac und seine Umgebung seit der Antike besiedelt. Die reichen Jagdgründe und andere natürliche Vorzüge zogen prähistorische Menschen und später Illyrer, Römer und Slawen an, die alle eine Fülle anthropologischer Zeugnisse hinterließen. Das Gebiet ist seit mindestens 15.000 Jahren besiedelt, wie die Markierungen in der Badanj-Höhle belegen, die Experten auf 12.000–16.000 v. Chr. datieren. Drei Kilometer westlich von Stolac befindet sich Radimlja, eine beeindruckende Stećak-Nekropole aus dem 15. und 16. Jahrhundert. Diese Stećak-Grabsteine ​​sind mit Epitaphen, detaillierten Porträts der Verstorbenen und Motiven wie Weinreben, Jagdszenen und Wildtieren verziert. Fünf der Radimlja-Grabsteine ​​markieren vermutlich die Gräber von Mitgliedern der walachischen Familie Hrabren Miloradović. Ali-paša Rizvanbegović (1783–1851), der halbunabhängige Herrscher (Wesir) der osmanischen Herzegowina von 1833 bis 1851, wurde im Begovina-Viertel Stolac geboren.