柏島は、長宗我部元親が天正3年（1575年）に土佐を統一後、同17(1589)年に行われた長宗我部天正検地帳に記録が残されています。関ヶ原の合戦後、慶長6(1601)に山内一豊が土佐に入国し、祖父江志摩が柏島守護職に任ぜられ、天保元(1644)には異国船監視のための遠見番所が設置されました。
.
高知県文化財（記念物・史跡）に指定されている柏島石堤は、集落を風波から護るため、土佐藩執政の野中兼山によって、慶安-寛文年間(1648年-1673年)の26年間にわたり建造された防波堤です。当時としては非常に規模が大きく、江戸初期の土木構造物として歴史的評価価値が高いものとされています。
.
柏島はその後、2度の大地震・大津波（宝永4(1707)「亥の大変」、安政元(1854)「寅の大変」）、数度の大火に見舞われながらも、明治を迎えます。この間、文化5(1808)6月下旬には伊能忠敬による奥内測量、天保3(1832)には経塚建立、安政3(1856)弘瀬徳政による柏島堤防の修築などがなされました。
.
明治になり、同7(1874)には柏島郵便局が設置、同8(1875)には柏島小学校が創設され、同12(1879)3月に柏島村が発足しました。また、大正2(1913)には柏島小学校高等科が設置されました。昭和4(1929)には柏島に電燈が点り、宿毛・柏島・沖ノ島に定期航路も開設されています。
.
昭和22(1947)になり、柏島中学校が開校されます。そして、同26(1951)には柏島簡易水道が完成し、同35(1960)には柏島（渡場）までバス運行が開始され、昭和42(1967)には柏島橋が建設されました。これにより、船に依らないで四国本土と行き来できるようになり、柏島がさらに発展していくこととなりました（新柏島大橋は平成5年(1993)に竣工）。