湘子桥始建于南宋乾道六年（1170），潮州知军州事曾汪主持建西桥墩，于宝庆二年（1226）完成；绍兴元年（1194），知军州事沈崇禹主持东桥墩，到开禧二年（1206）完成。东西各九墩，前后费时五十六年。
因“江心流急湍，深莫能测”，桥终未能合拢。当地官绅以摆渡图利，收取捐税。“虽济以舟，日不能三、四渡，咫尺之限若千里，潮民病涉，莫此为甚”。
明宣德十年（1435），潮州知府王源采西湖山石用以修桥，西桥段增至十墩，东桥段增至十三墩，墩高五、六丈，墩面一百多至二百平方米，每墩上建望楼，改名为广济桥。正德八年（1513），复增建一墩一楼，共二十四墩，中间“设舟二十四为浮梁，周以栏盾铁缘，连亘以渡往来”（《广济桥记》）。每条铁链重4000斤，把梭形串连结成浮桥。浮桥可开开闭。打开时可通过大船。后来梭船改为十八只。
潮谚有云：“潮州湘桥好风流，十八梭船二十四洲。二十四楼台二十四样，二只锉牛一只溜。”所谓“洲”，即是水中陆地，也就是桥墩。“楼台”即墩上望台。各个楼台格式不同，故说“二十四样”。“锉牛”指雍正年间修桥时铸的铁牛，东西桥段各一只，牛头上铸有“镇桥御水”四字；道光年间一只只铁牛被洪水冲走，故云“一只溜”。
至于“广济桥”怎么又变成“湘子桥”呢？有两种说法，都和神仙传说有关。一说桥是湘灵（湘水之神）架起的，故名“湘桥”。杨凇的《湘桥春涨》诗云：“一桥横亘锁烟汀,急溜朝宗去不停;春水依然仙迹杳,行人犹自说湘灵.”一说桥是八仙之一的韩湘子所建,故名湘子桥。
关于韩湘子，也有两种说法。一说韩湘子就是韩愈的侄孙韩湘。《列仙全传》“韩湘子“条云：”字清夫，韩文公之犹子也，落魄不羁，遇纯阳先生，因从游，登桃树堕死而尸解。来见文公。文公勉之学。湘曰：“湘之所学与公异……”。
《青琐高议》云：“字清夫，愈侄……，尝于愈前聚土覆盆，良久现碧云二朵，叶间有小字云：云横秦岭家何在，雪拥蓝关马不前。愈不解诗意。湘曰：事久可验。后愈贬潮阳，中途遇雪，湘忽冒雪而来。曰，忆花上句乎？乃今日事也。”酉阳杂俎》亦载其事。
另一说则认为这个字清夫的“神仙”韩湘子，不是韩愈的侄孙韩湘，而是另一个人。《随园随笔》云：“湘乃会昌三年进士，非好道者，其好道者别是一族子”。韩湘是韩愈之侄韩老成（即“十二郎”）的长子，字北渚，韩愈贬潮州时，韩湘与其弟滂皆侍行。韩愈集中存宿曾江口（广东增城）示侄孙湘诗二首。会昌三年（843）中了进士。他和那个字清夫的韩湘子是两个人。
从前，湘子桥东头有石刻“洪水止此”四字，传说是韩湘写的。康熙二十四年修桥时除去此碑，雍正年间代理知府张云浦借“韩湘子”之名扶乩，重刻“洪水止此”碑，并建湘子庙于桥上。后人就习称这桥为湘子桥。“湘子桥”名字很美，有古味，有神仙味，慢慢被人们接受了，“广济桥”反而很少提及了。桥的建成，托名神仙之力，其实是古代知识分子与劳动人民智慧与辛劳的结晶；亦见工程之艰巨，殆非人力所能为。至于帮助建桥的“神仙“，究是湘水之神，是八仙之一的韩湘子，还是韩愈的侄孙韩湘，就大可不必去深究了。