世子游神的故事来历与五福大帝紧密相连，具有丰富的文化背景和传说色彩。

世子游神的历史可以追溯到上古时代的日游神传说，以及与之相关的神明形象。在福建地区，游神活动与谢少苍和安济圣王的故事密切相关。据说，明初时，潮州人谢少苍因开仓济民而触怒朝廷，被处以酷刑。在行刑前，他梦见一位神明暗中庇护他，这位神明与王伉庙里的塑像一模一样。为了感恩，谢少苍将神像请回潮州，并在韩江水急时将其供置于“青龙古庙”，之后果然解除了水患。因此，人们感恩于这位神明，称之为“安济圣王”。

此外，赵世子是福建游神群体中的一位重要神祇，被尊奉为“广泽尊王”、“郭圣王”和“圣王公”等。他是五福大帝的儿子，被尊崇为守护地区和平、驱邪避灾的神祇，特别是在闽南地区，他受到了广大民众的深厚信仰。

综上所述，世子游神的故事来历涵盖了历史人物、民间传说以及地方信仰等多个方面，反映了福建地区丰富的文化底蕴和民俗传统。这些故事和传说不仅是对历史人物的记忆，也是对当地文化特色的一种传承和发扬。