七十年代初，在《三亚海洋地志月刊》上，曾经正式标注名字芒果岛，不过不久便更正为小黄鱼岛。

小黄鱼岛以前并不叫小黄鱼岛，三亚和附近岛屿的渔民一直都管它叫做神仙岛，代代相传岛上有一位神明，但到底是哪一位神仙，谁也说不出个名堂来。曾经有年老的渔民说过，这位神仙是陈塘关的总兵李靖，但是大多数渔民表示不信。这陈塘关在天津，和海南岛一北一南相距万里之遥，两者能有什么关联？更何况陈塘关的总兵又不爱撒网打渔，说不定他连下水游泳都不会，所以陈塘关的总兵李靖，和渔民一毛钱的关系都没有，怎么就成了保护渔民的神灵的？不过也有人相信就是李靖，因为李靖的儿子哪吒闹过海，杀过孽龙，算得上是镇海小魔王。但也有渔民反驳，哪吒大闹的是东海，不是南海，与三亚不搭界，况且，踏平龙王水晶宫的是哪吒三太子，不是他老爹李靖，真有神仙也只能是哪吒，和他爹没有半毛钱的关系。

但无论渔民怎么议论神仙的身份，他们都愿意相信，的确有这么一位神仙一直在保佑着出海的渔民们，在海上讨生活无灾无难，平平安安。所以渔民还在岛上建了一座神仙庙，享受渔民的香火供奉。

既然有神仙的庙，就得给神仙塑造金身塑像，渔民众说纷纭，不知道是哪一路神仙，那么该塑谁呢？争来争去，最后统一了认知，给观世音菩萨打造金身塑像。观世音不但是大慈大悲救苦救难的灵感菩萨，而且观世音菩萨还是南海本地人，住在南海普陀落伽山潮音洞。观世音菩萨的金身塑像一落成，神仙庙就正式接受祭拜，香火旺盛。来往路过神仙岛的船只，都会绕过来停靠在岛边，进神仙庙烧香磕头，求菩萨保佑，祈祷出海好运，平安归来。

海南岛解放后，三亚的干部便指出神仙岛的名字是封建糟粕，这个世上哪有什么神仙？第二年就强制性把神仙庙拆了，各种大小菩萨像砸得粉碎，神仙岛也不准叫神仙岛了，改了个响亮的进步名字叫红旗岛。

说来也奇怪了，不说巧合也不说什么原因，自从把神仙庙拆了，菩萨像砸了，神仙岛改名后，神仙岛附近海域就接二连三发生撞船，翻船，烧船，沉船等各种事故，二年内，前前后后死了十几个渔民，这下三亚的渔民全都恐慌了。