然而，不久他们就在帕尔米亚岛附近触礁，在船没顶之前，10来个海盗将部分财宝移到这个无人居住的岛上。他们在那儿呆了1年，其间有几个同伙莫名其妙地死去，到离开该岛时，就只剩下四五个人。他们将从印加墓穴里盗来的财宝埋在岛上的一棵大树下，然后坐一个自制的筏子离开该岛。当木筏被一艘美国捕鲸船发现时，只有一名水手还活着，而他不久也死于一种奇怪的疾病。
这个故事开始广为流传，帕尔米亚岛在一些冒险家的眼中一下子具有了神奇的魔力。尽管这个小小的珊瑚岛远离大陆，但仍有一些人不畏艰险前往探宝，然而，他们大多数都有去无回。于是又有传说开始流传：是那些被海盗掠来的不义之财给小岛带来了灾难，印加国王已给小岛下了一道魔咒——所有与财宝发生关联的人都将遭受毁灭的命运！
1855年，一艘捕鲸船在帕尔米亚附近遇难，可后来人们却怎么也找不到遇难船只和船员，他们都神秘地消失了。在接下来的日子里，据说也有多艘船只在该岛附近失事，这个小岛真正成了太平洋上的神秘岛。
美国军方也奈何不了它
也有人不信邪，1911年，夏威夷居民亨利·库普以750美元的价格从美国政府手中买得该岛，显然，他是奔着岛上可能存在的巨额宝藏来的。然而，他不但未找到宝藏，反而把命也给搭上了。不久，该岛又落入了一个名叫富勒的家族之手，但自从购得该岛起就陷进了一场与美国政府没完没了的官司中。原因是当二战临近时，美国政府希望能将此岛作为海军基地，或者像太平洋上另一个著名的珊瑚岛比基尼一样作为核武器的试验基地。最终达成的协议是：富勒仍然拥有该岛所有权，但美国军方也可将它作为对付日本的空军基地。于是，在二战期间，帕尔米亚成了美国空军在太平洋上的一个中转站。
然而，“魔咒”依然存在!美国空军在该岛的事故率比任何其他基地都频繁，一些飞行员一到达该岛似乎就完全摸不清方向。有一次，一架在跑道上起飞的飞机，在上升到几百英尺高度后却向完全与预定方向相反的地方飞去。当时飞机上有两个飞行员，不久，飞机便与基地失去联系，再也不见踪影。这种事竟然发生在光天化日之下，着实令人吃惊。