Примерно триста лет назад остров населяли пять семей, которые существовали за счёт рыболовства, охоты на тупиков и выращивания крупного рогатого скота. Но к 1930 году последние постоянные жители покинули Эллидаэй.

Появились слухи о том, что остров подарили знаменитой исландской певице Бьорк, некоторые твердили, что его владельцем стал эксцентричный миллиардер, но все подобные легенды оказались вымышленными. Досконально известно, что в доме есть сауна и он служит пристанищем для охотников из местной ассоциации, которые наведываются на остров, чтобы поохотиться на тупиков.