В своих заметках Шеваль признавался, что импульсом к созданию гигантского дворца послужил странный камень, об который он споткнулся однажды утром. Слоистая, текучая порода притягивала к себе взгляд, заставляла размышлять об иных возможностях формы.
На другой день Шеваль вернулся на то же место и подобрал несколько образцов породы. Так начался его 27-летний этап коллекционирования камней. Поначалу он приносил их в карманах и платке, затем в корзине и, наконец, стал возить камни на самодельной тачке, складывая их на заднем дворе. Соседи считали его безумцем, но он твердо знал, для чего предназначены камни.