В своих заметках Шеваль признавался, что импульсом к созданию гигантского дворца послужил странный камень, об который он споткнулся однажды утром. Слоистая, текучая порода притягивала к себе взгляд, заставляла размышлять об иных возможностях формы.
На другой день Шеваль вернулся на то же место и подобрал несколько образцов породы. Так начался его 27-летний этап коллекционирования камней. Поначалу он приносил их в карманах и платке, затем в корзине и, наконец, стал возить камни на самодельной тачке, складывая их на заднем дворе. Соседи считали его безумцем, но он твердо знал, для чего предназначены камни.

Дворец постепенно рос, ничем не напоминая регулярную европейскую архитектуру. Его формы родственны природным: кажется, что для Шеваля не было ничего невозможного, настолько свободно он включает в композицию самые фантастические детали. Больше того, полное впечатление, что автор был знаком, например, с индийскими храмами, настолько впечатляющи пропорции колонн и скульптур. И хотя Идеальный Дворец любят называть первой наивной архитектурой, сам Шеваль никак не был наивен – он просто был верен себе и полностью посвятил себя делу искусства.

Вообше Шеваль был совсем простым французом. В 13 лет ушел из школы, чтобы работать в пекарне, но стал в итоге почтальоном. Ни архитектурного образования, ни навыков каменщика он, конечно, не имел. Зато он был поэтом. Так что узкие переходы дворца и башни снаружи испещрены его изречениями и стихами. Здесь (рядом с верблюдиком) написано: «Создавая эту скалу, я хотел утвердить возможности воли».

Снаружи дворец окружен внешними лестницами, украшен башнями и фонтанами: на зрителя глядят массы скульптур – египетские боги, католические святые, изображения пилигримов и зверей. Внутри – длинные переходы с ракушечной мозаикой и углублениями-святилищами. Там есть мечеть, храм Девы Марии и так далее.

Впрочем, дворец не так уж велик – всего 26 на 14 метров в и 10 в высоту. Надпись на северном углу здания гласит: «10,000 дней, 9300 часов, 33 года».
Шеваль хотел быть похоронен в своем дворце и еще 7 лет потратил на постройку собственного мавзолея, куда его и положили спустя год после того, как он был закончен: умер он в 1924 году. Ему было 88 лет.