Sejak saat itu ia mulai mengumpulkan batu selama perjalanannya untuk mengantar surat dan membawa baatu-batu itu dalam saku. Mengumpulkan batu menjadi kecanduan. Ketika istrinya menjadi lelah karena harus memperbaiki sakunya, ia mengubah modus transportasi dan menggunakan keranjang untuk membawanya, dan kemudian ketika batu-batu menjadi lebih besar ia menggunakan gerobak.
Selama 33 tahun dia dan istrinya membangun bangunan dari batu, salah satu monumen paling aneh sepanjang masa, ideal palace atau Palais Idéal .menurut perhitungannya butuh lebih dari 9.000 hari atau 65.000 jam dan karenanya hasil karyanya mendatangkan sekitar 100.000 pengunjung dalam setahun ke desanya Hauterives utara Valence.
“Saya ingin membuktikan dengan kemauan hampir semua bisa dicapai,” tulis Facteur Cheval.
bangunan yang diselesaikan berukuran panjang 26 meter, atau 85 kaki, dengan ketinggian yang bervariasi antara 8-10 meter. Palais adalah campuran gaya yang berbeda dengan inspirasi dari Kristen sampai Hindu. Sebuah versi dari candi Hindu yang berdiri di samping sebuah Chalet Swiss yang berdiri di samping Carrée Maison di Algiers yang berdiri di samping sebuah istana abad pertengahan, dan di suatu tempat di antaranya ada masjid beraksitektur Arab. Roh-roh dari tempat itu, kata facteur adalah Julius Caesar, Archimedes dan Vercingetorix.
Pada saat istana itu selesai, itu mulai menarik perhatian internasional. banyak seniman terkenal mengunjungi dan mendapatkan inspirasi dari tempat itu.bangunan tergambar dalam fitur media dari kartu pos , majalah dan orang-orang datang dari jauh dan luas untuk melihat gedung menakjubkan ini. Opini publik tentang pekerjaan dan penciptanya akhirnya terbentuk, dan Cheval sendiri telah dianggap sebagai seorang seniman yang mulai kembali dikenal.
Namun, meskipun Cheval telah berjasa sehingga kota Hauterives dicantumkan di peta, pemerintah kota menolak permintaannya untuk dimakamkan, bersama dengan istrinya, di istana yang dia bangun berdua. Tidak akan dihalangi, ia kembali bekerja di tahun 1914 pada struktur, kedua yang lebih kecil di pemakaman setempat.
Dia menghabiskan delapan tahun membangun apa yang disebutnya Makam kesunyian dan Peristirahatan abadi.
Dua tahun setelah-selesai dan hanya beberapa hari setelah ia selesai menulis otobiografinya-Cheval meninggal dan dikebumikan dalam struktur bangunan baru yang dia bangun selama 8 tahun itu.
