În 1984, o expediție care studia patrimoniul cultural al regiunii Yanqing, la nord-vest de Beijing, a descoperit o serie de peșteri în apropierea satului Dongmenying.
Peșterile sunt scobite în peretele de stâncă al unui munte, care este perforat în 117 încăperi mai mari cu 350 de camere în interior. Fiecare peșteră are camere cu înălțimea de aproximativ 1.8 metri și suprafața de patru metri pătrați. Cea mai mare dintre toate are doi metri înălțime, trei metri lățime și 5.2 metri lungime.
Una dintre peșteri, scobită în cea mai înaltă parte a peretelui stâncos, este numită Palatul Conducătorului, deoarece are o structură mai elaborată, are opt camere și este susținută de coloane sculptate în stâncă.
Peșterile au fost scobite la diferite niveluri pe diferite fețe ale muntelui, dând ansamblului aspectul unei clădiri cu mai multe etaje. Situl are două părți, așa-numitul șanț din față și șanțul din spate, cu peșterile situate de la est la vest și care acoperă o suprafață de 1.5 kilometri pătrați.
Aproximativ 91 de peșteri sunt împrăștiate de-a lungul versanților sudic, nordic și estic, în timp ce alte 26 sunt situate în partea din spate a versanților sudic, nordic și estic. Interesant este faptul că majoritatea au fost săpate în versanții umbroși, unde Soarele nu bate de obicei. Este o alegere ciudată, având în vedere climatul rece din regiunea Beijing.
Peșterile în sine ocupă o suprafață interioară de 3.9 kilometri pătrați, iar accesul se face pe scări de piatră sculptate în stâncă, cu o înălțime de peste zece metri.
Interiorul peșterilor este cizelat cu motive ornamentale, deschideri de ferestre și ceea ce pare a fi kangs din piatră (un sistem de încălzire tradițional din nordul Chinei). O canelură în stâncă de-a lungul acoperișului servește la colectarea apei de ploaie.
Legătura între diferitele încăperi se face prin scări și poduri interioare. Nu se știe cine le-a creat sau cine erau ocupanții lor, deși unele ipoteze indică un trib din stepele mongole, Kumo Xi.
Kumo Xi au locuit în nord-estul Chinei între anii 207 și 907, când au fost complet asimilați în dinastia chineză Liao și au dispărut din istorie. Totuși, un trib Kumo Xi ar fi rămas independent și izolat, cioplind peșterile Guyaju ca refugiu și locuind în ele până în jurul anului 960, chiar în perioada celor cinci dinastii și zece regate ale Chinei.
O altă ipoteză vede peșterile ca un post de pază al dinastiei Han, a doua dinastie imperială a Chinei, care a domnit între 206 î.e.n. și 220 e.n. Unii cred chiar că acest complex a fost construit de bandiți care fugeau de justiție.
S-a estimat că pentru construcția complexului ar fi fost nevoie de 100 de persoane care să lucreze continuu timp de cinci ani.
Peșterile Guyaju sunt considerate primul labirint din China. Expediția care le-a descoperit a estimat vechimea lor cuprinsă între 1.000 și 2.000 de ani, dar nu s-a făcut niciodată o datare strictă prin metode științifice.
Din 1991, peșterile au devenit o atracție turistică, primind anual numeroși vizitatori. În mai 2013, complexul a fost listat ca sit istoric și cultural protejat.
