Obserwatorium zaprojektowane zostało w okresie panowania dynastii Yuan (1271-1368) na wieży należącej do bramy miejskiego barbakanu. Oryginalna konstrukcja została zniszczona na początku panowania dynastii Ming (1368-1644), kiedy miasto zostało podbite, a przyrządy astronomiczne, które przetrwały zostały przetransportowane do Nanjingu, miasta zlokalizowanego na wschodzie Chin.
Dzisiejsza konstrukcja została odbudowana w roku 1442, przy użyciu oryginalnych planów. Stała się ona obserwatorium cesarskim i przez 5 wieków, aż do roku 1929 prowadzono tam badania astronomiczne. Obserwatorium Pekińskie jest jednym z najdłużej działających obserwatoriów na świecie.
