玉皇大帝的形象虽然出现的很晚，但其原型——天帝的出现却极早，玉皇大帝是源于上古天帝崇拜。

殷商时期，人们称最高神为帝，或上帝。陈梦家《殷墟卜辞综述》一书中提到，在殷墟卜辞中，充分证明了“上帝有很大的权威，是管理自然与下国的主宰。” 殷人认为上帝支配日、月、风、雨等一切自然现象，并用以影响人间的祸福。认为上帝具有支配社会现象和支配社会统治者的神性，如能注定人的寿天、生死，能决定战争的胜负和谋事的成败、吉凶等。

西周以后，对上帝的称谓有了很大发展，有了皇天、上天、天、天帝、皇天上帝、昊天上帝等多种神称。当时创造了如此多的尊称来使用，说明天帝信仰已广泛流传。这些神的称谓大量见于《诗》、《书》、《左传》等先秦著作中。

东汉时期，道教产生，上古就开始崇拜的天帝逐渐成为最高大神。唐人诗词中，“玉皇”和“玉帝”的名称开始大量出现。道教信服食玉，认为食玉可以长生，玉又为纯洁清静的象征，故凡称神仙，其侍曰玉女玉郎，其域曰玉京玉清，其居曰玉阙玉楼，其动植物曰玉兔、玉蟾、玉树、玉芝，皆美称也。由此，上帝的美称也称为玉皇大帝。