जगन्नाथ मन्दिर से जुडी एक बेहद रहस्यमय कहानी प्रचलित है, जिसके अनुसार मन्दिर में मौजूद भगवान जगन्नाथ की मूर्ति के भीतर स्वयं ब्रह्मा विराजमान है।
ब्रह्म कृष्ण के नश्वर शरीर में विराजमान थे और कृष्ण की मृत्यु हुई तब पाण्डवों ने उनके शरीर का दाह-संस्कार कर दिया लेकिन कृष्ण का दिल (पिण्ड) जलता ही रहा। भगवान के आदेशानुसार पिण्ड को पाण्डवों ने जल में प्रवाहित कर दिया। उस पिण्ड ने लठे का रूप ले लिया। राजा इन्द्रदुम्न, जो कि भगवान जगन्नाथ के भक्त थे, को यह लठ्ठा मिला और उन्होंने इसे जगन्नाथ की मूर्ति के भीतर स्थापित कर दिया।
उस दिन से लेकर आज तक वह लठ्ठा भगवान जगन्नाथ की मूर्ति के अन्दर है। हर 12 वर्ष के अन्तराल के बाद जगन्नाथ की मूर्ति बदलती है लेकिन यह लठ्ठा उसी मे रहता है। इस लकड़ी के लठे को आज तक किसी ने नहीं देखा। मन्दिर के पुजारी जो इस मूर्ति को बदलते है, उनका कहना है कि उनकी आँखों पर पट्टी बाँध दी जाती है और हाथ पर दस्ताना लगा दिया जाता है। इसलिए वे न तो लठ्ठ को देख पाए और न ही छू कर महसूस कर पाए है।
पुजारियों के अनुसार वह लठ्ठा इतना सॉफ्ट होता है मानो कोई खरगोश उनके हाथों में हो। पुजारियों का ऐसा मानना है कि अगर कोई व्यक्ति इस मूर्ति के भीतर छिपे ब्रह्म को देख लेगा तो उसकी मृत्यु हो जाएगी। इसी वजह से जिस दिन जगन्नाथ की मूर्ति बदली जाती है, उड़ीसा सरकार द्वारा पूरे शहर की बिजली बाधित कर दी जाती है। आज तक एक रहस्य ही है कि क्या वाकई भगवान जगन्नाथ की मूर्ति मे ब्रह्म का वास है।