পাঁচগাঁও গ্রামটি শুধু মনীষীদের জন্মস্থান হিসেবেই নয়, আধ্যাত্মিক ঐতিহ্যেও বিশেষভাবে সমৃদ্ধ। গ্রামে সর্বানন্দ দাস নামে এক সাধকের প্রতিষ্ঠিত দুর্গামণ্ডপে মহাদেবী দুর্গার স্থায়ী অধিষ্ঠানের কথা স্থানীয়ভাবে প্রচলিত। বিশেষত্ব হলো—যেখানে ভগবতী দেবী সাধারণত অতসী পুষ্পের ন্যায় স্বর্ণাভ বর্ণে পূজিত হন, সেখানে পাঁচগাঁওয়ের দুর্গাদেবী লোহিত (লাল) বর্ণে পূজিত হয়ে আসছেন।

প্রায় তিনশত বছর পূর্বে সর্বানন্দ দাস তৎকালীন সরকারের অধীনে মুন্সি পদে কর্মরত ছিলেন। তাঁর কর্মস্থল ছিল বর্তমান ভারতের আসাম রাজ্যের শিবসাগর জেলা। শারদীয় দুর্গাপূজার সময় তিনি কামাখ্যা মন্দির-এ কুমারী পূজা করার সংকল্প গ্রহণ করেন এবং নিজ গৃহে যথাবিহিত পূজা সম্পন্ন করার জন্য স্ত্রী ও কর্মচারীদের নির্দেশ দেন।

বংশানুক্রমে প্রচলিত কাহিনী অনুযায়ী, কামাখ্যাধামে পৌঁছে সর্বানন্দ দাস মন্দিরের সেবায়েতের সহায়তায় পাঁচ বছর বয়সী এক কুমারীকে নির্বাচন করেন। মহাষ্ঠমীর দিন ষোড়শোপচারে স্বয়ং ভগবতীজ্ঞানে প্রায় ছয় ঘণ্টাব্যাপী কুমারী পূজা সম্পন্ন হয়। পূজা শেষে প্রণামের সময় এক অলৌকিক দৃশ্য প্রত্যক্ষ করা যায়—কুমারীর গায়ের বর্ণ পরিবর্তিত হয়ে লাল বর্ণ ধারণ করে।

এ ঘটনায় বিস্মিত হয়ে সর্বানন্দ দাস ভগবতীর উদ্দেশ্যে জানতে চান, তাঁর পূজা সুপ্রসন্ন হয়েছে কি না। লোকমুখে প্রচলিত আছে, ভগবতী উত্তর দেন—“তোর পূজা সিদ্ধ হয়েছে। এই বর্ণে তোর গ্রাম পাঁচগাঁওয়ে আবির্ভূত হয়েছিলাম। এখন থেকে আমাকে লাল বর্ণে পূজা করবি।”

এরপর থেকে পাঁচগাঁও গ্রামে দুর্গাদেবী লাল বর্ণে পূজিত হয়ে আসছেন। এই আধ্যাত্মিক কাহিনী ও ঐতিহ্য আজও গ্রামবাসীর বিশ্বাস ও ভক্তির এক গুরুত্বপূর্ণ অংশ হিসেবে সমাদৃত।