কথিত আছে, বহুকাল আগে স্বপ্নাদেশ পেয়ে এক সাধু পঞ্চমুন্ডির আসন প্রতিষ্ঠা করে দুর্গাপুজো শুরু করেন এখানে। গঙ্গারামপুরের এই পুজোর সঙ্গে জড়িয়ে রয়েছে স্বাধীনতা সংগ্রামের ইতিহাস। দুর্গাবাড়ি এলাকার সেই সাধু নিখোঁজ হয়ে যাওয়ায় পরবর্তীতে এলাকারই বাসিন্দা তথা অনুশীলন সমিতির অন্যতম সদস্য বিপ্লবী স্বর্ণকমল মিত্র ও তাঁর সতীর্থরা এই পুজোর ঐতিহ্য রক্ষা করেন। স্বর্ণকমল মিত্রর নেতৃত্বেই দুর্গাবাড়ির এই পুজো মণ্ডপেই অনুশীলন সমিতির গুপ্ত বৈঠক চলত বলেও শোনা যায়। পঞ্চমুন্ডির আসনে বসে দেবী দুর্গার আরাধনার মাধ্যমে সেকালে বিপ্লবীরা ভারতমাতাকে পরাধীনতার শৃঙ্খল-মুক্ত করার সংকল্প নিতেন।
পরবর্তীতে স্বর্ণকমল মিত্র মারা যাওয়ার পর তাঁর পরিবার সদস্যরা ও এলাকার মানুষ একই নিয়ম-নিষ্ঠার সাথে পুজোর আয়োজন করে আসছেন। ওই পঞ্চমুণ্ডির আসন খুব জাগ্রত বলেই মত স্থানীয়দের। এখনও দুরদুরান্ত থেকে মনস্কামনা নিয়ে ভিড় জমান বহু ভক্ত। এলাকার বাসিন্দাদের মতে, এই পুজোর সঙ্গে মিল রয়েছে বেলুড় মঠের পুজোর।
এখানকার দুর্গাপুজো অন্যান্য পুজোর থেকে একটু আলাদা। এখানে নবমীর দিন পশুবলি হয়ে থাকে। এমনকি, পুজোর তিনদিন ঘি-ভাত ফ্রাইড রাইস, খিচুড়ি, পায়েস সহ অন্নভোগ নিবেদন করা হয়। দশমীর দিন পূর্ণভবা নদীতে দুর্গাবাড়ির প্রতিমার ভাসান দিয়ে শুরু হয় বিসর্জনের পালা।
পুজোর এই ক'টা দিন বাসিন্দাদের বাড়িতে রান্না বন্ধ থাকে। সকলে মিলে পুজো মণ্ডপেই একসাথে খাওয়াদাওয়া করেন। প্রায় ৫০০ বছর পেরিয়েও এখন সমান জনপ্রিয় দুর্গাবাড়ির পুজো। এখানকার প্রতিমা দেখতে গঙ্গারামপুর এবং অন্যান্য জায়গা থেকেও বহু মানুষ পাড়ি জমান দুর্গাবাড়ি।