पुराणों में उल्लेख मिलता है कि भैरव पर्वत पर मां भगवती सती के ओष्ठ गिरे थे। इसी आधार पर एक बड़ा वर्ग उज्जैन में क्षिप्रा नदी के तट के पास स्थित मां हरसिद्धि को शक्तिपीठ मानता है। इस पीठ पर कवच–मन्त्रों की सिद्धि होकर रक्षण होता है। इसलिए इसका नाम ‘अवन्ती’ है। पीठ की प्रमुख शक्तिदेवी ‘हरसिद्धी है। ‘शिवपुराण’ के अनुसार यहां ‘श्रीयन्त्र’ की पूजा होती थी। गर्भगृह में एक शिला पर श्रीयन्त्र उत्कीर्ण है। यहां अन्नपूर्णा, कालिका, महालक्ष्मी, महासरस्वती एवं महामाया की प्रतिमाएं भी है।
तन्त्रचूडामणि और ज्ञानार्वण के अनुसार यहाँ की शक्ति ‘मंगल चण्डिका’ तथा भैरव ‘मांगल्य कपिलांबर’ हैं –
उज्जयिन्यां कूर्परं व मांगल्य कपिलाम्बरः।
भैरवः सिद्धिदः साक्षात् देवी मंगल चण्डिका।
कहते हैं कि प्राचीन मंदिर रुद्र सरोवर के तट पर स्थित था तथा सरोवर सदैव कमलपुष्पों से परिपूर्ण रहता था। इसके पश्चिमी तट पर ‘देवी हरसिद्धि’ का तथा पूर्वी तट पर ‘महाकालेश्वर’ का मंदिर था। 18वीं शताब्दी में इन मंदिरों का पुनर्निर्माण हुआ। वर्तमान हरसिद्धि मंदिर चहारदीवारी से घिरा है। मंदिर के मुख्य पीठ पर प्रतिमा के स्थान पर ‘श्रीयंत्र’ है। इस पर सिंदूर चढ़ाया जाता है, अन्य प्रतिमाओं पर नहीं और उसके पीछे भगवती अन्नपूर्णा की प्रतिमा है। गर्भगृह में हरसिद्धि देवी की प्रतिमा की पूजा होती है। मंदिर में महालक्ष्मी, महाकाली, महासरस्वती की प्रतिमाएँ हैं। मंदिर के पूर्वी द्वार पर बावड़ी है, जिसके बीच में एक स्तंभ है, जिस पर संवत 1447 अंकित है तथा पास ही में सप्तसागर सरोवर है। मंदिर के जगमोहन के सामने दो बड़े दीप स्तंभ हैं।
जानिये पूरी दुनिया में कितनी शक्तिपीठ हैं और वे किन स्थानों पर हैं.
शिवपुराण के अनुसार यहाँ श्रीयंत्र की पूजा होती है। इन्हें विक्रमादित्य की आराध्या माना जाता है। स्कंद पुराण में देवी हरसिद्धि का उल्लेख है। मंदिर परिसर में आदिशक्ति महामाया का भी मंदिर है, जहाँ सदैव ज्योति प्रज्जवलित होती रहती है तथा दोनों नवरात्रों में यहाँ उनकी महापूजा होती है-
नवम्यां पूजिता देवी हरसिद्धि हरप्रिया
मंदिर की सीढ़ियाँ चढ़ते ही वाहन सिंह की प्रतिमा है। द्वार के दाईं ओर दो बड़े नगाड़े रखे हैं, जो प्रातः सायं आरती के समय बजाए जाते हैं। मंदिर के सामने दो बड़े दीप स्तंभ हैं। इनमें से एक ‘शिव’ है, जिसमें 501 दीपमालाएँ हैं, दूसरा ‘पार्वती’ है, जिसमें 500 दीपमालाएँ हैं तथा दोनों दीप स्तंभों पर दीपक जलाए जाते हैं। लिंगपुराण में कथा है कि जिस समय रामचंद्रजी युद्ध में विजयी होकर अयोध्या जा रहे थे, वे रुद्रसागर तट के निकट ठहरे थे। इसी रात्रि को भगवती कालिका भक्ष्य की शोध में निकली और इधर आ पहुंचीं। हनुमानजी को पकडऩे का प्रयास किया, परंतु हनुमान ने महान भीषण रूप धारण कर लिया। तब देवी डरकर भागीं। उस समय अंश गालित होकर पड़ गया। जो अंश पड़ा रह गया, वही स्थान कालिका के नाम से विख्यात है। यहां पर नवरात्रि में लगने वाले मेले के अलावा भिन्न-भिन्न मौकों पर उत्सवों और यज्ञ-हवन के आयोजन होते रहते हैं। मां कालिका के दर्शन के लिए दूर-दूर से लोग आते हैं। हालांकि बहुत से विद्वान गुजरात के गिरनार पर्वत के सन्निकट भैरवपर्वत को वास्तविक शक्तिपीठ मानते हैं।