सन् 1898 में, जब श्रील सरस्वती ठाकुर गोद्रुम के नवनिर्मित स्वानन्द सुखद कुँज में रहते थे, तब श्रील गौरकिशोर दास बाबाजी महाराज जी का पहली बार दर्शन किया। उसी दिन स्वरूप-रूपानुगवर परमहंस श्रील गौरकिशोर प्रभु, श्रीवार्षभानवी देवी (राधाजी) के उद्देश्य से अत्यन्त दैन्य ज्ञापन कर, कातर कण्ठ से गान करते-करते स्वानन्द – सुखद – कुँज में उपस्थित हुए। अप्राकृत अवधूतकुल चूडामणि श्रीगौरकिशोर दास बाबाजी महाराज जी के शीश पर एक शेर के चमड़े की टोपी और झोले में उनके भाव सेवा की नाना प्रकार की सामग्री और उपकरण थे। उन्होंने बाद में अपनी 3/4 गुच्छा श्रीहरिनाम की माला, नाम की छाप, ये टोपी और अन्यान्य अर्चन के उपकरण आदि सारा सामान श्रील सरस्वती ठाकुर जी को प्रदान कर दिया था। यह टोपी और झोला कालना के श्रील भगवान्दास बाबाजी महाशय ने श्रील गौरकिशोर प्रभु को दिया था। सन् 1900 के जनवरी मास में, श्रील भक्तिसिद्धान्त सरस्वती गोस्वामी प्रभुपाद जी ने श्रील गौरकिशोर दास बाबाजी महाराज जी से गोद्रुम में, स्वानन्द सुखद कुँज में दीक्षा ग्रहण की।
महाभागवत श्रील गौरकिशोर प्रभु स्वानन्द सुखद कुंज में श्रीमद् भक्तिविनोद ठाकुर जी से श्रीमद् भागवत श्रवण करने आते थे व दोपहर बाद 3 बजे से 5 बजे तक श्रीमद् भागवत श्रवण कर चले जाते थे। बीच-बीच में स्वानन्द सुखद कुँज के कोने में एक टीन की कुटिया में रात्रि यापन करते थे। समय-समय पर स्वानन्द – सुखद – कुँज के पास ही सथित वर्द्धमान ज़िला के अन्तर्गत आमलाजोड़ा वासी श्रीक्षेत्रनाथ भक्तिनिधि और श्रीविपिन बिहारी भक्तिरत्न महाशयों की, ‘प्रद्युम्नकुंज’ की कुटिया में, विभिन्न स्थानों से इक्टठा की हुई लकड़ी और परित्यक्त मिट्टी के बर्तन रखते थे।
प्रद्युम्नकुँज के सारे बरामदे इस प्रकार एकत्रित किये हुए सूखी लकड़ी के गट्ठरों और मिट्टी के बर्तनों से भर गया था। इसी समय स्वधामगत रामसेवक चट्टोपाध्याय भक्तिभृंग महोदय भी ठाकुर भक्तिविनोद की श्रीमद् भागवत व्याख्या श्रवण करने आते थे। श्रील गौरकिशोर प्रभु किसी-किसी दिन स्वानन्द सुखद कुंज में प्रसाद ग्रहण करते थे और फिर किसी-किसी दिन किसी के द्वारा प्रसाद दिए जाने पर उसे ग्रहण न कर उपवास करते थे या अपने हाथों से रसोई बनाते थे। उस समय वे शिरोरोग (पागलपन) से पीड़ित होने का लीलाभिनय करते थे। श्रील भक्तिविनोद ठाकुर द्वारा उपयुक्त औषधि की व्यवस्था कर दिए जाने पर भी श्रील गौरकिशोर दास बाबाजी महाराज जी ने तीव्र वैराग्य के कारण उन सब औषधियों के बारे में उदासीन रहते थे, बल्कि क्रमशः शिरोरोग से पीड़ित होने की लीला इतनी प्रकाशित की कि उनकी आँखों की दृष्टि-शक्ति, क्रमशः कम होती चली गई। सन् 1904 में, उन्होंने अपनी बाहरी दृष्टि-शक्ति को एक बार में ही संगोपन कर लिया। सन् 1905 से वे साधु के विचरण -धर्म का परित्याग कर एक कुटिया में रहने लगे।
आमलाजोड़ा वासी, सरकार महाशयों के पास दक्षिण – कोलकाता निवासी परलोकगत शरत्चन्द्र वसु महाशय द्वारा पूर्वोक्त प्रद्युम्नकुँज का स्थान ग्रहण करने पर श्रील गौरकिशोर प्रभु स्वानन्द सुखद कुंज के कोने में एक कुटिया में ही रहते थे एवं उसके पास ही स्थित प्रांगण में बैठकर हरिनाम करते थे। कभी-कभी बहिर्वास- कौपीन इत्यादि उनके चिन्मय शरीर पर ठीक तरह से विद्यमान है कि नहीं, वह अनुभूति तक भी उनको नहीं रहती थी। किसी-किसी दिन सरस्वती नदी में स्नान के लिए जाकर लौटते समय उन्मुक्त वसन (निर्वस्त्र) होकर अपनी भजन कुटी में आ जाते थे एवं उच्च स्वर में, कातर कण्ठ से ब्रजगोपियों को पुकारने लगते थे।