जब हरिहर काका ने अपने भाइयों के कहने पर अपनी जमीन-जायदाद उनके नाम नहीं किया तो उनके भाइयों ने उनके साथ बहुत जुल्म-अत्याचार किया और जबरन अनेक कागजों पर उनके अँगूठे के निशान लिए, इसके अलावा उन्हें खूब मारा-पीटा तथा उनकी कोई भी दुर्गति बाकी नहीं छोड़ी, अगर और थोड़ी देर तक पुलिस नहीं आती तो वह उन्हें जान से मार देते। इससे स्पष्ट है कि हरिहर काका के भाइयों और ठाकुरबारी के साधु-संतों के व्यवहार में कोई अंतर नहीं था।