و ابویزید گفت، رضی الله عنه: «من اراد ان ینظر الی رجل من الرجال مخبو تحت لباس النسوان، فلینظر الی فاطمه. هرکه خواهد تا مردی بیند پنهان اندر لباس زنان، گو در فاطمه نگاه کن.»

احمد کس فرستاد و وی را از پدر بخواست. پدرش به حکم تبرک وی را به احمد خضرویه داد و فاطمه به ترک مشغولی دنیا بگفت و به حکم عزلت با احمد بیارامید. تا احمد را قصد زیارت خواجه بایزید افتاد. فاطمه با وی برفت. چون پیش بایزید آمد برقع از روی برداشت و با وی سخن گستاخ می گفت. احمد از آن متعجب شد و غیرت بر دلش مستولی گشت. گفت: «یا فاطمه، آن چه گستاخی بودت با بایزید؟» گفت: «از آن چه تو محرم طبیعت منی، و وی محرم طریقت من. از تو به هوی رسم، و ازوی به خدا و دلیل بر این آن که وی از صحبت من بی نیاز است و توبه من محتاج.»

و پیوسته وی با بایزید گستاخ می بودی، تا روزی بایزید را چشم بر دست فاطمه افتاد، حنابسته دید. گفت: «یا فاطمه، دست از برای چه حنا بسته ای؟ » وی گفت: «یا بایزید، تا این غایت که تو دست و حنای من ندیدی، مرا با تو انبساط بود. اکنون که چشمت بر دست من افتاد، صحبت ما حرام شد.»

و از آن جا برگشتند و به نیسابور مقام کردند و اهل نیشابور و مشایخ آن را با احمد خوش بود و چون یحیی بن معاذ الرازی رحمه الله علیه از ری به نیسابور آمد و قصد بلخ کرد، احمد خواست تا وی را دعوتی کند. با فطامه مشورتی کرد که: «دعوت یحیی را چه باید؟» گفت:«چندین سر گاو و گوسفند و حوایج و توابل، و چندین شمع و عطر و با این همه نیز بیست سر خر بباید کشت.» احمد گفت: «کشتن خران چه معنی دارد؟» گفت: چون کریمی به خانۀ کریمی میهمان باشد، نباید که سگان محلت را از آن خیر باشد؟»

ابوحفص حداد گوید، رحمه الله علیه: «لولا احمد بن خضرویه ما ظهرت الفتوه. اگر احمد خضرویه نبودی فتوت و مروت پیدا نگشتی.»

و وی را کلام عالی و انفاس مهذب است و تصانیف مشهور اندر هر فن معاملات و ادب و نکت لایح اندر حقایق.

و از وی می آید که گفت: «الطریق واضح و الحق لائح و الداعی قد اسمع، فما التحیر بعدها الا من العمی.» راه پیداست و حق آشکارا و خواننده شنوانید، اندر این محل، تحیر به جز از نابینایی نباشد؛ یعنی راه جستن خطاست؛ که راه حق چون آفتاب تابان است. تو خود را جوی تا کجایی. چون یافتی بر سر راه آیی؛ که حق ظاهرتر از آن است که در تحت طلب طالب آید.