و از آن جا برگشتند و به نیسابور مقام کردند و اهل نیشابور و مشایخ آن را با احمد خوش بود و چون یحیی بن معاذ الرازی رحمه الله علیه از ری به نیسابور آمد و قصد بلخ کرد، احمد خواست تا وی را دعوتی کند. با فطامه مشورتی کرد که: «دعوت یحیی را چه باید؟» گفت:«چندین سر گاو و گوسفند و حوایج و توابل، و چندین شمع و عطر و با این همه نیز بیست سر خر بباید کشت.» احمد گفت: «کشتن خران چه معنی دارد؟» گفت: چون کریمی به خانۀ کریمی میهمان باشد، نباید که سگان محلت را از آن خیر باشد؟»

و فاطمه که عیال وی بود، اندر طریقت شانی عظیم داشت. وی دختر امیربلخ بود. چون وی را ارادت توبه پدیدار آمد، به احمد کس فرستاد که: «مرا از پدر بخواه.» وی اجابت نکرد. کس فرستاد که: «یا احمد، من تو را مرد آن نپنداشتم که راه حق بزنی. راهبر باش نه راهبر.»

احمد کس فرستاد و وی را از پدر بخواست. پدرش به حکم تبرک وی را به احمد خضرویه داد و فاطمه به ترک مشغولی دنیا بگفت و به حکم عزلت با احمد بیارامید. تا احمد را قصد زیارت خواجه بایزید افتاد. فاطمه با وی برفت. چون پیش بایزید آمد برقع از روی برداشت و با وی سخن گستاخ می گفت. احمد از آن متعجب شد و غیرت بر دلش مستولی گشت. گفت: «یا فاطمه، آن چه گستاخی بودت با بایزید؟» گفت: «از آن چه تو محرم طبیعت منی، و وی محرم طریقت من. از تو به هوی رسم، و ازوی به خدا و دلیل بر این آن که وی از صحبت من بی نیاز است و توبه من محتاج.»

و پیوسته وی با بایزید گستاخ می بودی، تا روزی بایزید را چشم بر دست فاطمه افتاد، حنابسته دید. گفت: «یا فاطمه، دست از برای چه حنا بسته ای؟ » وی گفت: «یا بایزید، تا این غایت که تو دست و حنای من ندیدی، مرا با تو انبساط بود. اکنون که چشمت بر دست من افتاد، صحبت ما حرام شد.»

و ابویزید گفت، رضی الله عنه: «من اراد ان ینظر الی رجل من الرجال مخبو تحت لباس النسوان، فلینظر الی فاطمه. هرکه خواهد تا مردی بیند پنهان اندر لباس زنان، گو در فاطمه نگاه کن.»

ابوحفص حداد گوید، رحمه الله علیه: «لولا احمد بن خضرویه ما ظهرت الفتوه. اگر احمد خضرویه نبودی فتوت و مروت پیدا نگشتی.»

و وی را کلام عالی و انفاس مهذب است و تصانیف مشهور اندر هر فن معاملات و ادب و نکت لایح اندر حقایق.