سمع منه أبو القاسم بن عساكر وابنه القاسم، وأبو أحمد بن سليمان، وابنه عبد الرحيم السمعاني، ويوسف بن المبارك، وحضر على عبد الغافر الشنزوي وأبي العلاء عبيد اللّه بن محمد القشيري وأحصره بمرة، ومن أبي منصور محمد بن علي الكراعي وغيره، ثم رحل بنفسه إلى الأقاليم النائية، فسمع من أبي عبد اللّه الفراوي، وزاهر السحامي وطبقتها بنيسابور وهراة وبغداد وأصبهان ودمشق، وله معجم شيوخه في عشرة مجلدات كتب عمّن دبّ ودرج.

  قال ابن النجار: سمعت من يذكر أن عدد شيوخه سبعة آلاف شيخ، وهذا شيء لم يبلغه أحد.

  روى عنه جماعة، منهم ولده عبد الرحيم، وأبو القاسم بن عساكر وأبيه القاسم، وعبد الوهاب بن سكيم.

  قال الإمام المنصور باللّه عبد اللّه بن حمزة: وكذلك يروي مصنفات أبي سعد السمعاني، قال الأسنوي: صنف المصنفات الكثيرة المفيدة الكبار مع كونه لم يعمر، منها، (الأنساب) نحو ثمان مجلدات، و (تأريخ مرو) يزيد على عشرين مجلدا، وكتاب (الذيل) على تاريخ الخطيب ببغداد نحو خمسة عشر مجلدا، ومنها معجم شيوخه المشتمل على العدة المنقذة، وروى عنه جماعة.

  قال ابن فهد: ومنها كتاب (أنس الثاني في الزمن العاني)، قال: ودرس وأفتى ووعظ وأملى، وكان ثقة، حافظا، حجة، واسع الرحلة، ديّنا، جميل السيرة، حسن الصحبة، كثير المحفوظ.

  توفي بمرو في ربيع الأول سنة اثنتين وستين وخمسمائة.