فبعد أن وصل القاضي جعفر إلى (إب) أظهر مسائل العدل التي يؤمن بها كمسألة خلق أفعال العباد وأن القرآن مخلوق وغيرهما من المسائل، ودعا الناس إلى ذلك، وسأل الناس المناظرة من أهل السنة.

  وعلم الفقيه ابن أبي الخير بذلك فلم يجب إلى المناظرة، وإنما صنف ما قال عنه: «رسالة ونصيحة إلى أهل السنة، فيها بيان مذهب أهل الحديث بخلق الأفعال وإثبات الإرادة وما تشعب عليهما، وجعلتُ افتتاحها ذكر الأخبار المروية عن النبي ÷ بالتحذير عن القدرية». اهـ وأرسل تلميذه علي بن عبد الله البرمي (أو الهرمي) لمناظرة القاضي جعفر. وأول من اجتمع به وناظره القاضي جعفر ب (إب) واحد من تلامذة الفقيه ابن أبي الخير، وهو الفقيه أحمد بن محمد البُرَيْهِي المسمى ب «سيف السنة».

  وقد تعرض القاضي جعفر هناك للمضايقة والإيذاء من أهلها، قال الجندي: «وهَمَّ أهل السنة به يضربونه»، ولعل ذلك كان بإيعاز وتأليب من تلميذي الفقيه ابن أبي الخير: البريهي والهرمي أو من أحدهما؛ فاضطر القاضي بسبب ذلك للخروج من (إب) إلى (شَوَاحِط) ملتجئاً بالشيخ محمد بن أحمد الْمِسْكيِني صاحب حصن شَوَاحِط، وهو رجل كبير القدر ومن بيت رئاسة، كما قال الجَنَدِي.

  وأما اجتماع القاضي جعفر بتلميذ ابن أبي الخير الآخر المسمى الهرمي أو اليرمي فقد ذكر الجَنَدي قولان:

  الأول: أنه لم يجتمع بالقاضي جعفر في (إب)؛ إذ وصل إليها وكان القاضي قد غادرها إلى (شَوَاحِط)؛ فتوجه الهرمي إلى حصن شَوَاحِط واجتمع بالقاضي هناك، وحصلت بينهما المناظرة بحضور الشيخ الْمِسْكِيني.

  والثاني: أنه أدركه ب (إب) وراجعه بعض مراجعةٍ، واجتمع بالقاضي ثانية في (شواحط).