برخلاف حكما، اكثر متشرعه و فقها اقوال و دعاوي صوفيه را بانظر مخالف نگريسته اند. نه فقط فقها و مجتهدان شيعي عهد صفويه ، امثال مؤلف حديقه الشيعه ، مولا محمد طاهر قمي مؤلف راسله فوائد الدينيه ، و شيخ علي عاملي مصنف كتاب السهام البارقه ، شيخ يوسف بحراني مؤلف نفحات الملكوتيه ، و آقامحمد علي صاحب رساله خيراتيه ، مشايخ صوفيه ، مدعيان تصوف و حتي اقوال و عقايد آنها را به شدت نفي كرده اند ، بلكه قبل از آنها مؤلف تبصره العوام و بين الاديان هم در تخطئه آن كوشيده اند .
از قدماي اهل مذاهب ، حنابله در عين آنكه بعضي از آنها خود مدافع و طرفدار تصوف بوده اند ، بسياريشان تصوف و صوفيه را به شدت تخطئه كرده‌اند. از آن جمله ابن جوزي ، ابن تيميه و ابن قيم جوزيه در رسائل مختلف به رد دعاوي و نقد اقوال و احوال آنها پرداخته اند و جالب آن است كه در بين خود صوفيه يا هواخواهان آنها كساني چون غزالي و هجويري و شيخ احمد جام هم در نقد صوفيه ـ يا در نقد كساني كه متشبهان به آنها بوده‌اند ـ اهتمام كرده‌اند. از جمله شيخ احمد جام مدعي است كه گاه آنچه در مجالس سماع قوم به انجام مي رسد ، با آنچه در خرابات روي مي دهد ، تفاوت ندارد.

اشتغال به سماع از جمله مواردي است كه صوفيه به سبب آن به شدت مورد نقد مخالفان واقع شده‌اند؛ همچنين عبادات و رياضات غريب و فوق العاده آنها نزد منتقدان از مقوله عبادت بما لم يشرع اللـه و حتي بدعت تلقي مي شد . مشايخ صوفيه هم به شدت از آنكه در عبادات منسوب به بدعت شوند ، محترز بودند و به اينگونه اتهامات مخالفان پاسخ مي‌دادند و عبادت متشرعه را كه در آن اكتفا به حد مشروع مقرر مي شد ، ناظر به مجرد به جا آوردن تكليف ، كسب مثوبات و از مقوله نوعي معامله يا حق مي خواندند و اكتفا بدان را دون شأن عارف مي شمردند.

قول غزالي در دفاع از سماع و حكم وي به جواز آن البته مشروط به اجتناب از مناهي همراه با آن است و لاجرم متضمن جواز مطلق نيست . با اين حال هرچند امثال ابوسعيد ابوالخير در خراسان اوايل عهد سلجوقي ، و قرنها بعد از مولانا جلال الدين بلخي رومي در قونيه با رعايت شروط لازم در باب سماع اشكالي نمي ديدند ، فقها و اكثر متشرعه از اظهار مخالفت با آن هرگز خودداري نكردند . اينكه خانقاهها غالباً محل اجراي مراسم سماع بود ـ با آنكه سماع صوفيه غير از خانقاه در منازل اشخاص و حتي در خانه حكام و احياناً خلفاي وقت نيز صورت مي گرفت ـ نيز از اسباب مزيد شهرت سوء صوفيه و مجالس آنها در نظر متشرعه شد . اين خانقاهها كه از وجوه نذور و فتوح و صدقات و ساير ابواب البر اداره مي گرديد ، هرچند در ضيافت خانه آنها از ابناء سبيل ، و از صادر و وارد مسافران مجرد و غير مجرد پذيرايي مي شد و علاوه بر مجالس وعظ و ذكر ، مجالس سماع هم در آنها داير مي گشت و احياناً به علت فقدان مايه براي مخارج جاري دچار زحمت بود ، در بعضي موارد به صورت نوعي مركز تطفل و بيكارگي در مي آمد و اجراي انضباط در آنها دشوار و ارتكاب مناهي در آنها شايع مي شد .

اما در مواقعي هم كه صدقات و نذور و فتوح به آنها مي رسيد ، با وجود انضباط دقيق كه در اداره آنها اعمال مي شد ، و به رغم تنبيهاتي كه از جانب شيخ و خادم در حق متخلفان اعمال مي گرديد ، باز مجرد شيوع و رواج رسم رقص و لوت در جريان سماع قوم مورد انتقاد و اعتراض طبقات مخالف واقع مي شد و رقص و اكل صوفي به صورت طنز و استهزا ضرب المثل شد و مخالفان در نقد اين آداب اهل خانقاه ، و در طعن بر حرص و شوق صوفيان به اكل ، برسبيل استهزا و اعتراض در حق آنها سخنها مي راندند. گفته مي‌شد كه اگر صوفيي در سمرقند بشنود كه در مصر خانقاهي وجود دارد كه در آنجا لوت و رقص بسيار هست ، به راه افتد و آهنگ مصر كند. مخالفان در بعضي موارد ، به صوفيه قول به سقوط تكليف را هم منسوب دانسته اند و اين قول اگر از متشبهان قوم هم نقل شده باشد ، يا لازمه اعتقاد اكابر به وحدت وجود باشد ، با اصل مباني تصوف كه عبارت از زهد و تقشف است ، موافق نيست. به علاوه صوفيه حتي به سبب رياضتها و چله نشينيها و عبادتهاي افراط آميز خويش نيز مورد انتقاد و اعتراض متشرعه بودند.