گروه یادگیری ماشینی اپل اخیراً با انتشار مقاله‌ای با عنوان «توهم تفکر» (The Illusion of Thinking) موجی از واکنش‌ها را میان پژوهشگران هوش مصنوعی به راه انداخته است. در این مقاله، پژوهشگران استدلال کرده‌اند که مدل‌های زبانی فعلی در واقع فرایند تفکر یا استدلال مستقل را انجام نمی‌دهند. مقاله‌ای جدید منتشر شده که ادعای محققان اپل را رد می‌کند.
«الکن لاسن»، محقق Open Philanthropy، در مقاله‌ای تازه مدعی شده یافته‌های محققان اپل بیشتر به مشکلات طراحی هوش مصنوعی مربوط است نه محدودیت‌های بنیادی در بحث استدلال. در بخش نویسندگان این مقاله از مدل Claude Opus شرکت آنتروپیک هم اسم برده شده است.
مقاله لاسن با عنوان «توهم توهم تفکر» یا The Illusion of the Illusion of Thinking مشکلات مدل‌های استدلاگر فعلی در حل معماهای پیچیده را رد نمی‌کند اما می‌گوید اپل محدودیت‌های عملی و پیکربندی‌های معیوب را با شکست قابلیت‌های استدلال اشتباه گرفته است. ۳ مسئله اصلی لاسن با مقاله اپل از قرار زیر است:
- محدودیت توکن‌ها در مقاله اپل نادیده گرفته شده است: لاسن می‌گوید آنجایی که اپل نتیجه می‌گیرد هوش مصنوعی نمی‌تواند معماها را حل کند، دلیلش کمبود توکن است، نه ناتوانی در استدلال.
- ناتوانی در مواجهه با معماهای حل‌ناپذیر شکست تلقی شده است: آزمون «عبور از رودخانه» ظاهراً نمونه‌های حل‌ناپذیر داشته است. لاوسن می‌گوید اپل به‌خاطر شناسایی این معماهای غیرممکن مدل‌های هوش مصنوعی را سرزنش کرده است.
- اسکریپت‌های ارزیابی میان شکست قابلیت‌های استدلال و تقطیع خروجی تمایزی قایل نشده است: اپل از پایپ‌لاین‌های خودکاری برای قضاوت مدل‌ها استفاده کرده که فقط خروجی کامل و اشاره به تک‌تک مراحل استدلال را موفقیت می‌داند. لاوسن مدعی است این رویکرد باعث شده هر خروجی جزئی یا استراتژیک هم شکست در نظر گرفته شود.
لاوسن برای تأیید صحبت‌هایش، آزمون‌های اپل را دوباره با شرایطی متفاوت اجرا کرد و نتیجه این بود که وقتی محدودیت‌های مصنوعی در خروجی برطرف می‌شد، مدل‌های استدلالگر به‌خوبی می‌توانستند مشکلات پیچیده را حل کنند.
محققان اپل برای ارزیابی توانایی مدل‌های زبانی در حل مسائل منطقی، مجموعه‌ای از ۴ معمای کلاسیک شامل «برج هانوی» (تصویر بالا)، «دنیای بلوک‌ها»، «معمای عبور از رودخانه» و «پرش مهره‌ها در بازی چکرز» را طراحی کردند.
این معماها که سابقه‌ای طولانی در پژوهش‌های علوم شناختی و هوش مصنوعی دارند، با افزایش تعداد مراحل و محدودیت‌ها پیچیده‌تر می‌شوند و نیاز به برنامه‌ریزی چندمرحله‌ای را ضروری می‌کنند. پژوهشگران از مدل‌ها خواستند نه‌فقط به هر معما پاسخ نهایی بدهند، بلکه روند تفکر خود را نیز مرحله‌به‌مرحله با استفاده از تکنیک «زنجیره تفکر» (Chain-of-Thought Prompting) توضیح دهند.
طبق مطالعه اپل، با افزایش پیچیدگی، دقت مدل‌ها کاهش چشمگیری پیدا می‌کند و در سخت‌ترین وظایف به صفر می‌رسد. اپل این کاهش را نشانه‌ای از فروپاشی قدرت استدلال مدل‌ها می‌داند.
مخالفت کاربران شبکه‌های اجتماعی با تحقیق اپل
برخی منتقدان مطالعه اپل، معتقدند این شرکت تفاوت «ناتوانی در تولید خروجی کامل» و «ناتوانی در استدلال» را نادیده گرفته است. آنها تأکید کرده‌اند مدل‌ها حتی در برخی وظایف، استراتژی‌های صحیحی ارائه کرده‌اند ولی به‌دلیل محدودیت در تعداد توکن، نتوانستند خروجی را تکمیل کنند.
همچنین برخی معماها، مانند برخی نسخه‌های عبور از رودخانه، اساساً قابل حل نبوده‌اند ولی همچنان مدل‌ها بابت پاسخ نادرست نمره منفی گرفته‌اند.
