چه هر روز از ChatGPT استفاده کنید یا یک بار در ماه آبی، ممکن است متوجه تغییراتی در پاسخ های آن شده باشید.
اگر زیرردیت ChatGPT توییتر یا Reddit را خوانده باشید، یک سوال را بیشتر از هر سوال دیگری خواهید دید: آیا ChatGPT احمقانه تر می شود؟
آیا عملکرد چت ربات مولد هوش مصنوعی پیشرو در جهان با گذشت زمان کاهش می‌یابد یا میلیون‌ها کاربر ChatGPT مجموعاً مشکلات کیفی را دچار توهم می‌کنند؟
آیا ChatGPT بدتر می شود؟
این چیزی است که بسیاری از کاربران ChatGPT به آن فکر کرده اند: آیا ChatGPT احمقانه تر می شود؟ OpenAI به‌روزرسانی‌های مکرر ChatGPT را منتشر می‌کند که برای تغییر پاسخ‌ها، ایمنی و موارد دیگر طراحی شده‌اند، با استفاده از بازخورد کاربر، درخواست‌ها و داده‌های کاربر برای اطلاع از جهت آن.
اما در جایی که ChatGPT هنگام راه‌اندازی تقریباً یک راه‌حل نابغه برای تقریباً هر مشکلی احساس می‌کرد، کاربران بیش از هر زمان دیگری مشکلات مربوط به پاسخ‌ها و خروجی‌های آن را گزارش می‌کنند. به ویژه قابل توجه، استدلال، کدنویسی و مهارت های ریاضی ChatGPT است، اگرچه دیگران خاطرنشان می کنند که با وظایف خلاقانه نیز مبارزه می کند.
ساده ترین راه برای اکثر کاربران ChatGPT برای بررسی اینکه چگونه پاسخ های آن در طول زمان تغییر کرده است، تکرار یک درخواست قبلی (ترجیحاً از روزهای اولیه ChatGPT) و تجزیه و تحلیل دو خروجی است.
پاسخ‌هایی که به خروجی‌های خاصی نیاز دارند، مانند پاسخ‌هایی که شامل کدنویسی و ریاضی هستند، احتمالاً آسان‌ترین مقایسه مستقیم هستند.
مطالعه استنفورد پیشنهاد می کند که ChatGPT کنار گذاشته شود
یک گروه تحقیقاتی ترکیبی از دانشگاه استنفورد و دانشگاه کالیفرنیا برکلی معتقد است که این احساسات که ChatGPT در حال تغییر است می تواند درست باشد. مقاله Lingjiao Chen، Matei Zaharia و James Zou چگونه رفتار ChatGPT در طول زمان تغییر می کند؟ [PDF] یکی از اولین مطالعات عمیق در مورد قابلیت های تغییر ChatGPT است.
خلاصه گزارش توضیح می دهد:
ما متوجه شدیم که عملکرد و رفتار هر دو GPT-3.5 و GPT-4 می تواند در طول زمان بسیار متفاوت باشد. به عنوان مثال، GPT-4 (مارس 2023) در شناسایی اعداد اول بسیار خوب بود (دقت 97.6٪) اما GPT-4 (ژوئن 2023) در همین سؤالات بسیار ضعیف بود (دقت 2.4٪). جالب اینجاست که GPT-3.5 (ژوئن 2023) در این کار بسیار بهتر از GPT-3.5 (مارس 2023) بود. GPT-4 در ژوئن نسبت به ماه مارس تمایل کمتری به پاسخگویی به سؤالات حساس داشت و هر دو GPT-4 و GPT-3.5 اشتباهات قالب بندی بیشتری در تولید کد در ژوئن نسبت به ماه مارس داشتند.
هنگامی که با مشکلات ریاضی ChatGPT ارائه شد که قبلاً در سال 2023 می توانست حل کند، پاسخ ها در اواخر سال بسیار نادرست بودند. علاوه بر این، ChatGPT به تفصیل توضیح داد که چرا با وجود اشتباه بودن پاسخ صحیح بود. موارد توهم هوش مصنوعی چیز جدیدی نیست، اما ارقام در نمودارهای زیر تغییر قابل توجهی را در استدلال کلی نشان می دهد.
نمودارها نشان می‌دهند که پاسخ‌های ChatGPT در حال تغییر هستند که در این گزارش بیشتر تأکید شده است.
دقت GPT-4 از 97.6% در ماه مارس به 2.4% در ژوئن کاهش یافت و بهبود قابل توجهی در دقت GPT-3.5 از 7.4% به 86.8% مشاهده شد. علاوه بر این، پاسخ GPT-4 بسیار فشرده تر شد: میانگین پرحرفی آن (تعداد کاراکترهای تولید شده) از 821.2 در ماه مارس به 3.8 در ژوئن کاهش یافت. از سوی دیگر، حدود 40 درصد رشد در طول پاسخ GPT-3.5 وجود داشت. همپوشانی پاسخ بین نسخه های مارس و ژوئن آنها نیز برای هر دو سرویس کم بود.
این گزارش توضیح می‌دهد که زنجیره فکری مدل زبان بزرگ ChatGPT وقتی با سؤالات در ماه ژوئن ارائه شد، “کار نکرد”. جابجایی مکالمه همیشه یک مشکل قابل توجه در LLM ها بوده است، اما تفاوت شدید در پاسخ ها نشان دهنده مشکلات عملکرد و تغییرات در ChatGPT است.
آیا ChatGPT بدتر می شود؟ OpenAI می گوید نه
آیا این فقط تصادفی است که کاربران معمولی و پرکار ChatGPT متوجه تغییر کیفیت ChatGPT می شوند؟
مقاله تحقیقاتی پیشنهاد نمی کند، اما معاون OpenAI برای محصول، پیتر ولیندر، چیز دیگری را پیشنهاد می کند.
علاوه بر این، Welinder بعداً به نسخه های OpenAI برای ChatGPT و جریان مداوم به روز رسانی هایی که این شرکت در طول سال 2023 ارائه کرده است اشاره کرد.
با این حال، این موضوع مانع از پاسخ‌های متعدد به توییت او نشد که نشان می‌داد چگونه کاربران پاسخ‌های ChatGPT را ناکافی می‌دانند، و بسیاری برای حاشیه‌نویسی درخواست‌ها و پاسخ‌ها وقت می‌گذارند.
آیا OpenAI می تواند ChatGPT را به حالت اولیه خود بازگرداند؟
روزهای اولیه ChatGPT در حال حاضر بسیار دور به نظر می رسد. نوامبر 2022 یک خاطره مبهم است و دنیای هوش مصنوعی به سرعت در حال حرکت است.
برای بسیاری، مطالعه استنفورد/برکلی به خوبی مسائل و ناامیدی‌های استفاده از ChatGPT را نشان می‌دهد. برخی دیگر ادعا می کنند که ترفندها و تغییرات ایجاد شده در ChatGPT برای اینکه آن را به ابزاری ایمن تر و فراگیرتر تبدیل کند، به طور مستقیم توانایی آن را برای استدلال درست تغییر داده است و دانش و قابلیت های کلی آن را تا حدی که غیرقابل استفاده است، تغییر داده است.
به نظر می رسد شکی نیست که ChatGPT تغییر کرده است. اینکه ChatGPT دوباره قدرت اصلی خود را به دست خواهد آورد یا نه کاملاً یک سؤال دیگر است.