تعداد زیادی چت ربات مجهز به هوش مصنوعی موجود است، اما کدام یک از بهترین LLM استفاده می کند؟ در اینجا نحوه مقایسه LLM برای یافتن اینکه کدام بهترین است، آمده است.
با وجود چندین ربات چت آنلاین، انتخاب ربات‌هایی که نیازهای شما را برآورده می‌کند بسیار دشوار است. اگرچه می توانید هر دو ربات چت را به صورت دستی مقایسه کنید، اما زمان و تلاش قابل توجهی را می طلبد.
یک راه بهتر و ساده تر، استفاده از Chatbot Arena برای مقایسه LLM های مختلف است که چت بات های محبوب را تقویت می کند. چند حالت برای مقایسه مدل های مختلف ارائه می دهد که در زیر توضیح می دهیم.
Chatbot Arena چیست؟
Chatbot Arena که توسط LMSYS Org ایجاد شده است، پلتفرمی برای محک زدن LLM های مختلف است. از سیستم Elo Rating برای رتبه بندی مدل های مختلف استفاده می کند.
Chatbot Arena چند راه برای مقایسه و رتبه بندی LLM ها در اختیار کاربران قرار می دهد. بر اساس بازخورد ارسال شده، Chatbot Arena LLM های مختلف را در تابلوی امتیازات عمومی رتبه بندی می کند. این پروژه توسط HuggingFace، یک جایگزین منبع باز برای ChatGPT حمایت می شود.
نحوه مقایسه LLM های ناشناس با Chatbot Arena
حالت نبرد Chatbot Arena به شما امکان می دهد LLM ها را بطور ناشناس مقایسه کنید. به عنوان مثال، می توانید ChatGPT (GPT 3.5) و کلود را با هم مقایسه کنید. این بدان معنی است که Chatbot Arena خود هر دو مدل زبان را انتخاب می کند و بدون فاش کردن نام آنها، به شما امکان مقایسه آنها را می دهد.
همانطور که اولین درخواست را وارد می کنید، Chatbot Arena پاسخ هایی را از هر دو مدل دریافت می کند و آنها را در کنار هم ارائه می دهد. این پلتفرم به شما امکان می دهد پاسخ ها (برای هر دو LLM) را بازسازی کنید و تاریخچه را برای شروع یک مکالمه متفاوت پاک کنید. تا زمانی که یک برنده واضح را انتخاب نکنید، می توانید سوالات بیشتری بپرسید.
سپس، می‌توانید انتخاب کنید که مدل A بهتر است یا B. با انتخاب برنده، Chatbot Arena نام هر دو ربات را نشان می‌دهد. این حالت عالی عمل می کند زیرا تصمیم شما تحت تأثیر درک قبلی یا محبوبیت شما از مدل ها نیست. Chatbot Arena همچنین به شما امکان می‌دهد پارامترهایی مانند دما، Top P و نشانه‌های خروجی حداکثر را تنظیم کنید.
نحوه مقایسه LLM های منتخب با Chatbot Arena
اگر می‌خواهید هر دو LLM خاص را با هم مقایسه کنید، می‌توانید به حالت جانبی Chatbot Arena بروید. به غیر از این واقعیت که شما می توانید LLM ها را خودتان انتخاب کنید، این حالت تقریباً مانند حالت نبرد عمل می کند. می‌توانید پارامترها را تنظیم کنید، پاسخ‌ها را بازسازی کنید، تاریخچه را پاک کنید و در پایان یک برنده انتخاب کنید.
با این حال، تعداد LLM های موجود در این حالت محدود است. می توانید نسخه های مختلف Llama 2، Vicuna و ChatGLM را انتخاب کنید. اگرچه LLM های محبوب مانند GPT-4، GPT-3.5، Claude 1، Claude 2 و غیره در حال حاضر در این حالت در دسترس نیستند، Chatbot Arena قصد دارد آنها را اضافه کند.
مقایسه LLM با استفاده از Chatbot Arena
چه به دنبال یافتن یک چت بات مناسب برای نیازهای خود باشید یا فقط بخواهید LLM های مختلف را آزمایش کنید، Chatbot Arena یک پلت فرم عالی است.
روشی ساده برای مقایسه مدل های زبان های مختلف در کنار هم ارائه می دهد. و از آنجایی که بر اساس بازخورد کاربران، تابلوی امتیازات را حفظ می‌کند، می‌توانید مستقیماً رتبه‌بندی مدل‌های مختلف را بدون اجرای آزمایش‌ها مشاهده کنید.