آیا LLM جدید گوگل آماده است؟ آیا می تواند GPT-4 OpenAI را قبول کند؟
در حالی که OpenAI راه را برای توسعه هوش مصنوعی مولد رهبری می کند، بسیاری گوگل را به عقب ماندگی متهم می کنند. با این حال، ناگفته نماند، گوگل در کنفرانس Google I/O خود در سال 2023 یک مدل زبان بزرگ جدید به نام PalM 2 را راه اندازی کرد.
LLM جدید گوگل که در چهار اندازه مختلف برای طیف وسیعی از برنامه‌ها عرضه می‌شود، ظاهراً در حال حاضر چندین سرویس Google را تامین می‌کند و خدمات بسیار بیشتری در راه است.
پالم 2 چیست؟
در Google I/O 2023 که در 10 می برگزار شد، ساندار پیچای، مدیرعامل گوگل، آخرین بازی گوگل را معرفی کرد: PalM 2.
مخفف Pathways Language Model 2، LLM ارتقا یافته Google دومین نسخه از PALM است که اولین نسخه آن در آوریل 2022 راه اندازی شد. آیا نمی توانید PalM را به خاطر بسپارید؟ خوب، در آن زمان، خبر بزرگی بود و به دلیل توانایی آن در مکالمه کمی، گفتن جوک های اساسی و غیره، انبوهی از علاقه ها را دریافت کرد. شش ماه به جلو بروید و GPT-3.5 OpenAI همه چیز از جمله PalM را از آب خارج کرد.
از آن زمان، OpenAI GPT-4 را راه اندازی کرد، یک ارتقاء عظیم در GPT-3.5. با این حال، در حالی که مدل جدیدتر در ابزارهای متعددی، به ویژه چت هوش مصنوعی بینگ مایکروسافت، ادغام می شود، گوگل OpenAI و GPT-4 را با PalM 2 هدف قرار می دهد و امیدوار است که LLM ارتقا یافته آن بتواند چیزی را که به نظر می رسد شکاف قابل توجهی است، یعنی گوگل، ببندد. پرتاب بارد به سختی موفقیت آمیز بود.
پیچای اعلام کرد که PalM 2 در چهار مدل مختلف عرضه خواهد شد: جکو، سمور، گاومیش کوهان دار و اسب شاخدار.
Gecko به قدری سبک است که می تواند روی دستگاه های تلفن همراه کار کند و برای برنامه های تعاملی عالی روی دستگاه، حتی در حالت آفلاین، به اندازه کافی سریع است. این تطبیق پذیری به این معنی است که PALM 2 را می توان برای پشتیبانی از کل کلاس های محصولات به روش های بیشتری تنظیم کرد تا به افراد بیشتری کمک کند.
با داشتن Gecko که می‌تواند حدود 20 توکن در ثانیه پردازش کند – توکن‌ها مقادیری هستند که به کلمات واقعی برای استفاده توسط مدل‌های هوش مصنوعی مولد اختصاص داده می‌شوند – به نظر می‌رسد یک تغییر بازی برای ابزارهای هوش مصنوعی قابل استقرار تلفن همراه باشد.
داده های آموزشی PalM 2
گوگل دقیقاً با داده های آموزشی PalM 2 ارائه نشده است، با توجه به اینکه به تازگی منتشر شده است قابل درک است. اما گزارش PalM 2 گوگل [PDF] می‌گوید که می‌خواهد پالم ۲ درک عمیق‌تری از ریاضیات، منطق و علوم داشته باشد و بخش بزرگی از مجموعه آموزشی آن بر این موضوعات متمرکز شده است.
با این حال، شایان ذکر است که پالم بی‌سابقه نبود. هنگامی که گوگل پالم را فاش کرد، تایید کرد که بر روی 540 میلیارد پارامتر آموزش دیده است که در آن زمان رقم بسیار بزرگی بود.
گفته می شود که GPT-4 OpenAI از بیش از یک تریلیون پارامتر استفاده می کند و برخی گمانه زنی ها این رقم را به 1.7 تریلیون می رساند. این یک شرط مطمئن است که از آنجایی که گوگل می‌خواهد PalM 2 مستقیماً با LLMهای OpenAI رقابت کند، حداقل رقمی قابل مقایسه، اگر نه بیشتر، داشته باشد.
یکی دیگر از افزایش قابل توجه PalM 2 داده های آموزش زبان آن است. Google PalM 2 را به بیش از 100 زبان آموزش داده است تا به آن عمق و درک متنی بیشتری بدهد و قابلیت‌های ترجمه آن را افزایش دهد.
اما این فقط زبان های گفتاری نیست. با توجه به تقاضای Google برای PaLM 2 برای ارائه استدلال علمی و ریاضی بهتر، LLM همچنین در بیش از 20 زبان برنامه نویسی آموزش دیده است که آن را به یک دارایی فوق العاده برای برنامه نویسان تبدیل می کند.
PALM 2 از قبل خدمات Google را تامین می‌کند — اما همچنان به تنظیم دقیق نیاز دارد
زمان زیادی نمی گذرد تا بتوانیم پالم 2 را در دست بگیریم و ببینیم چه کاری می تواند انجام دهد. با هر شانسی، راه اندازی هر اپلیکیشن و سرویس PalM 2 بهتر از Bard خواهد بود.
اما ممکن است (از لحاظ فنی!) قبلاً از PalM 2 استفاده کرده باشید. Google تأیید کرد که PalM 2 در حال حاضر در 25 محصول خود از جمله Android، YouTube، Gmail، Google Docs، Google Slides، Google Sheets و غیره به کار گرفته شده و در حال استفاده است.
اما گزارش PalM 2 همچنین نشان می‌دهد که هنوز کار برای انجام دادن وجود دارد، به‌ویژه برای پاسخ‌های سمی در طیف وسیعی از زبان‌ها.
به عنوان مثال، هنگامی که به طور خاص درخواست های سمی داده می شود، PalM 2 در بیش از 30 درصد مواقع پاسخ های سمی ایجاد می کند. علاوه بر این، در زبان‌های خاص-انگلیسی، آلمانی و پرتغالی- PaLM 2 در بیش از 17 درصد مواقع پاسخ‌های سمی ارائه می‌دهد، با درخواست‌هایی از جمله هویت‌های نژادی و مذاهب این رقم را بالاتر می‌برد.
مهم نیست که چقدر محققان تلاش می کنند تا داده های آموزشی LLM را پاک کنند، اجتناب ناپذیر است که برخی از آنها عبور کنند. مرحله بعدی ادامه آموزش PalM 2 برای کاهش آن پاسخ های سمی است.
این یک دوره رونق برای مدل های زبان بزرگ است
OpenAI اولین کسی نبود که یک مدل زبان بزرگ را راه‌اندازی کرد، اما مدل‌های GPT-3، GPT-3.5 و GPT-4 آن بدون شک کاغذ لمسی آبی را در هوش مصنوعی مولد روشن کردند.
Google’s Palm 2 مشکلاتی دارد که باید برطرف شود، اما اینکه از قبل در چندین سرویس Google استفاده می شود، نشان دهنده اعتماد این شرکت به آخرین LLM خود است.