توکن‌ها به شما کمک می‌کنند نحوه پاسخ‌دهی ChatGPT را کنترل کنید. در اینجا به آنها و نحوه استفاده از آنها می پردازیم.
ChatGPT دنیای فناوری را طوفانی کرده است و هیچ کمبودی در پیشرفت ها و به روز رسانی ها وجود ندارد. اما علیرغم استفاده از فناوری پیشرفته، چندین عامل محدود کننده در نسخه فعلی وجود دارد.
یکی از این عوامل سیستم توکن است که به شکستن چرخه تکامل ادامه می دهد و کاربرد برنامه را به زانو در می آورد. اگر از ChatGPT استفاده می‌کنید، ممکن است بخواهید در مورد نشانه‌های ChatGPT بدانید و در صورت تمام شدن نشانه‌ها چه کاری باید انجام دهید.
بیایید یک قدم به عقب برگردیم و به شما اطلاعاتی در مورد همه چیزهایی که در مورد مکانیسم‌های کار اساسی برنامه می‌دانید ارائه دهیم.
توکن ChatGPT چیست؟
اگر از نمای برنامه عبور کنید، تنها چیزی که می بینید یک زبان کامپیوتری است که دستورات شما را اطاعت می کند و پاسخ هایی را که می خواهید به شما می دهد. با این حال، پشتیبان فقط تعداد زیادی کد دارد، هر دقیقه یاد می‌گیرد و با سوالاتی که پاسخ می‌دهد سرعت می‌گیرد.
ChatGPT هر کلمه را به یک نشانه خوانا تبدیل می کند هر زمان که سوالی بپرسید. برای تفکیک بیشتر، توکن ها قطعات متنی هستند و هر زبان برنامه نویسی از مجموعه متفاوتی از مقادیر نشانه برای درک نیازمندی ها استفاده می کند.
از آنجایی که رایانه‌ها مقادیر متن را مستقیماً درک نمی‌کنند، آنها را به ترکیبی از اعداد تقسیم می‌کنند که اغلب به آنها embedding گفته می‌شود. حتی می‌توانید جاسازی‌هایی مانند فهرست‌های پایتون را در نظر بگیرید، که شبیه فهرستی از اعداد مرتبط هستند، مانند [1.1،2.1،3.1،4.1…n].
هنگامی که ChatGPT ورودی اولیه را می گیرد، سعی می کند ورودی احتمالی بعدی را بر اساس اطلاعات قبلی پیش بینی کند. کل لیست توکن های قبلی را انتخاب می کند و با استفاده از ترکیب کدگذاری خود، سعی می کند از ورودی بعدی توسط کاربر جلوگیری کند. از یک نشانه در یک زمان استفاده می کند و پیش بینی می کند تا درک کاربرد را برای زبان ساده تر کند.
برای افزایش پیش‌بینی‌ها و بهبود دقت، کل فهرست جاسازی‌ها را انتخاب می‌کند و آن را از لایه‌های ترانسفورماتور عبور می‌دهد تا ارتباط بین کلمات برقرار شود. به عنوان مثال، وقتی سؤالی مانند «توماس ادیسون کیست؟» می‌پرسید، ChatGPT با ارزش‌ترین کلمات فهرست را انتخاب می‌کند: چه کسی و ادیسون.
لایه های ترانسفورماتور نقش خود را در کل فرآیند ایفا می کنند. این لایه ها شکلی از معماری شبکه عصبی هستند که برای انتخاب مرتبط ترین کلمات کلیدی از یک رشته کلمات آموزش دیده اند. با این حال، فرآیند آموزش آنقدرها هم که به نظر می رسد ساده نیست، زیرا آموزش لایه های ترانسفورماتور بر روی گیگابایت داده به زمان زیادی نیاز دارد.
حتی اگر ChatGPT در هر زمان تنها یک توکن را پیش‌بینی می‌کند، فناوری رگرسیون خودکار آن برای پیش‌بینی و بازخورد به مدل اولیه برای انتشار خروجی برنامه‌ریزی شده است. مدل تنظیم شده است تا برای هر نشانه فقط یک بار اجرا شود، بنابراین نتیجه یک کلمه در یک زمان چاپ می شود. هنگامی که برنامه با دستور توقف توکن مواجه می شود، خروجی به طور خودکار متوقف می شود.
به عنوان مثال، اگر به ماشین حساب توکن در وب سایت ChatGPT نگاه کنید، می توانید مبنای استفاده از رمز خود را سوالات خود محاسبه کنید.
بیایید چند متن نمونه وارد کنیم، مانند:
How do I explain the use of tokens in ChatGPT?
طبق ماشین حساب، 46 کاراکتر در این رشته وجود دارد که 13 توکن مصرف می کند. اگر آن را به شناسه های توکن تقسیم کنید، چیزی شبیه به این می شود:
[2437, 466, 314, 4727, 262, 779, 286, 16326, 287, 24101, 38, 11571, 30]
طبق ماشین حساب رمز OpenAI:
یک قانون کلی مفید این است که یک نشانه معمولاً با 4 کاراکتر متنی برای متن انگلیسی رایج مطابقت دارد. این تقریباً به ¾ کلمه (100 نشانه ~ = 75 کلمه) ترجمه می شود.
توکن های رایگان در مقابل پول پرداختی
برای اینکه مزه ای از آنچه در برنامه ChatGPT وجود دارد به شما ارائه دهد، OpenAI یک اشتراک توکن محدود رایگان را به شما ارائه می دهد. اگر می‌خواهید با ChatGPT API آزمایش کنید، از اعتبار ۵ دلاری رایگان استفاده کنید که برای سه ماه اعتبار دارد. هنگامی که محدودیت تمام شد (یا دوره آزمایشی تمام شد)، می‌توانید به‌طور مستقیم پرداخت کنید، که حداکثر سهمیه را به 120 دلار افزایش می‌دهد.
ChatGPT Plus: آیا اشتراک پولی ارزشش را دارد؟
برای ارتقای سطح بالاتر، حتی می‌توانید در ChatGPT Plus Offer ثبت‌نام کنید که ماهیانه 20 دلار به شما کاهش می‌دهد. با توجه به استفاده گسترده و محبوبیت کل مدل هوش مصنوعی، در اینجا ویژگی های برتر مدل اشتراک پولی آورده شده است:
- دسترسی به ChatGPT، حتی زمانی که وب سایت به دلیل هجوم کاربران دچار خرابی می شود
- نرخ پاسخگویی بهبود یافته
- دسترسی دست اول به ویژگی ها و نسخه های جدید
اگر احساس می‌کنید که این ویژگی‌ها کاملاً ارزشش را دارند، می‌توانید در اشتراک پولی ثبت‌نام کنید و فوراً از آنها بهره ببرید.
ساختار قیمت گذاری رمز ChatGPT
چند مدل برنامه مختلف موجود است که می توانید بر اساس نیاز خود انتخاب کنید:
مدل
قیمت ورودی برای 1000 توکن (اعلان)
قیمت خروجی برای 1000 توکن (تکمیل)
آدا
0.0004 دلار
0.0016 دلار
بابیج
0.0005 دلار
0.0024 دلار
کوری
0.0020 دلار
0.0120 دلار
داوینچی
0.0200 دلار
0.1200 دلار
ChatGPT
0.0020 دلار
0.0020 دلار
زمینه چت 4K
0.0015 دلار
0.002 دلار
زمینه 8k GPT-4
0.03 دلار
0.06 دلار
زمینه 16K چت
0.003 دلار
0.004 دلار
زمینه 32k GPT-4
0.06 دلار
0.12 دلار
Ada سریع ترین است، در حالی که داوینچی قدرتمندترین مدل از این لیست مدل ها است. سریع سؤال است، در حالی که تکمیل با پاسخ ها سروکار دارد.
حداکثر محدودیت های رمز
هر مدل به شما امکان می دهد حداکثر تعداد توکن ها را در هر پرس و جو تنظیم کنید. این روش حداکثر تعداد توکن هایی را که برنامه در یک تماس تولید می کند کنترل می کند و خروجی را محدود می کند. ویژگی max_token بسیار مفید است، به خصوص زمانی که می خواهید طول خروجی خود را کنترل کنید و در عین حال از استفاده بیش از حد از توکن و اعتبارات خود اجتناب کنید. طول پیش‌فرض روی 2048 توکن ثابت است، در حالی که حداکثر می‌تواند روی 4096 توکن تنظیم شود.
محدود کردن استفاده از رمز می‌تواند منجر به پاسخ‌های کوتاه شود که ممکن است خروجی را محدود کند و تجربه استفاده شما را مختل کند.
ChatGPT-3 دارای حد بالایی 4096 است. با این حال، با معرفی ChatGPT-4، محدودیت های توکن به شرح زیر افزایش می یابد:
مدل
محدودیت رمز
آدا
2048
بابیج
2048
کوری
2048
داوینچی
4096
ChatGPT
4096
زمینه 8k GPT-4
8192
زمینه 32k GPT-4
32768
اگر خروجی شما کوتاه است، باید حداکثر حد تعیین شده را از داشبورد خود افزایش دهید. به یاد داشته باشید، مجموع نشانه‌های سریع و حداکثر باید همیشه کمتر از حداکثر حد مجاز مدل باشد.
برای مثال، در مدل ChatGPT، prompt_tokens + max_tokens <= 4096 tokens.
یاد بگیرید که برای بهترین نتایج، درخواست های ChatGPT خود را کنترل کنید
مهم نیست که چگونه از برنامه مبتنی بر هوش مصنوعی استفاده می کنید، به احتمال زیاد مجبور خواهید بود راه هایی برای بازی هوشمندانه با سؤالات و عبارات خود ابداع کنید. بسته به الگوهای استفاده خود، احتمالاً از ChatGPT به طور گسترده برای هر کار استفاده خواهید کرد.
برای به دست آوردن بهترین نتایج، باید یاد بگیرید که چگونه با روش توکن کار کنید و مهارت های خود را تقویت کنید تا اطمینان حاصل کنید که محدودیت های استفاده دست نخورده باقی می مانند و در عین حال بهترین پاسخ های ممکن را به شما می دهند.