GPT-۳: قابلیتی خلاقانه در پردازش زبان طبیعی (NLP)
در این مقاله سعی داریم به قابلیتی خلاقانه از مدل GPT-3 بپردازیم. OpenAI در ماه فوریه سال گذشته یافته‌های خود را در مورد آموزش مدل بی‌نظارت پردازش زبان به نام GPT-2 منتشر کرد. این مدل روی ۴۰ گیگابایت متن (گرفته‌شده از ۸ وبسایت Mio) آموزش دیده و قادر بود کلمات مجاور را پیش‌بینی کند. معماری مدل GPT-2 مبتنی بر یک مدل ترنسفرمر است که با مکانیزم خودتوجه اجرا شده و برای ما امکان تولید متن‌هایی شبه‌واقعی و منسجم را فراهم می‌کند. مدل اصلی ۱.۵ میلیارد پارامتر داشت و متن‌هایی با کیفیت بسیار بالا تولید می‌کرد؛ به همین دلیل در ابتدا در دسترس عموم قرار نگرفت تا جلوی تولید و انتشار اخبار کذب و کنترل‌نشده گرفته شود. البته خوشبختانه این مدل بعداً منتشر شده و حتی در نوتبوک‌های colab نیز در دسترس قرار گرفت.
امسال هم OpenAI با یک مدل زبانی جدید به نام GPT-3، با ۱۷۵ میلیارد پارامتر، برگشته است.
مدل GPT-3 چطور کار می‌کند؟
OpenAI در حال ساخت یک API است؛ این رابط در حال حاضر از طریق لیست انتظار قابل دسترسی می‌باشد.
خوشبختانه من امکان دسترسی به GPT-3 و تجربه مستقیم آن را داشتم و این‌جا برخی از آموخته‌های خود را به اشتراک خواهم گذاشت.
رابط، تنظیمات، پیش‌تنظیمات
رابط Playground هوش مصنوعی ساده به نظر می‌رسد اما واقعاً قوی است. یکی از دلایل این موضوع، قابلیت تغییر تنظیمات طول متن، رنگ (پایین/ کسل‌کننده تا استاندارد و سپس تا غیرمنسجم/خلاقانه) و سایر ویژگی‌ها از طریق تنظیمات گفتگو است.
علاوه بر این، با استفاده از این تنظیمات گفتگو می‌توانید تعیین کنید متن تولیدشده کجا آغاز و پایان یابد. این دستورات کنترل‌شده بر کیفیت متن نهایی تأثیر مستقیم دارند.
این رابط ساده برخی از پیش‌تنظیمات GPT-3 را نیز در بردارد. نکته بسیار جالب در مورد مدل‌های مبتنی بر طراحی ترنسفرمر GPT، قابلیت شناسایی سبک غالب، خصوصیت متن و ساختار خاص آن است. برای مثال در صورتی که کار را با لیست‌ها شروع کنید، GPT-3 نیز در ادامه لیست تولید می‌کند. اگر فرمان شروع شما به شکل پرسش و پاسخ باشد، مدل همین ساختار را ادامه می‌دهد و اگر هم یک شعر بخواهید، برایتان شعر می‌نویسد.
[irp posts=”۲۰۲۳۷″]
در کار با این مدل‌ها دو گزینه دارید: می‌توانید پیش‌تنظیمات مدنظر خود را اعمال کنید و یا اینکه از حالتی که از پیش وجود دارد و می‌تواند به شکل زیر باشد، استفاده نمایید.
گفت و گو
تنظیمات معمول چت‌بات (بات گفتگو) این است که شما سؤال می‌پرسید و هوش مصنوعی پاسخ می‌دهد. امکان تغییر شخصیت‌ها و تنظیمات وجود دارد. تصویر پایین مثال خوبی از موقعیت گفتگو و عملکرد مناسب مدل است (با اینکه سؤال سوم من، انسان، منصفانه نبود).
حال برای اینکه تاثیر مفهوم(کانتکس) را درک کنید، کاراکتر هوش مصنوعی را از یاری‌کننده و بسیار دوستانه به خشن، نادان و غیردوستانه تغییر می‌دهیم. حال می‌توانید ببینید گفتگو چطور متأثر از مفهوم، می‌شود.
خلاصه و جمع‌بندی به زبان ساده
در این پیش‌تنظیمات سطحی از درک مدل نشان داده می‌شود که در آن مفاهیم و جملات دشوار به کلمات واضح و روان برگردانده می‌شوند.
برای مثال این مورد، از یکی از نوشته‌های ویتگنشتاین استفاده کردم.
برای مشاهده مثالی دیگر، به این متن واضح و روانی که از مفهوم فاصله‌گیری زمانی سیگموند فروید برگرفته شده، توجه نمایید.
همان‌طور که مشاهده می‌کنید، فشرده‌سازی متن و برگردان یکپارچه آن یکی از نقاط قوت GPT-3 به شمار می‌رود.
زبان‌ها
مدل GPT-2 یک مدل زبانی خیلی خوب برای زبان انگلیسی محسوب می‌شد. با کمک این مدل می‌توانستید متون بسیار جذابی تولید کنید؛ چرا که این مدل ۱.۵ میلیارد پارامتر داشت. من مدل GPT-2 را روی نمایشنامه یک فیلم کوتاه امتحان کردم.
در نتیجه آن آزمایش متنی به دست آوردم که در آن دیالوگ‌ها منطقی و گاهاً فی‌البداهه بودند. اما این قابلیت مخصوص زبان انگلیسی بود. اگر ورودی به زبان دیگری بود، در فهم خروجی این مدل به مشکل برمی‌خوردید. در چنین شرایطی مدل GPT-2 سعی می‌کرد زبان‌های جدید را تقلید کند، اما بدین منظور لازم بود آن را روی بانک اطلاعاتی از متونی در آن زبان خاص به دقت تنظیم کنید تا به نتایج خوبی دست یابید.
مدل GPT-3 از این منظر تفاوت دارد. قابلیت پردازش آن در زبان‌های دیگر خارق‌العاده است. من زبان‌های آلمانی، روسی و ژاپنی را روی آن امتحان کردم.
نظر شما :