محققان همچنان در تلاشند تا دریابند چگونه مدل‌های هوش مصنوعی آموزش دیده برای طوطی‌سازی متن اینترنتی می‌توانند کار‌های پیشرفته‌ای مانند اجرای کد، بازی کردن و تلاش برای به هم زدن ازدواج را انجام دهند.

هنوز کسی نمی‌داند که ChatGPT و پسرعمو‌های هوش مصنوعی آن چگونه جهان را متحول خواهند کرد و یکی از دلایل آن این است که هیچ کس واقعا نمی‌داند در درون آن‌ها چه می‌گذرد.

برخی از توانایی‌های این سیستم‌ها بسیار فراتر از آن چیزی است که برای انجام آن آموزش دیده‌اند و حتی مخترعان آن‌ها در مورد دلیل آن متحیر هستند.

تعداد فزاینده‌ای از آزمایش‌ها نشان می‌دهند که این سیستم‌های هوش مصنوعی، مدل‌های داخلی دنیای واقعی را توسعه می‌دهند؛ درست مانند مغز ما، اگرچه تکنیک ماشین‌ها متفاوت است.

الی پاولیک از دانشگاه براون در این باره گفت: هر کاری که می‌خواهیم با آن‌ها انجام دهیم تا آن‌ها را بهتر یا ایمن‌تر کنیم یا هر چیزی شبیه به آن، به نظر من کار مضحکی است که از خودمان بخواهیم انجام دهیم، اگر نمی‌دانیم چگونه کار می‌کند. 

در یک سطح، او و همکارانش GPT (مخفف ترانسفورماتور پیش‌آموزشی مولد) و دیگر مدل‌های زبان بزرگ یا LLM را به خوبی درک می‌کنند. این مدل‌ها بر یک سیستم یادگیری ماشینی به نام شبکه عصبی متکی هستند. این شبکه‌ها ساختاری دارند که به‌طور آزاد از نورون‌های متصل مغز انسان مدل‌سازی شده‌اند. کد این برنامه‌ها نسبتا ساده است و فقط چند صفحه را پر می‌کند. یک الگوریتم تصحیح خودکار راه‌اندازی می‌شود که محتمل‌ترین کلمه را برای تکمیل متن بر اساس تجزیه و تحلیل آماری پر زحمت صد‌ها گیگابایت متن اینترنتی انتخاب می‌کند. آموزش اضافی تضمین می‌کند که سیستم نتایج خود را در قالب گفت و گو ارائه می‌دهد. از این نظر تنها کاری که انجام می‌دهد این است که آموخته‌هایش را بازگرداند.

به قول امیلی بندر، زبان‌شناس دانشگاه واشنگتن، این یک «طوطی تصادفی» است. اما LLM‌ها همچنین موفق شده‌اند آزمون وکالت را به پایان برسانند، بوزون هیگز را در پنتا متر ایامبیک توضیح دهند و تلاش کنند تا ازدواج کاربران خود را به هم بزنند. تعداد کمی انتظار داشتند که یک الگوریتم تصحیح خودکار نسبتا ساده بتواند چنین توانایی‌های گسترده‌ای را به دست آورد.

این که GPT و سایر سیستم‌های هوش مصنوعی وظایفی را انجام می‌دهند که برای انجام آن‌ها آموزش ندیده و به آن‌ها «توانایی‌های اضطراری» می‌دهند، حتی محققانی را که عموما در مورد تبلیغات LLM بدبین بودند، شگفت‌زده کرده است.

ملانی میچل، محقق هوش مصنوعی در موسسه سانتافه گفت: نمی‌دانم آن‌ها چگونه این کار را انجام می‌دهند یا می‌توانند آن را به‌طور کلی‌تر به روشی که انسان‌ها انجام می‌دهند، انجام دهند یا نه، اما دیدگاه‌های من را به چالش کشیده‌اند.

در کنفرانسی در دانشگاه نیویورک در ماه مارس، فیلسوف رافائل میلییر از دانشگاه کلمبیا نمونه شگفت‌انگیز دیگری از کار‌هایی که LLM می‌تواند انجام دهد، ارائه کرد. این مدل‌ها قبلا توانایی نوشتن کد‌های کامپیوتری را نشان داده بودند که چشمگیر است، اما خیلی تعجب آور نیست؛ زیرا کد‌های زیادی در اینترنت برای تقلید وجود دارند. میلییر یک قدم فراتر رفت و نشان داد که GPT می‌تواند کد را نیز اجرا کند. 

اگرچه یک LLM روی یک کامپیوتر اجرا می‌شود، اما خودش یک کامپیوتر نیست. فاقد عناصر محاسباتی ضروری مانند حافظه کاری است. در یک تصدیق ضمنی که GPT به تنهایی نباید قادر به اجرای کد باشد، مخترع آن، شرکت فناوری OpenAI، از آن زمان یک افزونه تخصصی، ابزاری که ChatGPT می‌تواند هنگام پاسخ دادن به یک درخواست استفاده کند، معرفی کرده است که به آن اجازه می‌دهد این کار را انجام دهد، اما این افزونه در نمایش میلییر استفاده نشد در عوض او این فرضیه را مطرح می‌کند که ماشین یک حافظه را با استفاده از مکانیسم‌هایش برای تفسیر کلمات بر اساس بافت آن‌ها بداهه ساخته است، وضعیتی شبیه به این که چگونه طبیعت ظرفیت‌های موجود را برای عملکرد‌های جدید تغییر می‌دهد.

این توانایی بداهه نشان می‌دهد که LLM‌ها یک پیچیدگی داخلی ایجاد می‌کنند که فراتر از یک تحلیل آماری کم عمق است. محققان دریافته‌اند که به نظر می‌رسد این سیستم‌ها به درک واقعی از آنچه آموخته‌اند، دست یابند. در مطالعه‌ای که هفته گذشته در کنفرانس بین‌المللی نمایش‌های یادگیری (ICLR) ارائه شد.

کنت لی، دانشجوی دکترا در دانشگاه هاروارد و همکاران محقق هوش مصنوعی او آسپن کی هاپکینز از موسسه فناوری ماساچوست، دیوید باو از دانشگاه نورث ایسترن و فرناندا ویگاس هانسپتر فایستر و مارتین واتنبرگ از هاروارد، کپی کوچکتر خود را از شبکه عصبی GPT ایجاد کردند تا بتوانند عملکرد درونی آن را مطالعه کنند.

آن‌ها آن را روی میلیون‌ها مسابقه بازی رومیزی اتللو با تغذیه در توالی‌های طولانی از حرکات به صورت متن آموزش دادند. مدل آن‌ها به یک بازیکن تقریبا کامل تبدیل شد.

برای مطالعه نحوه رمزگذاری اطلاعات توسط شبکه عصبی، آن‌ها تکنیکی را اتخاذ کردند که محققانی از دانشگاه مونترال نیز در سال ۲۰۱۶ ابداع کردند. آن‌ها یک شبکه کاوشگر مینیاتوری برای تجزیه و تحلیل لایه به لایه شبکه اصلی ایجاد کردند. لی این رویکرد را با روش‌های علوم اعصاب مقایسه می‌کند.

او گفت: این شبیه زمانی است که ما یک کاوشگر الکتریکی را در مغز انسان قرار می‌دهیم. در مورد هوش مصنوعی، کاوشگر نشان داد که «فعالیت عصبی» آن با نمایش تخته بازی اتللو مطابقت دارد، البته به شکلی پیچیده.

برای تایید این موضوع، محققان کاوشگر را به صورت معکوس اجرا کردند تا اطلاعات را در شبکه جاسازی کنند. به عنوان مثال، یکی از نشانگر‌های سیاه بازی را به قطعه سفید تبدیل کردند.

لی گفت: در اصل، ما به مغز این مدل‌های زبانی نفوذ می‌کنیم. 

شبکه حرکات خود را بر این اساس تنظیم کرد. محققان به این نتیجه رسیدند که اتللو را تقریبا مانند یک انسان بازی می‌کند. با نگه داشتن صفحه بازی در «چشم ذهن» آن و استفاده از این مدل برای ارزیابی حرکات.

به گفته محققان سیستم این مهارت را می‌آموزد؛ زیرا این مختصرترین توصیف از داده‌های آموزشی آن است. اگر تعداد زیادی اسکریپت بازی به شما داده می‌شود، تلاش برای کشف قانون پشت آن بهترین راه برای فشرده سازی است.

محققان از این که LLM‌ها چقدر می‌توانند از متن یاد بگیرند، شگفت زده می‌شوند. به عنوان مثال یکی از محققان دریافت این شبکه‌ها توضیحات رنگی را از متن اینترنت جذب می‌کنند و نمایش‌های داخلی رنگ را می‌سازند. وقتی کلمه «قرمز» را می‌بینند، آن را نه فقط به عنوان یک نماد انتزاعی، بلکه به عنوان مفهومی که رابطه خاصی با رنگ‌های قهوه‌ای، زرشکی، زنگ و ... دارد، پردازش می‌کنند. نشان دادن این امر تا حدودی مشکل بود. به جای قرار دادن یک کاوشگر در یک شبکه، محققان پاسخ آن را به یک سری از پیام‌های متنی بررسی کردند.

برای بررسی این که آیا صرفا بازتاب روابط رنگی از مراجع آنلاین است یا خیر، آن‌ها سعی کردند سیستم را با گفتن این که قرمز در واقع سبز است، هدایت نادرست کنند. مانند آزمایش فکری فلسفی قدیمی که در آن قرمز یک نفر سبز شخص دیگر است. به جای پاسخ نادرست طوطی وار، ارزیابی‌های رنگی سیستم به منظور حفظ روابط صحیح تغییر کرد.

علاوه بر استخراج معنای اساسی زبان، LLM‌ها قادر به یادگیری هستند. در زمینه هوش مصنوعی، اصطلاح «یادگیری» معمولا برای فرآیند محاسباتی فشرده که در آن توسعه دهندگان شبکه عصبی را در معرض گیگابایت داده قرار می‌دهند و اتصالات داخلی آن را تغییر می‌دهند، رزرو می‌شود. تا زمانی که یک پرس و جو را در ChatGPT تایپ می‌کنید، شبکه باید ثابت شود. بر خلاف انسان، نباید به یادگیری ادامه دهد، بنابراین تعجب آور بود که LLM‌ها در واقع از درخواست‌های کاربران خود می‌آموزند؛ توانایی معروف به «یادگیری درون زمینه». 

نوعی از یادگیری درون متنی از طریق تحریک «زنجیره فکر» اتفاق می‌افتد، به این معنی که از شبکه بخواهیم هر مرحله از استدلال خود را توضیح دهد. تاکتیکی که باعث می‌شود در مسائل منطقی یا حسابی که نیاز به چند مرحله دارند بهتر عمل کند. 

در سال ۲۰۲۲، تیمی در تحقیقات گوگل و موسسه فناوری فدرال سوئیس در زوریخ نشان دادند که یادگیری درون زمینه‌ای از همان محاسبات اولیه پیروی می‌کند. روشی به عنوان یادگیری استاندارد که به عنوان نزول گرادیان شناخته می‌شود. این روش برنامه ریزی نشده بود. سیستم بدون کمک آن را کشف کرد.

Blaise Agüera y Arcas، نایب رئیس در Google Research گفت: این باید یک مهارت آموخته شده باشد.

در واقع او فکر می‌کند که LLM‌ها ممکن است توانایی‌های نهفته دیگری داشته باشند که هنوز هیچکس آن را کشف نکرده است. 

اگرچه LLM‌ها نقاط کور زیادی دارند تا به عنوان هوش عمومی مصنوعی یا AGI (اصطلاح ماشینی که به استعداد مغز حیوانات دست می‌یابد) واجد شرایط نباشند، این توانایی‌های نوظهور به برخی از محققان نشان می‌دهد که شرکت‌های فناوری بیش از آنچه که حتی خوش بین‌ها حدس می‌زدند، به AGI نزدیک هستند.

در عین حال، محققان نگرانند که پنجره توانایی آن‌ها برای مطالعه این سیستم‌ها بسته شود. OpenAI جزئیات نحوه طراحی و آموزش GPT-۴ را فاش نکرده است، تا حدی به این دلیل که در رقابت با گوگل و سایر شرکت‌ها قفل شده است.

منبع: scientificamerican