درواقع کاربران کوپایلوت با ترفند‌هایی این چت‌بات را به تولید پاسخ‌های عجیب و غیرقابل‌قبول وادار کرده‌اند. این‌بار، اما مایکروسافت با هدف مبارزه با این اقدامات، ابزار جدیدی را توسعه داده است.

مایکروسافت جلوی ترفند کاربران برای گول‌زدن کوپایلوت را می‌گیرد

گزارش تازه بلومبرگ از اقدامات مایکروسافت برای افزایش امنیت کوپایلوت خبر می‌دهد. ردموندی‌ها از چند ماه پیش کوپایلوت را به‌صورت عمومی در دسترس کاربران قرار دادند؛ اما در برخی مواقع، کاربران حین استفاده از آن با نتایج عجیبی برخورد کرده‌اند.

بروز این نتایج، برخی کاربران را بر آن داشت که با ترفندهایی، کوپایلوت را گول بزنند. به‌عنوان مثال، چت‌بات مایکروسافت به یکی از کاربران خودکشی را توصیه کرده بود! در این بین، اما برخی افراد با سوءاستفاده از ضعف کوپایلوت، به‌دنبال منافع شخصی خود و مقاصد شرورانه بوده‌اند.

مایکروسافت برای مقابله با این نقص، ابزاری را توسعه داده که با شناسایی حملات مستقیم و غیرمستقیم، آنها را شناسایی و مکالمه را قطع کند. به‌کارگیری این ابزار در کوپایلوت حالا احتمال تولید پاسخ‌های نامطلوب را تا حد چشمگیری کاهش می‌دهد. تمام این‌ها با قابلیتی به‌نام Prompt Shield به ارمغان می‌آیند. توسعه‌دهندگان نسخه‌های سفارشی کوپایلوت نیز می‌توانند از این ابزار برای بهبود امنیت چت‌بات خود بهره‌گیری کنند.

مایکروسافت به‌زودی این ابزار پیشرفته را به کوپایلوت می‌آورد و احتمالاً برای مقابله با این نوع حملات (چه از سوی کاربر عادی و چه از سوی مهاجمان) جریمه‌هایی را در نظر بگیرد. به‌عنوان مثال، شاید چت‌بات توسط کاربر به‌مدت محدودی از دسترس خارج شود تا موج حملات کاهش پیدا کند. با به‌کارگیری تکنیک‌های مهندسی جدید در چت‌بات کوپایلوت، احتمالاً این ابزار هوش مصنوعی دیگر پاسخ‌های غیرمرتبط نخواهد داد.

منبع: دیجیاتو