تحقیقی که توسط یک شرکت امنیتی انجام شده نشان میدهد مدل هوش مصنوعی چینی «دیپسیک» در پاسخ به درخواستهای برنامهنویسی، بسته به هویت سیاسی کاربر فرضی، کیفیت متفاوتی ارائه میدهد؛ بهطوریکه برای گروهها و مناطق حساس از منظر دولت چین احتمال تولید کدهای ناامن افزایش مییابد.
طبق گزارش واشینگتن پست، تحقیق شرکت امنیتی آمریکایی CrowdStrike نشان میدهد که واکنشهای «دیپسیک» به درخواستهای یکسان کدنویسی بسته به تعیین هویت کاربر نهایی متفاوت است. محققان یک مجموعه آزمایشی طراحی کردند و یک درخواست واحد را برای نوشتن انواع برنامهها به چتبات فرستادند، اما در هر مورد کاربر نهایی را به نام کشوری یا گروه سیاسی متفاوت معرفی کردند. نتیجه این بود که در برخی موارد مدل پاسخها را رد میکرد و در موارد دیگر کدهایی با کیفیت پایین یا حاوی حفرههای امنیتی تولید مینمود.
یافتهها نشان میدهد نسبت خطاها در تولید کد برای برخی اهداف سیاسی افزایش مییابد؛ به عنوان نمونه، در یک سناریوی مربوط به برنامههای کنترل صنعتی، 22.8٪ از پاسخها دارای نقص امنیتی بودند، اما هنگامی که کاربر نهایی به عنوان عضوی از گروه داعش معرفی شد، این نسبت به 42.1٪ رسید. همچنین درخواستهایی که کاربر نهایی را متعلق به تبت، تایوان یا جنبش فالونگونگ معرفی میکردند، احتمال تولید کد بیکیفیت را افزایش میدادند.
محققان میگویند «دیپسیک» در برخی موارد درخواستهای مرتبط با داعش و فالونگونگ را به ترتیب 61٪ و 45٪ مواقع بهطور کامل رد کرده است. این رفتار نمایانگر آن است که مدل نه تنها در پاسخهای متنی بلکه در تولید کد هم ممکن است تحت تأثیر سیاستهای داخلی یا سوگیریهای آموزشی قرار گیرد و این مسئله پیامدهای امنیتی و اخلاقی قابل توجهی دارد.
سه توضیح محتمل برای این پدیده مطرح شده است. توضیح اول و نگرانکنندهترین، احتمال وجود دستورالعملهای دولتی یا سیاستگذاری عمدی برای تضعیف توانمندیهای هدفهای خاص است. دوم اینکه دادههای آموزشی ممکن است برای مناطق یا گروههای خاص کیفیت پایینتری داشته باشند و مدل این الگوها را بازآفرینی میکند. سومین توضیح این است که مدل به طور خودآموز مفاهیمی مانند «شورشی» یا «هدف حساس» را با کیفیت پایینتر مرتبط کرده است.
تولید عمدی یا غیرعمدی کدهای ناامن میتواند به آسانی راهی برای نفوذ و سوءاستفاده از سیستمها فراهم کند؛ خصوصاً وقتی این کدها در حوزههایی مانند سیستمهای صنعتی یا زیرساختها بهکار روند. این یافتهها همچنین سوالاتی درباره شفافیت، مسؤولیت و نظارت بر مدلهای هوش مصنوعی تجاری، بهویژه آنهایی که در حوزههای حساس ملی کاربرد دارند، مطرح میکند.
