[ad_1]

در سپتامبر 2019 انستیتوی ملی استاندارد و فناوری اولین هشدار خود را در مورد حمله به الگوریتم تجاری هوش مصنوعی صادر کرده است.

محققان امنیتی راهی برای حمله به یک محصول Proofpoint طراحی کرده اند که با استفاده از یادگیری ماشین نامه ایمیل های هرزنامه را شناسایی می کند. این سیستم عناوین ایمیل را ایجاد می کند که شامل “ارزیابی” احتمال هرزنامه بودن پیام است. اما تجزیه و تحلیل این نتایج ، همراه با محتوای پیام ها ، ساختن یک کلون از مدل یادگیری ماشین و ایجاد پیام های هرزنامه را فراهم می کند که از شناسایی جلوگیری می کند.

اعلان آسیب پذیری ممکن است اولین مورد از بسیاری از موارد باشد. با استفاده گسترده تر از هوش مصنوعی ، فرصت های جدیدی برای بهره برداری از آسیب پذیری های فناوری در حال ظهور است. این امر منجر به این می شود که شرکت ها سیستم های هوش مصنوعی را برای آسیب پذیری ها جستجو کنند تا قبل از ایجاد هرج و مرج ، یک ورودی مخرب پیدا کنند.

Startup Robust Intelligence یکی از این شرکت هاست. بیش از بزرگنمایی ، یارون سینگر ، بنیانگذار و مدیرعامل آن ، برنامه ای را نشان می دهد که با استفاده از هوش مصنوعی ، هوش مصنوعی را از بین می برد ، که چک ها را می خواند ، برنامه ای اولیه برای یادگیری ماشین مدرن.

برنامه Singer به طور خودکار شدت چند پیکسل را که اعداد و حروف نوشته شده در چک را تشکیل می دهند تنظیم می کند. این تغییر آنچه الگوریتم اسکن چک تجاری پرکاربرد را درک می کند تغییر می دهد. یک کلاهبردار مجهز به چنین ابزاری می تواند با اصلاح یک چک قانونی برای اضافه کردن چند صفر قبل از واریز ، حساب بانکی هدف را خالی کند.

سینگر ، استاد دانشگاه هاروارد که شرکت خود را هنگام تعطیلات در سانفرانسیسکو اداره می کند ، گفت: “در بسیاری از برنامه ها ، تغییرات بسیار بسیار کوچک می تواند نتایج کاملاً متفاوتی را به همراه داشته باشد.” “اما مسئله عمیق تر است؛ این فقط ماهیت روش یادگیری ماشینی است. “

فناوری Robust Intelligence توسط شرکتهایی از جمله PayPal و NTT Data و همچنین یک شرکت مسافرتی مشترک بزرگ استفاده می شود. خواننده می گوید نمی تواند دقیقاً نحوه استفاده را توصیف کند زیرا از انحراف مخالفان بالقوه می ترسد.

این شرکت دو ابزار را به فروش می رساند: یکی که می تواند برای بررسی الگوریتم آسیب پذیری هوش مصنوعی مورد استفاده قرار گیرد و دیگری که بطور خودکار ورودی های بالقوه مشکل دار را رهگیری می کند – نوعی فایروال AI. ابزار حفاری می تواند با بررسی ورودی ها و خروجی ها و جستجوی راه هایی برای فریب آن ، یک الگوریتم را به طور مکرر اجرا کند.

چنین تهدیدهایی فقط نظری نیستند. محققان نشان داده اند که چگونه الگوریتم های متناقض می توانند سیستم های هوش مصنوعی را در دنیای واقعی ، از جمله سیستم های کنترل خودکار ، برنامه های استخراج متن و کد بینایی رایانه ، فریب دهند. در یکی از مواردی که مرتباً ذکر می شود ، گروهی از دانشجویان م Instituteسسه فناوری ماساچوست به لطف علامت گذاری های ظریف روی سطح ، لاک پشت سه بعدی را چاپ کردند که نرم افزار Google آن را تفنگ تشخیص داد.

سینگر گفت: “اگر در حال توسعه مدل های یادگیری ماشین هستید ، در واقع هیچ راهی برای انجام تیم های قرمز یا تست نفوذ برای مدل های یادگیری ماشین وجود ندارد.”

تحقیقات Singer بر ایجاد اختلال در ورودی سیستم یادگیری ماشین برای بدرفتاری آن و طراحی سیستم هایی است که در وهله اول ایمن هستند. فریب سیستم های هوش مصنوعی به این واقعیت متکی است که آنها از نمونه ها می آموزند و تغییرات نامحسوس را در روش هایی که مردم انجام نمی دهند ، به دست می آورند. با آزمایش تعدادی از ورودی های با دقت انتخاب شده – به عنوان مثال ، نمایش چهره های تغییر یافته در سیستم تشخیص چهره – و دیدن نحوه پاسخگویی سیستم ، یک الگوریتم “مسابقه” می تواند نتیجه گیری کند که چه کاری انجام شود تا یک خطا یا یک نتیجه خاص حاصل شود.

Singer همراه با سیستم فریب ، به عنوان بخشی از یک مطالعه ضعف ، راهی برای گول زدن سیستم کشف تقلب آنلاین نشان می دهد. این سیستم تقلب به دنبال نشانه هایی است که نشان می دهد شخصی که معامله می کند در واقع یک ربات است که بر اساس طیف گسترده ای از ویژگی ها از جمله مرورگر ، سیستم عامل ، آدرس IP و زمان تنظیم شده است.

سینگر همچنین نشان می دهد که چگونه فناوری شرکت او می تواند سیستم های تشخیص تصویر تجاری و تشخیص چهره را با اصلاحات خوب عکس فریب دهد. سیستم تشخیص چهره نتیجه می گیرد که یک عکس کاملاً مستند از بنیامین نتانیاهو در واقع ژولیوس بارنز بازیکن بسکتبال را نشان می دهد. Singer همین فرصت را به مشتریان بالقوه می دهد که نگرانند که چگونه سیستم های AI جدید خود را تحت تأثیر قرار دهند و چه کاری می تواند باعث اعتبار آنها شود.

شبح کارتهای بازی یک مرد و یک روبات

راز یادگیری ماشینی؟ معلمان انسانی

برخی از شرکت های بزرگ که از هوش مصنوعی استفاده می کنند ، در حال توسعه محافظت از هوش مصنوعی خود هستند. به عنوان مثال ، فیس بوک یک “تیم قرمز” دارد که سعی می کند سیستم های هوش مصنوعی خود را شناسایی کند تا نقاط ضعف را شناسایی کند.

[ad_2]

منبع: sadeh-news.ir