بخش ابری آمازون تحقیقاتی را در مورد هوش مصنوعی Perplexity آغاز کرده است. WIRED دریافته است که موضوع این است که آیا راه‌اندازی جستجوی هوش مصنوعی قوانین خدمات وب آمازون را با حذف وب‌سایت‌هایی که سعی در جلوگیری از انجام آن دارند، نقض می‌کند یا خیر.
یکی از سخنگویان AWS که به شرط ناشناس ماندن با WIRED صحبت کرد، تحقیقات شرکت در مورد Perplexity را تایید کرد. WIRED قبلاً دریافته بود که این استارت‌آپ که از صندوق خانواده جف بزوس Nvidia پشتیبانی می‌کند و اخیراً ۳ میلیارد دلار ارزش داشت، به نظر می‌رسید که به محتوای وب‌سایت‌های منحل‌شده‌ای که از طریق پروتکل حذف روبات‌ها، یک استاندارد رایج وب، از دسترسی به آن‌ها منع شده‌اند، متکی است. در حالی که پروتکل انصراف ربات از نظر قانونی الزام آور نیست، شرایط خدمات عموماً الزام آور است.
پروتکل حذف ربات برای چندین دهه یک استاندارد وب بوده است که شامل قرار دادن یک فایل متنی ساده (مانند wired.com/robots.txt) در یک دامنه است تا نشان دهد ربات‌ها و روبات‌های خودکار نباید به کدام صفحات دسترسی داشته باشند. در حالی که شرکت هایی که از اسکراپر استفاده می کنند ممکن است این پروتکل را نادیده بگیرند، اکثراً به طور سنتی از آن پیروی می کنند. یکی از سخنگویان آمازون به WIRED گفت که مشتریان AWS باید در حین خزیدن وب‌سایت‌ها، استاندارد robots.txt را رعایت کنند.
سخنگوی AWS در بیانیه ای گفت: «شرایط خدمات AWS مشتریان را از استفاده از خدمات ما برای هر گونه فعالیت غیرقانونی منع می کند و مشتریان ما مسئول پیروی از شرایط ما و کلیه قوانین قابل اجرا هستند.»
تحقیقات در مورد اقدامات Perplexity به دنبال گزارش 11 ژوئن فوربس است که این استارت آپ را به سرقت حداقل یکی از مقالات آن متهم کرده است. بررسی‌های WIRED این عمل را تأیید کرد و شواهد بیشتری از سوء استفاده و سرقت ادبی از سیستم‌های متصل به چت ربات جستجوی مبتنی بر هوش مصنوعی Perplexity یافت. مهندسان Condé Nast، شرکت مادر WIRED، با استفاده از یک فایل robots.txt، ربات Perplexity را در تمام وب‌سایت‌های خود مسدود می‌کنند. اما WIRED دریافت که این شرکت با استفاده از یک آدرس IP منتشر نشده – 44.221.181.252 – به سروری دسترسی دارد که حداقل صدها بار در طول سه ماه گذشته از املاک Condé Nast بازدید کرده است، ظاهراً برای از بین بردن وب سایت های Condé Nast.
به نظر می‌رسد دستگاه مرتبط با Perplexity درگیر خزیدن گسترده وب‌سایت‌های خبری است که دسترسی ربات‌ها به محتوای آن را ممنوع می‌کند. سخنگویان گاردین، فوربس و نیویورک تایمز نیز می گویند که چندین بار آدرس IP سرورهای آن را کشف کرده اند.
WIRED آدرس IP را به یک ماشین مجازی معروف به نمونه Elastic Compute Cloud (EC2) ردیابی کرد که در AWS میزبانی شده بود، که بررسی خود را پس از اینکه پرسیدیم آیا استفاده از زیرساخت AWS برای حذف وب‌سایت‌هایی که آن را ممنوع می‌کنند، شرایط خدمات شرکت را نقض می‌کند، آغاز شد.
هفته گذشته، آراویند سرینیواس، مدیرعامل Perplexity ابتدا به تحقیقات WIRED پاسخ داد و گفت که سوالاتی که ما از این شرکت پرسیدیم “منعکس کننده یک سوء تفاهم عمیق و اساسی از نحوه عملکرد Perplexity و اینترنت است.” Srinivas سپس به Fast Company گفت که IP مخفی نظارت شده توسط WIRED از وب‌سایت‌های Condé Nast تمام شده است و یک سایت آزمایشی که ما ایجاد کردیم توسط یک شرکت شخص ثالث اداره می‌شود که خدمات خزیدن وب و نمایه‌سازی را انجام می‌دهد. او با استناد به قرارداد عدم افشای نام شرکت، از ذکر نام شرکت خودداری کرد. سرینیواس در پاسخ به این سوال که آیا به شخص ثالث می‌گوید خزیدن با سیم را متوقف کند، گفت: «پیچیده است».