شرکت کلودفلر (Cloudflare) اظهار کرده ازاین‌بعد خزنده‌های شناخته‌شده هوش مصنوعی را به‌صورت پیش‌فکر مسدود خواهد کرد و هم‌زمان، برنامه‌ای تازه به‌ نام Pay per Crawl راه‌اندازی می‌کند که به وب‌سایت‌ها امکان می‌دهد از خزنده‌های هوش مصنوعی هزینه بگیرند.

بر پایه گزارش‌ها، این عمل های بخشی از تلاش کلودفلر برای برگشت دادن کنترل محتوا به دست ناشران و مقابله با دسترسی بدون اجازه خزنده‌های هوش مصنوعی است.

مسدودسازی پیش‌فکر خزنده‌های هوش مصنوعی توسط کلودفلر

ناشران می‌توانند در بازارگاه تازه کلودفلر هزینه مشخصی برای هر بار فعالیت خزنده‌ها تعیین کنند. شرکت‌های هوش مصنوعی نیز می‌توانند قیمت‌ها را مشاهده کنند و تصمیم بگیرند این هزینه را بپردازند یا خیر. این مطرح فعلاً در مرحله آزمایش است و به‌صورت بتای خصوصی برای گروهی از ناشران پیشرو فعال شده. کلودفلر می‌خواهد منفعت گیری از محتوای باکیفیت را با مجوز و پرداخت حقوق تولیدکنندگان محتوا ممکن کند.

کلودفلر از سال ۲۰۲۳ ابزارهایی برای مسدودسازی خزنده‌های هوش مصنوعی اراعه کرده می بود که ابتدا فقط خزنده‌هایی را مقصد می‌گرفت که فقط تابع فایل robots.txt بودند اما از سال قبل، امکان مسدودسازی همه خزنده‌ها، حتی بدون پایبندی به robots.txt، فعال شد. اکنون این قابلیت به‌صورت پیش‌فکر برای مشتریان تازه کلودفلر فعال است.

ناشران بزرگی، همانند اسوشیتدپرس، آتلانتیک، تایم، فورچون، Stack Overflow ،Quora و Conde Nast، از مطرح‌های تازه کلودفلر حمایتکرده‌اند. در شرایطی که کاربران بیش‌ازپیش به چت‌بات‌های هوش مصنوعی برای دسترسی به اطلاعات مراجعه می‌کنند، ترافیک ناشران از موتورهای جستجو و درآمدهای تبلیغاتی آنها افت یافته است.

کلودفلر اظهار کرده خزنده گوگل ژوئن سال جاری به‌ازای هر ۱۴ خزیدن یک ارجاع به سایت‌ها داده است اما این نسبت برای خزنده OpenAI عدد 17 هزار به یک و برای آنتروپیک عدد 73 هزار به یک بوده است.

در این بازار تازه، شرکت‌های هوش مصنوعی و ناشران باید در پلتفرم کلودفلر حساب داشته باشند و بتوانند نرخ خزیدن را تعیین کنند. کلودفلر نقش واسطه را ایفا کرده و پرداخت را از شرکت هوش مصنوعی می‌گیرد و به ناشر منتقل می‌کند.

این عمل کلودفلر گامی مهم در مسیر تشکیل مدلی مجوزمحور برای تعامل هوش مصنوعی با محتواست و تلاش می‌کند قوت را به تولیدکنندگان محتوا بازگرداند.