Seperti yang telah kita tahu, AI melakukan perayapan pada situs web untuk mendapatkan informasi terbaru dan agar lebih akurat, imbasnya jelas AI makin canggih namun disisi lain ini merugikan para konten kreator seperti blogger atau penulis di internet karena pengguna jadi mulai meninggalkan mereka (termasuk trafik Google yang sebelumnya dikabarkan turun drastis akibat kehadiran AI ini).
Baca Juga : Gara Gara Chatbot AI, Trafik Google Search Turun!
Nah terkait hal tersebut, Cloudflare mulai menguji fitur Pay per Crawl yang mendapatkan respon positif dari pada administrator web karena dengan itu AI harus membayar sejumlah biaya untuk melakukan perayapan pada websitenya atau mengecualikan website mereka dari perayapan AI.
Namun kawan kawan, terkait hal tersebut, Perplexity baru baru ini diduga telah menggunakan perayapan (crawler) siluman dan tidak terdeklarasi untuk menerobos arahan no-crawl. Hal ini juga telah dikonfirmasi oleh Cloudflare karena mendapatkan laporan dari pengguna terkait Perplexity yang masih mengakses konten pengguna meskipun telah di blokir.
Menurut Cloudflare, mereka menyatakan bahwa Perplexity memodifikasi user agent-nya dan mengubah autonomous source networks (ASN) untuk menyembunyikan aktivitas mereka. Cloudflare menyatakan bahwa crawler Perplexity gagal mengambil file robots.txt sehingga tidak mematuhi aturan dalam file tersebut.
Tindakan Cloudflare
Karena dugaan praktik yang buruk ini, Cloudflare telah memutuskan untuk menghapus Perplexity sebagai bot terverifikasi yang akan memengaruhi interaksinya dengan situs web, terutama yang menggunakan layanan Cloudflare untuk perlindungan.
Menurut detail yang dibagikan Cloudflare, secara default, Perplexity berperilaku dengan menggunakan user agent PerplexityBot yang telah dideklarasikan. Namun, setiap kali situs web memblokirnya, Perplexity akan beralih ke browser agent generik (Chrome/124.0.0.0 Safari/537.36). Nah aktivitas crawling siluman ini menggunakan beberapa IP yang tidak tercantum dalam rentang resmi Perplexity dan berpindah pindah melalui ASN yang berbeda.
Sementara itu, perusahaan yang sama seperti OpenAI, yang juga merayapi web, dengan jelas menguraikan perayap mereka dan mematuhi arahan robots.txt serta pemblokiran jaringan. Cloudflare menguji crawler ChatGPT dan menemukan bahwa crawler tersebut berhenti merayapi ketika arahan disallow muncul atau ketika halaman hitam ditampilkan.
Yang pasti tindakan Cloudflare ini adalah hal yang bagus sekaligus mempertegas terkait perlindungan data web dari AI. Nah bagaimana menurutmu? komen dibawah guys.
Via : Cloudflare, Neowin
