Beranda » Blog » Perusahaan AI dilaporkan masih menghapus situs web meskipun ada protokol yang dimaksudkan untuk memblokirnya

Perusahaan AI dilaporkan masih menghapus situs web meskipun ada protokol yang dimaksudkan untuk memblokirnya

Diposting pada 22 Juni 2024 oleh admin / Dilihat: 0 kali

Perplexity, sebuah perusahaan yang menggambarkan produknya sebagai “mesin pencari AI gratis”, mendapat kecaman selama beberapa hari terakhir. Tak lama setelah Forbes menuduhnya mencuri ceritanya dan menerbitkannya ulang di berbagai platform, Kabel melaporkan bahwa Perplexity telah mengabaikan Protokol Pengecualian Robot, atau robots.txt, dan telah menghapus situs webnya serta publikasi Condé Nast lainnya. Situs web teknologi Jalan Pintas juga menuduh perusahaan menghapus artikelnya. Sekarang, Reuters telah melaporkan bahwa Perplexity bukan satu-satunya perusahaan AI yang melewati file robots.txt dan menyalin situs web untuk mendapatkan konten yang kemudian digunakan untuk melatih teknologi mereka.

Reuters mengatakan pihaknya melihat surat yang ditujukan kepada penerbit dari TollBit, sebuah startup yang memasangkan mereka dengan perusahaan AI sehingga mereka dapat mencapai kesepakatan lisensi, memperingatkan mereka bahwa “agen AI dari berbagai sumber (bukan hanya satu perusahaan) memilih untuk mengabaikan robots.txt protokol untuk mengambil konten dari situs.” File robots.txt berisi instruksi untuk web crawler tentang halaman mana yang dapat dan tidak dapat mereka akses. Pengembang web telah menggunakan protokol ini sejak tahun 1994, namun kepatuhannya sepenuhnya bersifat sukarela.

Surat TollBit tidak menyebutkan nama perusahaan mana pun, namun Orang Dalam Bisnis mengatakan telah mengetahui bahwa OpenAI dan Anthropic – masing-masing pencipta ChatGPT dan Claude chatbots – juga melewati sinyal robots.txt. Kedua perusahaan sebelumnya menyatakan bahwa mereka menghormati instruksi “jangan merayapi” situs web yang dimasukkan ke dalam file robots.txt mereka.

Selama penyelidikannya, Kabel menemukan bahwa mesin di server Amazon “pasti dioperasikan oleh Perplexity” melewati instruksi robots.txt di situs webnya. Untuk mengonfirmasi apakah Perplexity menghapus kontennya, Kabel menyediakan alat bagi perusahaan dengan tajuk utama dari artikel-artikelnya atau petunjuk singkat yang menjelaskan kisah-kisahnya. Alat tersebut dilaporkan memberikan hasil yang memparafrasekan artikel-artikelnya dengan cermat “dengan atribusi minimal”. Dan terkadang, mereka bahkan menghasilkan ringkasan cerita yang tidak akurat — Kabel mengatakan chatbot tersebut secara keliru mengklaim bahwa mereka melaporkan tentang polisi California tertentu yang melakukan kejahatan dalam satu kejadian.

Dalam sebuah wawancara dengan Perusahaan Cepat, CEO Perplexity Aravind Srinivas mengatakan kepada publikasi bahwa perusahaannya “tidak mengabaikan Protokol Pengecualian Robot dan kemudian berbohong tentang hal itu.” Namun hal ini tidak berarti bahwa crawler tidak mendapatkan keuntungan dari crawler yang mengabaikan protokol. Srinivas menjelaskan bahwa perusahaan menggunakan perayap web pihak ketiga di atas perayapnya sendiri, dan perayap itu Kabel diidentifikasi adalah salah satunya. Kapan Perusahaan Cepat ditanya apakah Perplexity menyuruh penyedia perayap untuk berhenti menggores situs web Wired, dia hanya menjawab bahwa “itu rumit.”

Srinivas membela praktik perusahaannya, dengan mengatakan kepada publikasi bahwa Protokol Pengecualian Robot “bukan kerangka hukum” dan menyarankan agar penerbit dan perusahaan seperti miliknya mungkin harus menjalin hubungan baru. Dia pun dikabarkan menyindir hal itu Kabel sengaja menggunakan petunjuk untuk membuat chatbot Perplexity berperilaku seperti itu, sehingga pengguna biasa tidak akan mendapatkan hasil yang sama. Mengenai ringkasan tidak akurat yang dihasilkan alat tersebut, Srinivas mengatakan: “Kami tidak pernah mengatakan bahwa kami tidak pernah berhalusinasi.”

Bagikan ke

Perusahaan AI dilaporkan masih menghapus situs web meskipun ada protokol yang dimaksudkan untuk memblokirnya

Saat ini belum tersedia komentar.

Silahkan tulis komentar Anda

Alamat email Anda tidak akan kami publikasikan. Kolom bertanda bintang (*) wajib diisi.

*

*

Perusahaan AI dilaporkan masih menghapus situs web meskipun ada protokol yang dimaksudkan untuk memblokirnya

Chat via Whatsapp

Ada yang ditanyakan?
Klik untuk chat dengan customer support kami

Iffah
● online
Iffah
● online
Halo, perkenalkan saya Iffah
baru saja
Ada yang bisa saya bantu?
baru saja

Produk yang sangat tepat, pilihan bagus..!

Berhasil ditambahkan ke keranjang belanja
Lanjut Belanja
Checkout
Produk Quick Order

Pemesanan dapat langsung menghubungi kontak dibawah: