Minggu Ini di AI: Apple tidak akan mengatakan bagaimana sosis itu dibuat

Hai teman-teman, dan selamat datang di buletin AI reguler TechCrunch.

Minggu ini di AI, Apple mencuri perhatian.

Pada Konferensi Pengembang Sedunia (WWDC) perusahaan di Cupertino, Apple meluncurkan Apple Intelligence, dorongan ekosistem yang telah lama ditunggu-tunggu menuju AI generatif. Apple Intelligence mendukung berbagai fitur, mulai dari Siri yang ditingkatkan hingga Emoji yang dihasilkan AI hingga alat pengeditan foto yang menghapus orang dan objek yang tidak diinginkan dari foto.

Perusahaan berjanji bahwa Intelijen Apple dibangun dengan mengutamakan keamanan, bersama dengan pengalaman yang sangat dipersonalisasi.

“Itu harus memahami Anda dan didasarkan pada konteks pribadi Anda, seperti rutinitas Anda, hubungan Anda, komunikasi Anda, dan banyak lagi,” kata CEO Tim Cook saat menjadi pembicara utama pada hari Senin. “Semua ini melampaui kecerdasan buatan. Ini adalah kecerdasan pribadi, dan ini adalah langkah besar berikutnya bagi Apple.”

Apple Intelligence secara klasik adalah Apple: Ia menyembunyikan seluk beluk teknologi di balik fitur-fitur yang jelas berguna secara intuitif. (Cook tidak sekali pun mengucapkan ungkapan “model bahasa besar.”) Namun sebagai seseorang yang menulis tentang inti AI dalam mencari nafkah, saya berharap Apple lebih transparan — sekali ini saja — tentang cara pembuatan sosis.

Ambil contoh, praktik pelatihan model Apple. Apple mengungkapkan dalam postingan blog bahwa mereka melatih model AI yang mendukung Apple Intelligence pada kombinasi kumpulan data berlisensi dan web publik. Penerbit memiliki opsi untuk tidak mengikuti pelatihan di masa mendatang. Namun bagaimana jika Anda seorang seniman yang penasaran apakah karya Anda termasuk dalam pelatihan awal Apple? Sial sekali — kata ibu.

Kerahasiaan ini mungkin disebabkan oleh alasan persaingan. Namun saya menduga hal ini juga untuk melindungi Apple dari tantangan hukum – khususnya tantangan terkait hak cipta. Pengadilan belum memutuskan apakah vendor seperti Apple memiliki hak untuk melatih data publik tanpa memberikan kompensasi atau penghargaan kepada pembuat data tersebut – dengan kata lain, apakah doktrin penggunaan wajar berlaku untuk AI generatif.

Agak mengecewakan melihat Apple, yang sering menggambarkan dirinya sebagai pendukung kebijakan teknologi yang masuk akal, secara implisit menganut argumen penggunaan wajar. Terselubung di balik tabir pemasaran, Apple dapat mengklaim telah mengambil pendekatan yang bertanggung jawab dan terukur terhadap AI, meskipun Apple mungkin telah melatih karya pencipta tanpa izin.

Sedikit penjelasan akan sangat bermanfaat. Sayang sekali kami belum mendapatkannya – dan saya tidak berharap kami akan mendapatkannya dalam waktu dekat, kecuali ada satu atau dua tuntutan hukum.

Berita

Fitur AI unggulan Apple: Anda benar-benar merangkum fitur-fitur AI teratas yang diumumkan Apple selama keynote WWDC minggu ini, mulai dari Siri yang ditingkatkan hingga integrasi mendalam dengan ChatGPT OpenAI.

OpenAI mempekerjakan eksekutif: OpenAI minggu ini mempekerjakan Sarah Friar, mantan CEO jaringan sosial hiperlokal Nextdoor, untuk menjabat sebagai chief financial officer, dan Kevin Weil, yang sebelumnya memimpin pengembangan produk di Instagram dan Twitter, sebagai chief product officer.

Mail, kini dengan lebih banyak AI: Minggu ini, Yahoo (perusahaan induk TechCrunch) memperbarui Yahoo Mail dengan kemampuan AI baru, termasuk ringkasan email yang dihasilkan AI. Google memperkenalkan fitur peringkasan generatif serupa baru-baru ini — tetapi fitur ini berada di balik paywall.

Pandangan kontroversial: Sebuah studi baru-baru ini dari Carnegie Mellon menemukan bahwa tidak semua model AI generatif diciptakan sama – terutama dalam hal cara model tersebut menangani materi pelajaran yang bersifat polarisasi.

Pembuat suara: Stability AI, startup di balik generator seni bertenaga AI Stable Diffusion, telah merilis model AI terbuka untuk menghasilkan suara dan lagu yang diklaim dilatih secara eksklusif pada rekaman bebas royalti.

Makalah penelitian minggu ini

Google yakin mereka dapat membangun model AI generatif untuk kesehatan pribadi – atau setidaknya mengambil langkah awal ke arah tersebut.

Di makalah baru ditampilkan di blog resmi Google AIpara peneliti di Google membuka kembali Personal Health Large Language Model, atau disingkat PH-LLM — versi yang disempurnakan dari salah satu Model Gemini Google. PH-LLM dirancang untuk memberikan rekomendasi untuk meningkatkan kualitas tidur dan kebugaran, sebagian dengan membaca data detak jantung dan pernapasan dari perangkat yang dapat dikenakan seperti jam tangan pintar.

Untuk menguji kemampuan PH-LLM dalam memberikan saran kesehatan yang bermanfaat, para peneliti membuat hampir 900 studi kasus tentang tidur dan kebugaran yang melibatkan subjek yang berbasis di AS. Mereka menemukan bahwa PH-LLM memberikan rekomendasi tidur yang sesuai dekat dengan — tapi tidak sebaik — rekomendasi yang diberikan oleh para ahli tidur manusia.

Para peneliti mengatakan bahwa PH-LLM dapat membantu mengkontekstualisasikan data fisiologis untuk “aplikasi kesehatan pribadi.” Google Fit terlintas dalam pikiran; Saya tidak akan terkejut melihat PH-LLM pada akhirnya mendukung beberapa fitur baru di aplikasi Google yang berfokus pada kebugaran, Fit atau lainnya.

Model minggu ini

Apple mencurahkan cukup banyak salinan blog yang merinci model AI generatif baru pada perangkat dan cloud yang membentuk rangkaian Apple Intelligence-nya. Meskipun postingan ini sangat panjang, postingan ini tidak mengungkapkan banyak hal berharga tentang kemampuan model-model tersebut. Inilah upaya terbaik kami untuk menguraikannya:

Model tanpa nama pada perangkat yang disorot Apple berukuran kecil, tidak diragukan lagi sehingga dapat dijalankan secara offline di perangkat Apple seperti iPhone 15 Pro dan Pro Max. Ini berisi 3 miliar parameter — “parameter” adalah bagian dari model yang pada dasarnya menentukan keahliannya dalam suatu masalah, seperti menghasilkan teks — membuatnya sebanding dengan model Gemini pada perangkat Google, Gemini Nano, yang hadir dalam 1,8 miliar parameter dan Ukuran 3,25 miliar parameter.

Sementara itu, model servernya lebih besar (seberapa besarnya, Apple tidak akan menyebutkan secara pasti). Apa yang kita Mengerjakan ketahuilah bahwa ini lebih mumpuni dibandingkan model pada perangkat. Meskipun model pada perangkat berkinerja setara dengan model seperti Phi-3-mini dari Microsoft, Mistral 7B dari Mistral, dan Gemma 7B dari Google pada daftar benchmark Apple, model server “lebih baik dibandingkan” dengan model andalan lama OpenAI, GPT-3.5 Turbo, Apple klaim.

Apple juga mengatakan bahwa model pada perangkat dan model server cenderung tidak keluar jalur (yaitu, toksisitas semburan) dibandingkan model dengan ukuran serupa. Mungkin memang demikian — namun penulis ini akan memberikan penilaian sampai kita mendapat kesempatan untuk menguji Intelijen Apple.

Ambil tas

Minggu ini menandai ulang tahun keenam peluncuran GPT-1, nenek moyang GPT-4o, model AI generatif andalan terbaru OpenAI. Dan sementara pembelajaran mendalam mungkin menemui jalan buntusungguh luar biasa seberapa jauh perkembangan bidang ini.

Pertimbangkan bahwa diperlukan waktu satu bulan untuk melatih GPT-1 pada kumpulan data teks berukuran 4,5 gigabyte (BookCorpus, berisi ~7.000 buku fiksi yang belum diterbitkan). GPT-3, yang ukurannya hampir 1.500x lebih besar dari GPT-1 berdasarkan jumlah parameter dan jauh lebih canggih dalam prosa yang dapat dihasilkan dan dianalisis, memerlukan waktu 34 hari untuk dilatih. Bagaimana dengan penskalaannya?

Apa yang membuat GPT-1 menjadi terobosan adalah pendekatannya terhadap pelatihan. Teknik sebelumnya mengandalkan sejumlah besar data yang diberi label secara manual, sehingga membatasi kegunaannya. (Melabel data secara manual memakan waktu dan melelahkan.) Namun GPT-1 tidak melakukannya; itu dilatih terutama pada tidak berlabel data untuk “mempelajari” cara melakukan berbagai tugas (misalnya, menulis esai).

Banyak ahli percaya bahwa kita tidak akan melihat perubahan paradigma yang berarti seperti GPT-1 dalam waktu dekat. Namun sekali lagi, dunia juga tidak melihat kedatangan GPT-1.