Apakah Bard tahu berapa kali huruf “e” muncul di “saus tomat”?

Salah satu hal yang paling saya nikmati tentang pembelajaran mesin adalah bagaimana hal itu menunjukkan, dengan cukup akurat, bahwa para insinyur tidak mengetahui cara kerja orang. Ambil model bahasa besar, misalnya. Saya diberitahu bahwa mereka akan mengambil bisnis saya, membuat saya tidak diperlukan; Mereka pintar. Mereka akan merencanakan rencana perjalanan yang sempurna untuk perjalanan saya ke Paris, dengan sorotan di sekitar bar dan restoran Pasti akurat dan lengkap.

Terinspirasi oleh Tweet tentang mayonesSekarang, Anda telah mulai melakukan eksperimen menyenangkan dengan Google Bard.

Saya memilih untuk melakukan ini karena dua alasan. Pertama, jenis tes ini adalah sesuatu yang Anda lakukan dengan anak kecil saat Anda mengajari mereka membaca. Ajak mereka mengenal huruf dan bunyi yang mereka buat. Namun kedua, saya sangat curiga bahwa aktivitas umum ini tidak terekam dalam data apa pun yang ditarik Bard karena itu bukan jenis yang Anda tulis.

Jelas, ini tidak masuk akal, tetapi tidak masuk akal karena Kita bisa melihat kata “saus tomat” dan dengan jelas melihat “e”. Bard tidak bisa melakukan itu. Itu hidup di dunia data pelatihan yang benar-benar tertutup.

Masalah seperti ini ada pada LLM. Bahasa adalah teknologi manusia yang sangat kuno, tetapi kecerdasan kita mendahuluinya. Seperti semua hewan sosial, kita harus melacak hubungan status, itulah sebabnya otak kita begitu besar dan aneh. Bahasa adalah alat yang sangat berguna – hei, saya menulis untuk mencari nafkah! – Tapi itu tidak sama dengan pengetahuan. Itu mengapung di atas banyak hal lain yang kita anggap remeh.

Saya sering memikirkan artikel Rodney Brooks tahun 1987, “Kecerdasan tanpa perwakilan,” yang lebih relevan dari sebelumnya. Saya tidak akan menyangkal bahwa penggunaan bahasa dan kecerdasan saling terkait — tetapi kecerdasan mendahului bahasa. Jika Anda berurusan dengan bahasa tanpa kecerdasan, seperti yang kita lihat di LLM, Anda mendapatkan hasil yang aneh. Brooks membandingkan apa yang terjadi dengan LLM dengan kelompok Salah satu peneliti pertama yang mencoba membuat pesawat terbang dengan berfokus pada kursi dan jendela.

Aku yakin dia masih benar tentang itu.

Saya memahami godaan untuk mencoba melakukan percakapan yang rumit dengan MA. Banyak orang sangat ingin kita bisa membangun komputer pintar. Fantasi ini sering muncul dalam fiksi ilmiah, genre yang paling banyak dibaca oleh para kutu buku, dan menunjukkan kerinduan untuk mengetahui bahwa kita tidak sendirian di alam semesta. Dorongan yang sama yang mendorong upaya kami untuk menghubungi intelijen alien.

Tapi mencoba berpura-pura bisa berpikir LLM adalah sebuah fantasi. Anda dapat menanyakan tentang alam bawah sadar, jika Anda mau, tetapi Anda akan bangga. Tidak ada apa-apa di sana. Maksud saya, Lihatlah usahanya pada seni ASCII!

Ketika Anda melakukan sesuatu seperti ini – tugas yang rata-rata berusia lima tahun akan melampaui dan gagal dalam MA dalam bahasa Inggris – Anda mulai melihat betapa cerdasnya Pada kenyataannya Dia bekerja. Tentu, ada orang yang mengira LLM memiliki kesadaran, tapi Bagi saya, orang-orang ini secara tragis kurang dalam masyarakattidak dapat memahami atau memperkirakan dengan tepat seberapa pintar orang biasa.

Ya, Bard bisa menghasilkan kilauan. Faktanya, seperti kebanyakan chatbot, ia unggul dalam melakukan salinan pemasaran pelengkapan otomatis. Mungkin ini cerminan dari banyaknya teks iklan yang muncul di data pelatihannya. Bard dan para insinyurnya mungkin tidak akan melihatnya seperti itu, tetapi komentar yang sangat menghancurkan kehidupan online kita sehari-hari.

Periklanan adalah suatu hal. Tetapi kemampuan menghasilkan salinan iklan bukanlah tanda kecerdasan. Ada banyak hal yang tidak perlu kita tulis karena tidak perlu dan hal-hal lain yang kita ketahui saya tidak bisa Ketik – seperti cara mengendarai sepeda. Kami mengambil banyak jalan pintas dalam berbicara satu sama lain karena orang-orang beroperasi hampir pada dasar informasi yang sama tentang dunia. Ada alasan untuk itu: kita semua di dalam Dunia. Chatbot tidak.

Saya yakin seseorang akan muncul untuk memberi tahu saya bahwa chatbots akan menjadi lebih baik dan saya bersikap jahat. Pertama-tama: Ini vaporware sampai dikirim, sayang. Tapi kedua, kita benar-benar tidak tahu seberapa pintar kita atau bagaimana kita berpikir. Jika ada satu kegunaan nyata untuk chatbots, itu mencerahkan hal-hal tentang kecerdasan kita yang kita anggap remeh. Atau seperti yang dikatakan oleh seseorang yang lebih bijak dari saya: Peta bukanlah wilayah. Bahasa adalah peta. Pengetahuan adalah wilayahnya.

Ada banyak hal yang tidak dan tidak bisa diketahui oleh chatbot. Sebenarnya, tidak perlu banyak usaha untuk lulus Tes Turing LLM selama Anda mengajukan pertanyaan yang tepat.