Penjelasan semi-supervised learning

Dalam surat pemegang saham Amazon 2017, Jeff Bezos menulis sesuatu yang menarik tentang Alexa, asisten cerdas berbasis suara Amazon:

Di AS, Inggris, dan Jerman, kami telah meningkatkan pemahaman bahasa lisan Alexa lebih dari 25% selama 12 bulan terakhir melalui penyempurnaan dalam komponen pembelajaran mesin Alexa dan penggunaan teknik pembelajaran semi-supervisi. (Teknik pembelajaran semi-supervisi ini mengurangi jumlah data berlabel yang diperlukan untuk mencapai peningkatan akurasi yang sama sebanyak 40 kali!)

Mengingat hasil tersebut, mungkin menarik untuk mencoba pembelajaran semi-supervisi pada masalah klasifikasi kita sendiri. Tapi apa itu pembelajaran semi-supervised? Apa kelebihan dan kekurangannya? Bagaimana kita bisa menggunakannya?

Apa itu pembelajaran semi-supervised?

Seperti yang Anda harapkan dari namanya, pembelajaran semi-supervisi adalah perantara antara pembelajaran yang diawasi dan pembelajaran yang tidak diawasi. Pembelajaran terbimbing dimulai dengan data pelatihan yang diberi tag dengan jawaban yang benar (nilai target). Setelah proses pembelajaran, Anda akan mendapatkan model dengan serangkaian bobot yang disetel, yang dapat memprediksi jawaban untuk data serupa yang belum diberi tag.

Pembelajaran semi-supervisi menggunakan data yang diberi tag dan tidak diberi tag agar sesuai dengan model. Dalam beberapa kasus, seperti Alexa, menambahkan data tanpa tag sebenarnya meningkatkan keakuratan model. Dalam kasus lain, data tanpa tag dapat memperburuk model; algoritma yang berbeda memiliki kerentanan terhadap karakteristik data yang berbeda, seperti yang akan saya bahas di bawah.

Secara umum, penandaan data membutuhkan biaya dan waktu. Itu tidak selalu menjadi masalah, karena beberapa kumpulan data sudah memiliki tag. Tetapi jika Anda memiliki banyak data, hanya sebagian yang diberi tag, maka pembelajaran semi-supervisi adalah teknik yang baik untuk dicoba.

Algoritme pembelajaran semi-diawasi

Pembelajaran semi-supervisi berlangsung setidaknya 15 tahun, mungkin lebih; Jerry Zhu dari University of Wisconsin menulis survei literatur pada tahun 2005. Pembelajaran semi-diawasi telah bangkit kembali dalam beberapa tahun terakhir, tidak hanya di Amazon, karena mengurangi tingkat kesalahan pada tolok ukur penting.

Sebastian Ruder dari DeepMind menulis postingan blog pada April 2018 tentang beberapa algoritme pembelajaran semi-supervisi, yang membuat label proxy. Ini termasuk pelatihan mandiri, pembelajaran multi-pandangan, dan ansambel diri.

Pelatihan mandiri menggunakan prediksi model sendiri pada data tak berlabel untuk ditambahkan ke kumpulan data berlabel. Anda pada dasarnya menetapkan beberapa ambang batas untuk tingkat keyakinan suatu prediksi, sering kali 0,5 atau lebih tinggi, di atasnya Anda mempercayai prediksi tersebut dan menambahkannya ke kumpulan data berlabel. Anda terus melatih model hingga tidak ada lagi prediksi yang meyakinkan.

Ini menimbulkan pertanyaan tentang model aktual yang akan digunakan untuk pelatihan. Seperti pada kebanyakan pembelajaran mesin, Anda mungkin ingin mencoba setiap model kandidat yang masuk akal dengan harapan menemukan model yang berfungsi dengan baik.

Pelatihan mandiri memiliki kesuksesan yang beragam. Cacat terbesar adalah bahwa model tersebut tidak dapat memperbaiki kesalahannya sendiri: satu prediksi dengan keyakinan tinggi (tapi salah) pada, katakanlah, pencilan, dapat merusak keseluruhan model.

Pelatihan multi-tampilan melatih model yang berbeda pada tampilan data yang berbeda, yang mungkin mencakup kumpulan fitur yang berbeda, arsitektur model yang berbeda, atau subkumpulan data yang berbeda. Ada sejumlah algoritme pelatihan multi-tampilan, tetapi salah satu yang paling terkenal adalah pelatihan tiga. Pada dasarnya, Anda membuat tiga model berbeda; setiap kali dua model menyetujui label titik data, label itu ditambahkan ke model ketiga. Seperti halnya pelatihan mandiri, Anda berhenti jika tidak ada lagi label yang ditambahkan ke salah satu model.

Self-ensembling biasanya menggunakan model tunggal dengan beberapa konfigurasi berbeda. Dalam metode jaringan tangga, prediksi pada contoh bersih digunakan sebagai label proxy untuk contoh yang terganggu secara acak, dengan tujuan mengembangkan fitur yang tahan terhadap derau.

Tutorial Jerry Zhu 2007 juga mempertimbangkan sejumlah algoritma lainnya. Ini termasuk model generatif (seperti model yang mengasumsikan distribusi Gaussian untuk setiap kelas), mesin vektor dukungan semi-supervisi, dan algoritma berbasis grafik.

Pembelajaran semi-supervisi di cloud

Pembelajaran semi-supervisi perlahan-lahan memasuki layanan pembelajaran mesin arus utama. Misalnya, Amazon SageMaker Ground Truth menggunakan Amazon Mechanical Turk untuk pelabelan manual dan penentuan batas bagian dari kumpulan gambar dan menggunakan pelatihan jaringan saraf untuk melabeli kumpulan gambar lainnya.

Skema pembelajaran semi-supervisi serupa dapat digunakan untuk jenis pembelajaran semi-supervisi lainnya, termasuk pemrosesan bahasa alami, klasifikasi, dan regresi pada beberapa layanan. Namun, Anda harus menulis kode lem Anda sendiri untuk algoritme semi-supervisi pada sebagian besar algoritme tersebut.

-

Baca lebih lanjut tentang pembelajaran mesin: 

  • Pembelajaran mesin menjelaskan
  • Pembelajaran mendalam menjelaskan
  • Pemrosesan bahasa alami menjelaskan
  • Pembelajaran yang diawasi menjelaskan
  • Pembelajaran tanpa pengawasan menjelaskan
  • Penjelasan semi-supervised learning
  • Pembelajaran penguatan dijelaskan
  • Pembelajaran mesin otomatis atau penjelasan AutoML
  • AI, pembelajaran mesin, dan pembelajaran mendalam: Semua yang perlu Anda ketahui
  • Kerangka kerja pembelajaran mendalam dan pembelajaran mesin terbaik
  • 6 cara untuk membuat pembelajaran mesin gagal
  • Pelajaran pembelajaran mesin: 5 perusahaan berbagi kesalahan mereka
  • Perangkat lunak sumber terbuka terbaik untuk pembelajaran mesin
  • 5 bahasa pemrograman terbaik untuk pengembangan AI