Apa itu penyetelan hyperparameter?
Saat Anda melatih model machine learning, setiap set data dan model memerlukan set hyperparameter yang berbeda, yang merupakan sejenis variabel. Satu-satunya cara untuk menentukannya adalah melalui beberapa eksperimen, di mana Anda memilih satu set hyperparameter dan menjalankannya melalui model Anda. Ini dinamakan penyetelan hyperparameter. Intinya, Anda melatih model secara berurutan dengan set hyperparameter yang berbeda. Proses ini bisa dilakukan secara manual, atau Anda dapat memilih salah satu dari beberapa metode penyetelan hyperparameter otomatis.
Metode apa pun yang Anda gunakan, Anda perlu melacak hasil eksperimen. Anda harus menerapkan beberapa bentuk analisis statistik, seperti fungsi kerugian, untuk menentukan set hyperparameter yang memberikan hasil terbaik. Penyetelan hyperparameter adalah proses yang penting dan intensif secara komputasi.
Apa itu hyperparameter?
Hyperparameter adalah variabel konfigurasi eksternal yang digunakan ilmuwan data untuk mengelola pelatihan model machine learning. Terkadang disebut hyperparameter model, hyperparameter diatur secara manual sebelum melatih model. Hyperparameter model berbeda dari parameter, yang merupakan parameter internal yang diturunkan secara otomatis selama proses pembelajaran dan tidak diatur oleh ilmuwan data.
Contoh hyperparameter termasuk jumlah simpul dan lapisan dalam jaringan neural dan jumlah cabang dalam pohon keputusan. Hyperparameter menentukan fitur utama, seperti arsitektur model, tingkat pembelajaran, dan kompleksitas model.
Bagaimana cara mengidentifikasi hyperparameter?
Penting untuk memilih set hyperparameter yang tepat dalam hal performa dan akurasi model. Sayangnya, tidak ada aturan yang ditetapkan tentang hyperparameter mana yang berfungsi paling baik atau nilai default atau optimalnya. Anda perlu bereksperimen untuk menemukan set hyperparameter yang optimal. Aktivitas ini dikenal sebagai penyetelan hyperparameter atau optimisasi hyperparameter.
Mengapa penyetelan hyperparameter penting?
Hyperparameter secara langsung mengontrol struktur, fungsi, dan performa model. Penyetelan hyperparameter memungkinkan ilmuwan data mengubah performa model untuk hasil yang optimal. Proses ini merupakan bagian penting dari machine learning, dan pemilihan nilai hyperparameter yang tepat sangat penting untuk keberhasilan.
Misalnya, asumsikan Anda menggunakan tingkat pembelajaran model sebagai hyperparameter. Jika nilainya terlalu tinggi, model dapat menyatu terlalu cepat dengan hasil yang kurang optimal. Sedangkan jika tingkatnya terlalu rendah, pelatihan memakan waktu terlalu lama dan hasilnya mungkin tidak sesuai. Pilihan hyperparameter yang baik dan seimbang menghasilkan model yang akurat dan performa model yang sangat baik.
Bagaimana cara kerja penyetelan hyperparameter?
Seperti yang dinyatakan sebelumnya, penyetelan hyperparameter dapat dilakukan secara manual atau otomatis. Meskipun penyetelan manual lambat dan membosankan, manfaatnya adalah Anda lebih memahami bagaimana pembobotan hyperparameter memengaruhi model. Namun dalam banyak kasus, Anda biasanya menggunakan salah satu algoritma pembelajaran hyperparameter yang terkenal.
Proses penyetelan hyperparameter bersifat iteratif, dan Anda mencoba berbagai kombinasi parameter serta nilai. Biasanya Anda mulai dengan menentukan variabel target, seperti akurasi sebagai metrik utama, dan Anda bermaksud untuk memaksimalkan atau meminimalkan variabel ini. Sebaiknya gunakan teknik validasi silang, sehingga model Anda tidak terpusat pada satu bagian data saja.
Apa saja teknik penyetelan hyperparameter?
Ada banyak algoritma penyetelan hyperparameter meskipun tipe yang paling umum digunakan adalah optimisasi Bayesian, pencarian grid, dan pencarian acak.
Optimisasi Bayesian
Optimisasi Bayesian adalah teknik yang didasarkan pada teorema Bayes, yang menggambarkan probabilitas suatu peristiwa yang terjadi terkait dengan pengetahuan saat ini. Ketika ini diterapkan pada optimisasi hyperparameter, algoritma membangun model probabilistik dari set hyperparameter yang mengoptimalkan metrik tertentu. Optimisasi menggunakan analisis regresi untuk memilih set hyperparameter terbaik secara iteratif.
Pencarian grid
Dengan pencarian grid, Anda menentukan daftar hyperparameter serta metrik performa, dan algoritma bekerja melalui semua kemungkinan kombinasi untuk menentukan yang paling cocok. Pencarian grid berfungsi dengan baik, tetapi relatif membosankan dan intensif secara komputasi, terutama dengan sejumlah besar hyperparameter.
Pencarian acak
Meskipun berdasarkan prinsip yang serupa dengan pencarian grid, pencarian acak memilih grup hyperparameter secara acak pada setiap iterasi. Pencarian acak bekerja dengan baik ketika jumlah hyperparameter yang relatif kecil menentukan hasil model.
Apa saja contoh hyperparameter?
Meskipun beberapa hyperparameter umum, dalam praktiknya Anda akan menemukan bahwa algoritma menggunakan kumpulan hyperparameter tertentu. Misalnya, Anda dapat membaca cara penggunaan hyperparameter klasifikasi gambar oleh Amazon SageMaker dan membaca cara penggunaan hyperparameter algoritma XGBoost oleh SageMaker.
Berikut adalah beberapa contoh hyperparameter umum:
- Tingkat pembelajaran adalah tingkat perkiraan pembaruan algoritma
- Penurunan tingkat pembelajaran adalah pengurangan bertahap dalam tingkat pembelajaran dari waktu ke waktu untuk mempercepat pembelajaran
- Momentum adalah arahan langkah berikutnya sehubungan dengan langkah sebelumnya
- Simpul jaringan neural mengacu pada jumlah simpul di setiap lapisan tersembunyi
- Lapisan jaringan neural mengacu pada jumlah lapisan tersembunyi dalam jaringan neural
- Ukuran batch mini adalah ukuran batch data pelatihan
- Epochs adalah frekuensi seluruh set data pelatihan ditampilkan ke jaringan selama pelatihan
- Eta adalah penyusutan ukuran langkah untuk mencegah overfitting
Bagaimana AWS dapat membantu penyetelan hyperparameter?
Di Amazon Web Services (AWS), kami menawarkan Amazon SageMaker, platform machine learning (ML) terkelola penuh yang memungkinkan Anda melakukan penyesuaian model otomatis. Pelatihan Model Amazon SageMaker menemukan versi terbaik model ML Anda dengan menjalankan beberapa tugas pelatihan di set data Anda. Penyetelan ini menggunakan rentang hyperparameter dan algoritma yang Anda tentukan.
SageMaker menawarkan versi cerdas metode penyetelan hyperparameter yang didasarkan pada teori pencarian Bayesian dan dirancang untuk menemukan model terbaik dalam waktu singkat. Mulai dengan pencarian acak tetapi kemudian mempelajari perilaku model sehubungan dengan nilai hyperparameter. Untuk informasi selengkapnya, , baca cara kerja penyetelan hyperparameter di SageMaker.
Penyetelan Model Otomatis SageMaker juga mendukung Hyperband, sebuah strategi pencarian baru. Hyperband dapat menemukan set hyperparameter yang optimal hingga tiga kali lebih cepat dibandingkan pencarian Bayesian untuk model skala besar, seperti jaringan neural dalam yang mengatasi masalah penglihatan komputer.
Anda juga dapat membaca cara melakukan penyetelan model otomatis dengan SageMaker. Anda menggunakan modul penyetelan hyperparameter SageMaker dengan algoritma SageMaker bawaan, dengan algoritma kustom, dan dengan kontainer bawaan SageMaker. Halaman web menyediakan tutorial dan latihan pembelajaran mandiri yang komprehensif untuk membantu Anda mempelajari cara melakukan optimisasi hyperparameter.
Memulai SageMaker itu mudah; yang perlu Anda lakukan hanyalah membuat akun AWS gratis. Dengan AWS Tingkat Gratis, Anda mendapatkan uji coba gratis SageMaker selama dua bulan sebelum mulai membayar.
