Pada artikel kali ini kami akan membahas mengenai Random Forest. Dalam machine learning sering kita mendengar tentang metode Random Forest yang digunakan untuk menyelesaikan permasalahan. Metode Random Forest merupakan salah satu metode dalam Decision Tree. Decision Tree atau pohon pengambil keputusan adalah sebuah diagram alir yang berbentuk seperti pohon yang memiliki sebuah root node yang digunakan untuk mengumpulkan data, Sebuah inner node yang berada pada root node yang berisi tentang pertanyaan tentang data dan sebuah leaf node yang digunakan untuk memecahkan masalah serta membuat keputusan.
Decision tree mengklasifikasikan suatu sampel data yang belum diketahui kelasnya kedalam kelas – kelas yang ada. Penggunaan decision tree agar dapat menghindari overfitting pada sebuah set data saat mencapai akurasi yang maksimum.
Random forest adalah kombinasi dari masing – masing tree yang baik kemudian dikombinasikan ke dalam satu model. Random Forest bergantung pada sebuah nilai vector random dengan distribusi yang sama pada semua pohon yang masing masing decision tree memiliki kedalaman yang maksimal.
Random forest adalah classifier yang terdiri dari classifier yang berbentuk pohon {h(x, θ k ), k = 1, . . .} dimana θk adalah random vector yang diditribusikan secara independen dan masing masing tree pada sebuah unit kan memilih class yang paling popular pada input x. Berikut ini karakteristik akurasi pada random forest.
1.Memusatkan random forest
Terdapart classifier h1(x), h2(x), . . . , hk (x) dan dengan training set dari distribusi random vector Y,X, Berikut fungsi yang terbentuk
Fungsi error yang digunakan
Hasil dari penggabungan fungsi
Pada hasil tersebut menjelaskan mengapa random forest tidak overfit saat tree di tambahkan, tetapi menghasilkan nilai yang terbatas pada error.
2.Kekuatan dan Korelasi
Fungsi yang dihasilkan adalah
Pada fungsi tersebut kekuatan tidak bergantung pada forest.
Berikut dijelaskan macam fitur – fitur yang digunakan untuk random forest.
3.Random Forest menggunakan seleksi input yang random
Bagging digunakan untuk pemilihan fitur secara random. Masing – masing training set diambil dengan penggantinya dari training set asli. Kemudian sebuah tree di tanam pada sebuah training set menggunakan seleksi fitur random. Ada dua alasan penggunaan bagging yaitu yang pertama penggunaan bagging untuk meningkatkan akurasi ketika fitur random digunakan.
Yang kedua bagging digunakan untuk memberikan perkiraan dari kesalahan generalisasi (PE*) dari gabungan tree, untuk memperkirakan kekuatan dan korelasi. Random Forest yang paling sederhana dengan fitur random dibentuk dengan seleksi secara random, pada masing – masing node, sebuah grup kecil dari input variable yang terbagi. Membentuk tree menggunakan metodologi CART ke ukuran yang maksimum.
4.Random Forest menggunakan kombinasi input yang linear
Misalkan terdapat beberapa input, M, F mengambil fraksi pada M yang akan memimpin dalam meningkatkan kekuatan tetapi pada korelasi yang tinggi. Pendekatan yang lain terbentuk dengan mendefinisikan lebih banyak fitur dengan mengambil kombinasi random linear dari sejumlah variable input.
Fitur tersebut variabel L yaitu jumlah dari variable yang dikombinasikan. Variabel L secara random diseleksi dan ditambahkan bersama dengan koefisien yang memiliki nomor random [-1,1]. Kombinasi linear F dihasilkan. Prosedur ini di sebut Forest-RC.
Disusun oleh: Yaqutina Marjani S.
Oleh : Aditya Yanuar R
sumber :
[1]Ho, Tin Kam (1995). Random Decision Forests (PDF). Proceedings of the 3rd International Conference on Document Analysis and Recognition, Montreal, QC, 14–16 August 1995. pp. 278–282.
[2]Breiman L (2001). “Random Forests”. Machine Learning. 45 (1): 5–32. doi:1023/A:1010933404324.
Post a Comment