LINEAR DISCRIMINANT ANALYSIS (LDA)
February 18th, 2008
Discriminant Analysis/Analisis Diskriminan berfungsi untuk melakukan klasifikasi objek (orang, pelanggan, produk, dll.) kedalam satu atau lebih group/kelas berdasarkan sejumlah feature/ciri yang mewakili objek (misalkan jenkel, umur, pendapatan, berat badan, dll. ). Kemudian kita memasukkan sebuah objek kedalam group/kelas yang sudah kita tentukan sebelumnya berdasarkan observasi terhadap objektersebut.
Ada (2) dua hal yang kita ingin dapatkan, yaitu :
- Features/ciri yang manakah yang dapat paling baik dalam menentukan keanggotaan suatu object kedalam suatu group/kelas ? Hal ini biasa disebut “feature selection”.
- Classification rule yang mana yang dapat memisahkan group-group/kelas-kelas itu dengan baik ? Hal ini biasa disebut “classification”.
Dimisalkan, kita ingin mengetahui baik dan buruknya suatu produk “Z” berdasarkan beberapa ukuran yaitu X1 dan X2.
Berarti kita mempunyai objek “Z” dan kategori kelas atau group/kelas ( “baik” dan “nuruk” ) adalah yang kita sebut dengan dependent variable. X1 dan X2 merupakan feature / ciri yang menggambarkan objek, kita sebut independent variable.
Dalam analisis diskriminan, dependent variable (Y) adalah group/kelas dan independent variables (X) adalah feature/ciri yang menggambarkan group/kelas. Dependent variable selalu berupa kategori (nominal scale) sementara independent variable dapat dalam bermacam skala ukuran (misalkan nominal, ordinal, interval atau rasio).
Jika kita dapat berasumsi bahwa group-group atau kelas-kelas yang ada dapat dipisahkan secara linier (linearly separable), maka kita dapat menggunakan linear discriminant analysis / model (LDA).
Jika dapat dipisahkan secara linier maka dapat diduga bahwa group/kelas atau kelas dapat dipisahkan dengan kombinasi linier dari feature/ciri dari objek tersebut. Jika kita mempunyai 2(dua) features/ciri, maka pemisah antar group/kelas dari objek tersebut berbentuk garis.
LDA FORMULA
Jika terdapat g group/kelas, Bayes Rule memasukkan suatu objek kedalam group/kelas i dengan :
Untuk mengetahui kemungkinan dari P(i|x) dimana sebuah objek masuk dalam group/kelas i diberikan beberapa hasil pengukuran x. Kita bisa mendapatkan relationship/hubungan antara dua kondisional probabiliti dengan menggunakan Bayes Theorem.
P(i) adalah Prior Probability dari group/kelas i tanpa melakukan pengukuran.
Pada prakteknya biasanya Prior Probability adalah sama untuk semua group atau didasarkan pada jumlah sample untuk setiap group tersebut.
Jika kita berasumsi bahwa setiap group mempunyai distribusi normal multivariate dan semua group mempunyai covariance matrix yang sama kita dapat menggunakan apa yang disebut dengan Linear Discriminant Analysis (LDA).
Dimana kita dapat menentukan suatu object k kedalam group i jika object k tersebut mempunyai fi paling maksimum.
Merupakan jarak mahalanobis yang merupakan jarak untuk mengukur ketidakmiripan antara beberapa group.
Inlinks :
- Apa itu Algorithms?
- Bubble-sort Source-Code
- Data Security
- Enkripsi RC4 part 2
- Heap-sort Source-Code
- Insertion-sort Source-Code
- Keamanan Informasi dan Kriptografi
- LINEAR DISCRIMINANT ANALYSIS (LDA)
- Matrix-Chain-Multiply Source-Code
- Matrix-Chain-Order
- MD5 and SHA-1 ( Hash Function Chryptography )
- Merge-sort Source-Code
- Quick-sort Source-Code
- Sejarah Kriptografi
- Selection-sort Source-Code
- SORTING ALGORITHM #1
- SORTING ALGORITHM ANALYSIS






