Sunday, May 5, 2013

Neural Network

Neural Network (Jaringan Syaraf)


Sejarah dan ikhtisar

Sebuah jaringan saraf biologis terdiri dari kelompok atau kelompok neuron kimia tersambung atau fungsional terkait. Sebuah neuron tunggal dapat dihubungkan ke banyak neuron lain dan jumlah neuron dan koneksi dalam jaringan mungkin luas. Connections, yang disebut sinapsis, biasanya terbentuk dari akson ke dendrit, meskipun microcircuits dendrodendritic dan koneksi lain yang mungkin. Terlepas dari sinyal listrik, ada bentuk-bentuk lain dari sinyal yang muncul dari difusi neurotransmitter. Kecerdasan buatan, pemodelan kognitif, dan jaringan saraf adalah paradigma pemrosesan informasi terinspirasi oleh cara biologis saraf sistem proses data. Kecerdasan buatan dan pemodelan kognitif mencoba untuk mensimulasikan beberapa sifat jaringan saraf biologis. Di bidang kecerdasan buatan, jaringan saraf tiruan telah berhasil diterapkan untuk pengenalan suara, analisis citra dan kontrol adaptif, dalam rangka untuk membangun agen perangkat lunak (dalam permainan komputer dan video) atau robot otonom. Secara historis, komputer digital berkembang dari model von Neumann, dan beroperasi melalui pelaksanaan instruksi eksplisit melalui akses ke memori oleh sejumlah prosesor.  

Di sisi lain, asal-usul jaringan saraf didasarkan pada upaya untuk memodelkan pengolahan informasi dalam sistem biologi. Tidak seperti model von Neumann, komputasi jaringan syaraf tidak memori dan pengolahan terpisah. Teori jaringan saraf telah melayani baik untuk lebih mengidentifikasi bagaimana neuron dalam fungsi otak dan untuk memberikan dasar bagi upaya menciptakan kecerdasan buatan. Para awal dasar teoritis untuk jaringan saraf kontemporer secara independen diusulkan oleh Alexander Bain (1873) dan William James (1890). Dalam pekerjaan mereka, baik pikiran dan aktivitas tubuh dihasilkan dari interaksi antar neuron dalam otak.

Simulasi komputer dari arsitektur percabangan dendrit neuron piramidal. Untuk Bain, setiap kegiatan menyebabkan penembakan dari satu set tertentu dari neuron. Ketika kegiatan diulang, hubungan antara neuron diperkuat. Menurut teorinya, pengulangan ini adalah apa yang menyebabkan pembentukan memori. Komunitas ilmiah umum pada saat itu adalah skeptis. Teori Bain karena diperlukan apa yang tampaknya menjadi jumlah yang banyak sekali koneksi saraf dalam otak. Sekarang jelas bahwa otak sangat kompleks dan bahwa hal yang sama otak "kabel" dapat menangani beberapa masalah dan masukan dari James. Teori ini mirip dengan Bain. Namun, ia menyarankan bahwa kenangan dan tindakan yang dihasilkan dari arus listrik yang mengalir di antara neuron di otak. Modelnya, dengan berfokus pada aliran arus listrik, tidak membutuhkan koneksi saraf individu untuk setiap memori atau tindakan. CS Sherrington (1898) melakukan percobaan untuk menguji teori James. Dia berlari arus listrik menuruni tali tulang belakang tikus. Namun, daripada menunjukkan peningkatan arus listrik seperti yang diproyeksikan oleh James, Sherrington menemukan bahwa kekuatan arus listrik menurun sebagai pengujian terus dari waktu ke waktu. Yang penting, karya ini menyebabkan penemuan konsep pembiasaan.
             
McCulloch dan Pitts (1943) menciptakan model komputasi untuk jaringan saraf berdasarkan matematika dan algoritma. Mereka menyebut model ini logika ambang batas. Model ini membuka jalan untuk penelitian jaringan saraf untuk membagi menjadi dua pendekatan yang berbeda. Salah satu pendekatan yang berfokus pada proses biologis di otak dan yang lainnya berfokus pada penerapan jaringan saraf untuk kecerdasan buatan. Pada akhir 1940-an psikolog Donald Hebb menciptakan hipotesis pembelajaran berdasarkan mekanisme plastisitas saraf yang sekarang dikenal sebagai Hebbian belajar. Hebbian belajar dianggap aturan belajar 'khas' tanpa pengawasan dan varian kemudian perusahaan adalah model awal untuk potensiasi jangka panjang. Ide-ide ini mulai diterapkan untuk model komputasi pada tahun 1948 dengan B-tipe mesin Turing. Farley dan Clark (1954) pertama kali digunakan mesin komputasi, kemudian disebut kalkulator, untuk mensimulasikan jaringan Hebbian di MIT. Jaringan saraf mesin komputasi lainnya diciptakan oleh Rochester, Belanda, Kebiasaan, dan Duda (1956). Rosenblatt (1958) menciptakan perceptron, algoritma untuk pengenalan pola berdasarkan pada jaringan komputer belajar dua lapisan menggunakan penambahan dan pengurangan sederhana. Dengan notasi matematika, Rosenblatt juga menggambarkan sirkuit tidak dalam perceptron dasar, seperti eksklusif-atau sirkuit, sirkuit yang perhitungan matematis tidak dapat diproses sampai setelah algoritma backpropagation diciptakan oleh Werbos (1975). 

Penelitian jaringan saraf mengalami stagnasi setelah publikasi penelitian pembelajaran mesin dengan Minsky dan Papert (1969). Mereka menemukan dua masalah utama dengan mesin komputasi yang diproses jaringan saraf. Masalah pertama adalah bahwa jaringan saraf single-layer yang mampu memproses eksklusif-atau sirkuit. Isu penting kedua adalah bahwa komputer tidak cukup canggih untuk secara efektif menangani waktu jangka panjang yang dibutuhkan oleh jaringan saraf besar. Penelitian jaringan saraf melambat sampai komputer mencapai kekuatan pemrosesan yang lebih besar. Juga kunci dalam kemajuan kemudian adalah algoritma backpropogation yang secara efektif memecahkan eksklusif-atau masalah (Werbos 1975). Paralel didistribusikan pengolahan pertengahan 1980-an menjadi populer dengan nama koneksionisme. Teks oleh Rumelhart dan McClelland (1986) memberikan penjelasan lengkap tentang penggunaan koneksionisme dalam komputer untuk mensimulasikan proses saraf.
                        

Jaringan Saraf dan Kecerdasan Buatan

Jaringan saraf, seperti yang digunakan dalam kecerdasan buatan, secara tradisional telah dipandang sebagai model yang disederhanakan dari proses syaraf di otak, meskipun hubungan antara model ini dan arsitektur biologis otak diperdebatkan, karena tidak jelas untuk apa gelar saraf jaringan otak cermin buatan fungsi. Sebuah jaringan saraf (NN), dalam kasus neuron buatan yang disebut jaringan saraf tiruan (JST) atau neural network simulasi (SNN), adalah kelompok yang saling berhubungan neuron alami atau buatan yang menggunakan model matematis atau komputasi untuk pemrosesan informasi berdasarkan pada Pendekatan connectionistic untuk perhitungan. Dalam kebanyakan kasus JST merupakan sistem adaptif yang mengubah strukturnya berdasarkan informasi eksternal maupun internal yang mengalir melalui jaringan. Dalam istilah yang lebih praktis jaringan saraf yang non-linear pemodelan data statistik atau alat pengambilan keputusan. Mereka dapat digunakan untuk memodelkan hubungan yang kompleks antara input dan output atau untuk menemukan pola dalam data. Namun, paradigma jaringan saraf - yaitu, implisit, tidak eksplisit, belajar ditekankan - tampaknya lebih sesuai dengan beberapa jenis kecerdasan alami daripada tradisional berbasis simbol Artificial Intelligence, yang akan menekankan, sebaliknya, pembelajaran berbasis aturan.
             
Jaringan saraf tiruan melibatkan jaringan elemen pemrosesan sederhana (neuron buatan) yang dapat menunjukkan perilaku global yang kompleks, ditentukan oleh hubungan antara unsur-unsur pengolahan dan parameter elemen. Neuron buatan pertama kali diusulkan pada tahun 1943 oleh Warren McCulloch, neurofisiologi, dan Walter Pitts, ahli logika, yang pertama kali berkolaborasi di University of Chicago. Salah satu jenis klasik jaringan syaraf tiruan Hopfield adalah jaring berulang. Dalam jaringan saraf Model node sederhana (yang dapat dipanggil oleh sejumlah nama, termasuk "neuron", "neurodes", "Pengolahan Elemen" (PE) dan "unit"), yang dihubungkan bersama untuk membentuk jaringan node - maka istilah "neural network". Sementara jaringan saraf tidak harus adaptif per se, penggunaan praktisnya dilengkapi dengan algoritma yang dirancang untuk mengubah kekuatan (bobot) dari koneksi dalam jaringan untuk menghasilkan aliran sinyal yang diinginkan. Konsep jaringan saraf tampaknya telah pertama kali diusulkan oleh Alan Turing pada tahun 1948 makalahnya Mesin Cerdas yang menyebut mereka "mesin terorganisir tipe B".   
       
Pemanfaatan model jaringan syaraf tiruan terletak pada kenyataan bahwa mereka dapat digunakan untuk menyimpulkan fungsi dari pengamatan dan juga untuk menggunakannya. Jaringan saraf Unsupervised juga dapat digunakan untuk mempelajari representasi dari masukan yang menangkap karakteristik penting dari distribusi input, misalnya, melihat mesin Boltzmann (1983), dan baru-baru, belajar algoritma yang mendalam, yang secara implisit dapat mempelajari fungsi distribusi mengamati data. Belajar dalam jaringan saraf sangat berguna dalam aplikasi dimana kompleksitas data atau tugas membuat desain fungsi tersebut dengan tangan praktis.

Tugas yang jaringan syaraf tiruan yang diterapkan cenderung jatuh dalam kategori berikut:
•Fungsi pendekatan, atau analisis regresi, termasuk waktu prediksi series dan pemodelan
•Klasifikasi, termasuk pola dan pengakuan urutan, deteksi kebaruan dan pengambilan keputusan berurutan.
•Pengolahan data, termasuk penyaringan, pengelompokan, pemisahan sinyal buta dan kompresi.

Area aplikasi dari ANNs meliputi identifikasi sistem dan kontrol (kontrol kendaraan, kontrol proses), game-playing dan keputusan (backgammon, catur, balap) keputusan, pengenalan pola (sistem radar, identifikasi wajah, pengenalan obyek), pengakuan urutan (gesture, ucapan , pengenalan teks tulisan tangan), diagnosa medis, aplikasi keuangan, data mining (atau penemuan pengetahuan dalam database, "KDD"), visualisasi dan e-mail penyaringan spam.

Neural Jaringan dan Neuroscience      

Teoritis dan komputasi neuroscience adalah bidang yang bersangkutan dengan analisis teoritis dan pemodelan komputasi sistem saraf biologis. Karena sistem saraf sangat erat terkait dengan proses kognitif dan perilaku, lapangan berkaitan erat dengan pemodelan kognitif dan perilaku. Tujuan dari lapangan adalah untuk menciptakan model sistem saraf biologi untuk memahami bagaimana sistem biologis bekerja. Untuk mendapatkan pemahaman ini, ahli saraf berusaha untuk membuat hubungan antara proses biologis yang teramati (data), mekanisme biologis yang masuk akal untuk proses syaraf dan pembelajaran (model jaringan saraf biologis) dan teori (teori belajar statistik dan teori informasi). Banyak model yang digunakan, didefinisikan pada berbagai tingkat abstraksi, dan pemodelan aspek yang berbeda dari sistem saraf. Mereka berkisar dari model perilaku jangka pendek neuron individu, melalui model dinamika sirkuit saraf yang timbul dari interaksi antara neuron individu, model-model perilaku yang timbul dari saraf modul abstrak yang mewakili subsistem lengkap. Ini termasuk model plastisitas jangka panjang dan jangka pendek sistem saraf dan hubungannya dengan belajar dan memori, dari Kritik. Sebuah kritik umum jaringan saraf, terutama dalam robotika, adalah bahwa mereka membutuhkan keragaman besar pelatihan untuk operasi dunia nyata. Hal ini tidak mengherankan, karena setiap mesin belajar membutuhkan contoh perwakilan cukup untuk menangkap struktur dasar yang memungkinkan untuk menggeneralisasi kasus-kasus baru. 

Dean Pomerleau, dalam penelitiannya disajikan dalam kertas "Pelatihan berbasis Pengetahuan Jaringan Syaraf Tiruan untuk Otonomi Robot Mengemudi," menggunakan jaringan saraf untuk melatih sebuah kendaraan robot untuk drive pada beberapa jenis jalan (jalur tunggal, multi-lane, kotoran , dll). Sejumlah besar penelitian ditujukan untuk ekstrapolasi beberapa skenario pelatihan dari pengalaman pelatihan tunggal, dan pengawetan keanekaragaman pelatihan masa lalu sehingga sistem tidak menjadi overtrained (jika, misalnya, disajikan dengan seri dari kanan bergantian - tidak harus belajar untuk selalu belok kanan). Isu-isu yang umum dalam jaringan saraf yang harus memutuskan dari antara berbagai macam tanggapan, tetapi dapat ditangani dengan beberapa cara, misalnya dengan secara acak mengocok contoh pelatihan, dengan menggunakan algoritma optimasi numerik yang tidak mengambil langkah terlalu besar ketika mengubah koneksi jaringan mengikuti contoh, atau dengan mengelompokkan contoh dalam apa yang disebut mini-batch. 

AK Dewdney, mantan kolumnis Scientific American, menulis pada tahun 1997, "Meskipun jaring saraf lakukan memecahkan masalah mainan beberapa, kekuatan mereka perhitungan begitu terbatas bahwa saya terkejut siapa pun membawa mereka serius sebagai alat pemecahan masalah umum." (Dewdney, hal. 82) Argumen untuk posisi Dewdney adalah bahwa untuk melaksanakan jaringan software besar dan efektif saraf, banyak sumber daya pengolahan dan penyimpanan harus berkomitmen. Sementara otak telah hardware disesuaikan dengan tugas pengolahan sinyal melalui grafik neuron, simulasi bahkan bentuk yang paling sederhana tentang Von Neumann teknologi dapat memaksa seorang desainer NN untuk mengisi jutaan baris basis data untuk koneksi - yang dapat mengkonsumsi sejumlah besar memori komputer dan ruang hard disk. Selain itu, perancang sistem NN akan sering perlu untuk mensimulasikan transmisi sinyal melalui banyak koneksi ini dan neuron yang terkait - yang harus sering dicocokkan dengan jumlah yang luar biasa kekuatan pemrosesan CPU dan waktu. Sementara jaringan saraf sering menghasilkan program yang efektif, mereka terlalu sering melakukannya pada efisiensi biaya (mereka cenderung untuk mengkonsumsi sejumlah besar waktu dan uang). Argumen terhadap posisi Dewdney adalah bahwa jaring saraf telah berhasil digunakan untuk menyelesaikan banyak tugas yang kompleks dan beragam, mulai dari pesawat terbang mandiri untuk mendeteksi penipuan kartu kredit.
           
Penulis teknologi Roger Bridgman mengomentari pernyataan Dewdney tentang jaring saraf: Jaringan saraf, misalnya, berada di dermaga tidak hanya karena mereka telah hyped surga tinggi, (apa yang tidak?) Tetapi juga karena Anda bisa membuat jaring yang sukses tanpa memahami cara kerjanya: dengan sekelompok angka yang menangkap nya perilaku akan dalam semua kemungkinan menjadi "buram, terbaca meja ... berharga sebagai sumber daya ilmiah". Meskipun deklarasi tegas bahwa sains bukanlah teknologi, Dewdney tampaknya sini untuk membikin malu jaring saraf sebagai ilmu buruk ketika sebagian besar dari mereka karangan mereka hanya mencoba untuk menjadi insinyur yang baik. Tabel terbaca bahwa mesin yang berguna bisa membaca masih akan layak memiliki. Dalam menanggapi kritik semacam ini, perlu diingat bahwa meskipun benar bahwa menganalisis apa yang telah dipelajari oleh jaringan syaraf tiruan adalah sulit, itu jauh lebih mudah untuk melakukannya daripada untuk menganalisis apa yang telah dipelajari oleh jaringan saraf biologis. Selanjutnya, peneliti yang terlibat dalam mengeksplorasi belajar algoritma untuk jaringan saraf secara bertahap mengungkap prinsip-prinsip umum yang memungkinkan mesin belajar untuk menjadi sukses. Misalnya, Bengio dan LeCun (2007) menulis sebuah artikel tentang pembelajaran lokal vs non-lokal, serta dangkal vs arsitektur yang mendalam . Beberapa kritik lain datang dari orang percaya model hybrid (menggabungkan jaringan saraf dan pendekatan simbolik). Mereka mendukung mencampurkan dua pendekatan ini dan percaya bahwa model hybrid dapat lebih menangkap mekanisme dari pikiran manusia (Minggu dan Bookman, 1990).

Sumber :
1J. J. HOPFIELD Neural networks and physical systems with emergent collective   computational abilities. Proc. NatL Acad. Sci. USA Vol. 79, pp. 2554-2558, April 1982 Biophysics



No comments:

Post a Comment