Teori Maklumat

Konsep dasar teori ini diperkenalkan pada tahun ke empat puluh oleh K. Shannon. Teori Maklumat Adakah sains proses penghantaran, penyimpanan dan pengambilan semula data dalam sistem semulajadi, teknikal dan sosial. Dalam banyak bidang sains yang digunakan, seperti sains komputer, linguistik, kriptografi, teori pengurusan, pemprosesan imej, genetik, psikologi, ekonomi, organisasi pengeluaran, kaedah sains ini digunakan.

Dalam keadaan moden, teori maklumat dikaitkan rapat dengan teori pengekodan, yang menangani masalah yang paling umum dalam korespondensi antara isyarat dan mesej, dan teori pemprosesan isyarat, di mana kuantisasi dan pembinaan semula isyarat dikaji, serta analisis spektral dan korelasi seperti itu.

Teori maklumat menganggap konsep asas "maklumat" untuk sebahagian besar dari segi kuantitatif, tidak mengambil kira nilainya, dan kadang-kadang makna. Dengan pendekatan ini, halaman teks akan mengandungi kira-kira jumlah data yang sama, hanya ditentukan oleh bilangan aksara dan simbol, dan tidak bergantung kepada apa yang sebenarnya dicetak di sana, walaupun koleksi simbol tertentu yang tidak bermakna dan huru-hara.

Pendekatan ini adalah sah, tetapi hanya untuk pemodelan sistem komunikasi, kerana mereka mesti menyampaikan maklumat dengan tepat melalui saluran komunikasi, yang dapat diwakili oleh setiap tanda dan simbol. Pada masa yang sama, apabila perlu untuk mengambil kira nilai dan makna data, pendekatan kuantitatif tidak dapat diterima. Keadaan sedemikian mengenakan batasan ketara ke atas bidang kemungkinan penggunaan teori ini.

Asas teori maklumat melibatkan pertimbangan berbagai isu, termasuk yang secara langsung berkaitan dengan penghantaran dan penerimaan data. Skim asas komunikasi, yang dipertimbangkan dalam kajian ini, adalah seperti berikut. Teori maklumat dan pengekodan Percaya bahwa data diciptakan oleh sumber pesan, yang merupakan kata atau satu set kata-kata yang ditulis dalam huruf-huruf abjad tertentu. Sumber mesej dapat teks dalam bahasa-bahasa semula jadi atau buatan, ucapan manusia, pangkalan data dan beberapa model matematik yang membuat urutan huruf. Pemancar menukarkan mesej ke dalam isyarat yang sepadan dengan sifat fizikal saluran komunikasi-medium untuk penghantaran isyarat. Semasa peredaran kebisingan sedemikian, yang memperkenalkan distorsi ke dalam nilai parameter maklumat, boleh bertindak ke atasnya. Penerima memulihkan mesej asal mengikut isyarat yang diterima dengan gangguan. Mesej dalam bentuk yang dipulihkan datang kepada penerima - kepada sesetengah orang atau peranti teknikal.

Sumber mesej adalah bersifat statistik, iaitu, kemunculan setiap mesej ditentukan oleh kebarangkalian. Teori maklumat Shannon percaya bahawa jika kebarangkalian penampilan mesej bersamaan dengan satu, iaitu penampilannya boleh dipercayai dan tidak ada ketidakpastian, percaya bahawa ia tidak membawa apa-apa maklumat.

Salah satu masalah penting dalam teori maklumat adalah pencocokan saluran komunikasi dan sifat maklumat sumber mesej. Lebar jalur ditentukan oleh unit ukuran 1 bit sesaat.

Salah satu masalah sistem komunikasi adalah campur tangan dalam laluan isyarat berguna. Teorema Shannon, malangnya, tidak memberikan kita kaedah konkrit untuk menangani perkara tersebut. Kaedah penyingkiran yang paling mudah, yang terdiri daripada pengulangan mesej berulang, tidak begitu berkesan, memandangkan ia memerlukan banyak masa untuk memindahkan maklumat. Lebih berkesan ialah penggunaan kod yang dapat mengesan dan membetulkan kesilapan dalam penghantaran maklumat.