Subject

Основи на теоријата на информации

1. Наслов на наставниот предмет Основи на теоријата на информации
Foundations of Information Theory
2. Код F23L2W067
3. Студиска програма Интернет, мрежи и безбедност
4. Организатор на студиската програма (единица, односно институт, катедра, оддел) Факултет за информатички науки и компјутерско инженерство
5. Степен (прв, втор, трет циклус) Прв циклус
6. Академска година / семестар 3 / Зимски
7. Број на ЕКТС кредити 6
8. Наставник Александра Поповска Митровиќ, Верица Бакева
9. Предуслови за запишување на предметот Калкулус 1 или Математика 1
10. Цели на предметната програма (компетенции) Студентите ќе бидат запознати со основите на теорија на веројатност, а потоа и основните поими од теорија на информации и нејзината примена во реални комуникациски системи.
11. Содржина на предметната програма (1) Елементи од комбинаторика. Веројатност на случајни настани. Својства на веројатности. (1) Дискретен простор на веројатност. Класична дефиниција. Условна веројатност. Баесово правило. (1) Независност на случајни настани. Бернулиева шема.
(2) Дискретни и непрекинати распределби. (1) Случајни вектори: маргинални и условни распределби. Функции од случајни променливи. (1) Бројни карактеристики на случајни променливи: математичко очекување, дисперзија на случајна променлива, коефициент на корелација помеѓу две случајни променливи. Централна гранична теорема. (2) Ентропија и инфомација
(3) Компресија на податоци: оптимални кодови со својство на префикс. Хуфманов алгоритам. Алгоритам на Шенон-Фано-Елијас. Аритметички кодови. (1) Комуникациски канал.
12. Методи на учење Предавања со користење на презентации, интерактивни предавања, вежби (користење на опрема и софтверски пакети), тимска работа, пример случаи, поканети гости предавачи, самостојна изработка и одбрана на проектна задача и семинарска работа.
13. Вкупен расположив фонд на време 6 ЕКТС x 30 часа = 180 часа
14. Распределба на расположивото време 30 + 45 + 15 + 15 + 75 = 180 часа
15. Форми на наставните активности
15.1. Предавања - теоретска настава 30 часови
15.2. Вежби (лабораториски, аудиториски), семинари, тимска работа 45 часови
16. Други форми на активности
16.1. Проектни задачи 15 часови
16.2. Самостојни задачи 15 часови
16.3. Домашно учење 75 часови
17. Начин на оценување
17.1. Тестови 0 бодови
17.2. Семинарска работа / проект ( презентација: писмена и усна) 15 бодови
17.3. Активности и учење 10 бодови
17.4. Завршен испит 90 бодови
18. Критериуми за оценување (бодови/ оценка)
до 50 бода5 (пет) (F)
од 51 до 60 бода6 (шест) (E)
од 61 до 70 бода7 (седум) (D)
од 71 до 80 бода8 (осум) (C)
од 81 до 90 бода9 (девет) (B)
од 91 до 100 бода10 (десет) (A)
19. Услов за потпис и полагање на завршен испит Реализирани активности
20. Јазик на кој се изведува наставата Македонски и англиски
21. Метод на следење на квалитетот на наставата механизам на интерна евалуација и анкети
22. Литература
22.1. Задолжителна литература
1. Верица Бакева | Веројатност | УКИМ | 2015
2. Thomas M. Cover, Joy A. Thomas | Elements of Information Theory | John Wiley & Sons | 2006
3. D.J.C. MacKay | Information Theory, Inference, and Learning Algorithms | Cambridge University Press | 2003
22.2. Дополнителна литература
Ред.бр. Автор Наслов Издавач Година