Subject

Теорија на информации со дигитални комуникации

Course Title

Теорија на информации со дигитални комуникации
Information theory and digital communication

Code

F23L2S164

Study Programme

—

Organizer of the study programme (unit, institute, department or division)

Faculty of Computer Science and Engineering

Degree level (first, second, third cycle)

Прв циклус

Academic year / semester

4 / Летен

Number of ECTS credits

Teacher

Александра Поповска Митровиќ, Верица Бакева

Prerequisites for enrolling in the course

Веројатност и статистика или Математика 3 или Бизнис и статистика

10.

Objectives of the course programme (competences)

Студентите ќе бидат запознаени со квантитативната теорија на информации и нејзината примена во надежни и ефикасни комуникациски системи. Дополнително ќе бидат запознаени со математичкиот модел на комунникацискиот систем.

11.

Course content

1. Дефиниција на случајни процеси. Карактеристики: математичко очекување, почетен момент од ред 1-1. Корелациона функција.
2. Својства на корелациона функција. Видови на стационарност на случајни процеси.
3. Ентропија на случајна променлива. Ентропија на случаен вектор. релативна ентропија. Информација. Верижни правила.
4. Својства на ентропија и информација.
5. Вериги на Марков: дефиниција, својства. стационарност.
6. Рата на ентропија
7. Компресија на податоци: дефиниција на код, несингуларен код, код со својство на префикс, Крафтово неравенство.
8. Оптимални кодови. Хуфманов код. Код на Шенон-Фано-Елијас. Аритметички кодови.
9. Капацитет на канал. Дефиниција. Определување на капацитет на познати канали.
10. Диференцијална ентропија. Гаусов канал.
11. Идеална шема за декодирање за бинарен симетричен канал.
12. Линеарни кодови. Кодови кои откриваат и поправаат грешки.

12.

Learning methods

Предавања поддржани со презентации преку слајдови, интерактивни предавања, вежби (користење на опрема и софтверски пакети), тимска работа, пример случаи, поканети гости предавачи, самостојна изработка и одбрана на проектна задача и семинарска работа, учење во електронско опкружување (форуми, консултации).

13.

Total available time

6 ECTS x 30 hours = 180 hours

14.

Distribution of available time

30 + 45 + 15 + 15 + 75 = 180 часа

15.

Forms of teaching activities

15.1.	Lectures - theoretical instruction	30 hours
15.2.	Exercises (laboratory, auditory), seminars, teamwork	45 hours

16.

Other forms of activities

16.1.	Project assignments	15 часови
16.2.	Independent assignments	15 часови
16.3.	Home study	75 часови

17.

Assessment method

17.1.	Tests	0 points
17.2.	Seminar paper / project (presentation: written and oral)	15 бодови
17.3.	Activities and learning	10 бодови
17.4.	Final exam	90 бодови

18.

Grading criteria (points / grade)

up to 50 points	5 (five) (F)
from 51 to 60 points	6 (six) (E)
from 61 to 70 points	7 (seven) (D)
from 71 to 80 points	8 (eight) (C)
from 81 to 90 points	9 (nine) (B)
from 91 to 100 points	10 (ten) (A)

19.

Requirement for obtaining a signature and taking the final exam

15.1 и 15.2

20.

Language of instruction

Macedonian and English

21.

Method for monitoring the quality of teaching

internal evaluation and survey mechanism

22.

Literature

22.1.	Required literature 1. T.M.Cover \| Elements of Information Theory \| John Wiley&Sons.Inc. \| 1991 2. Ž. Pauše \| Uvod u teoriju informacije \| Školska knjiga, Zagreb 3. D.J.C. MacKay \| Information Theory, Inference, and Learning Algorithms \| Cambridge University Press \| 2003
22.2.	Additional literature No. Author Title Publisher Year