Subject

Основи на теоријата на информации

Course Title

Основи на теоријата на информации
Foundations of Information Theory

Code

F23L2W067

Study Programme

Интернет, мрежи и безбедност

Organizer of the study programme (unit, institute, department or division)

Faculty of Computer Science and Engineering

Degree level (first, second, third cycle)

Прв циклус

Academic year / semester

3 / Зимски

Number of ECTS credits

Teacher

Александра Поповска Митровиќ, Верица Бакева

Prerequisites for enrolling in the course

Калкулус 1 или Математика 1

10.

Objectives of the course programme (competences)

Студентите ќе бидат запознати со основите на теорија на веројатност, а потоа и основните поими од теорија на информации и нејзината примена во реални комуникациски системи.

11.

Course content

(1) Елементи од комбинаторика. Веројатност на случајни настани. Својства на веројатности. (1) Дискретен простор на веројатност. Класична дефиниција. Условна веројатност. Баесово правило. (1) Независност на случајни настани. Бернулиева шема.
(2) Дискретни и непрекинати распределби. (1) Случајни вектори: маргинални и условни распределби. Функции од случајни променливи. (1) Бројни карактеристики на случајни променливи: математичко очекување, дисперзија на случајна променлива, коефициент на корелација помеѓу две случајни променливи. Централна гранична теорема. (2) Ентропија и инфомација
(3) Компресија на податоци: оптимални кодови со својство на префикс. Хуфманов алгоритам. Алгоритам на Шенон-Фано-Елијас. Аритметички кодови. (1) Комуникациски канал.

12.

Learning methods

Предавања со користење на презентации, интерактивни предавања, вежби (користење на опрема и софтверски пакети), тимска работа, пример случаи, поканети гости предавачи, самостојна изработка и одбрана на проектна задача и семинарска работа.

13.

Total available time

6 ECTS x 30 hours = 180 hours

14.

Distribution of available time

30 + 45 + 15 + 15 + 75 = 180 часа

15.

Forms of teaching activities

15.1.	Lectures - theoretical instruction	30 hours
15.2.	Exercises (laboratory, auditory), seminars, teamwork	45 hours

16.

Other forms of activities

16.1.	Project assignments	15 часови
16.2.	Independent assignments	15 часови
16.3.	Home study	75 часови

17.

Assessment method

17.1.	Tests	0 points
17.2.	Seminar paper / project (presentation: written and oral)	15 бодови
17.3.	Activities and learning	10 бодови
17.4.	Final exam	90 бодови

18.

Grading criteria (points / grade)

up to 50 points	5 (five) (F)
from 51 to 60 points	6 (six) (E)
from 61 to 70 points	7 (seven) (D)
from 71 to 80 points	8 (eight) (C)
from 81 to 90 points	9 (nine) (B)
from 91 to 100 points	10 (ten) (A)

19.

Requirement for obtaining a signature and taking the final exam

Реализирани активности

20.

Language of instruction

Macedonian and English

21.

Method for monitoring the quality of teaching

internal evaluation and survey mechanism

22.

Literature

22.1.	Required literature 1. Верица Бакева \| Веројатност \| УКИМ \| 2015 2. Thomas M. Cover, Joy A. Thomas \| Elements of Information Theory \| John Wiley & Sons \| 2006 3. D.J.C. MacKay \| Information Theory, Inference, and Learning Algorithms \| Cambridge University Press \| 2003
22.2.	Additional literature No. Author Title Publisher Year