فهرست مندرجات
نظریه اطلاعات - نیم‌سال دوم ۱۴۰۰
| مدرس | ایمیل |
|---|---|
| امین امین‌زاده گوهری | amin.aminzadeh@gmail.com |
| جواد ابراهیمی بروجنی | javad.ebrahimi@gmail.com |
توضیحات درس
توصیف درس
هدف این درس، درک مفاهیم اصلی نظریه اطلاعات و آشنایی با کاربردهای این شاخه در دیگر بخش های ریاضی و علوم کامپیوتر است. این یک درس نظری است و تمرین های عملی نخواهیم داشت.
سرفصل‌های تقریبی:
تعریف آنتروپی شانون به عنوان پایه ای ترین مفهوم نظریه اطلاعات
ارتباط مفهوم آنتروپی با فشرده سازی اطلاعات - نامساوی کرافت-تولید دنباله های تصادفی با استفاده از سکه همگن
آنتروپی توأم و آنتروپی شرطی - قواعد زنجیره ای
لم شیرر و کاربردهای آن در ترکیبیات
آنتروپی گراف ها و ارتباط با عدد رنگی گراف
آنتروپی متقابل - نامساوی های ینسن - مجموع لگاریتمی -فانو و پردازش داده ها.
نرخ آنتروپی یک فرآیند تصادفی، آنتروپی و قدم زدن تصادفی-نرخ آنتروپی فرایند مارکوف
اطلاعات متقابل - اطلاعات متقابل شرطی - قواعد زنجیره ای
کدگذاری بدون خطا و ظرفیت شانون گرافها
خاصیت افراز مجانبی یکنواخت و کاربردهای آنها - قضیه کدگذاری شانون و عکس قضیه کدگذاری
کاربردهای نظریه احتمالات در آمار، روش گونه ها - قضیه سانوف - قضیه چرنوف استین - قضیه اعداد بزرگ و نظریه انحرافات بزرگ
آنتروپی تفاضلی - AEP برای متغیرهای تصادفی پیوسته - ارتباط با متغیر های تصادفی گسسته
آنتروپی بیشینه - تخمین طیف - قضیه آنتروپی بیشینه برگ
پیش‌نیازها
پیش نیاز علمی اصلی در این درس، نظریه احتمال است. گذراندن دروسی در آمار و ترکیبیات کمک کننده است ولی الزامی نیست.
منابع درس
نحوه‌ی ارائه‌ی کلاس
کلاس به صورت مجازی ارائه خواهد شد.
نحوه ارزش‌یابی
- تمرین: ۵ سری - هر سری ۲ نمره
- پایان‌ترم: ۱۰ نمره
کلاس حل تمرین
زمان بندی کلاس حل تمرین و رفع اشکال پس از شروع کلاسها انجام خواهد شد.