بازگشت به بلاگ
DemultiplexingDemuxing

Demultiplexing و Demuxing چیست؟ تأثیر دموکسینگ در استریم ویدیو

دوریفای۱۱ دقیقه زمان برای مطالعه
Demultiplexing و Demuxing چیست؟ تأثیر دموکسینگ در استریم ویدیو
Demultiplexing و Demuxing چیست؟ تأثیر دموکسینگ در استریم ویدیو

Demultiplexing و Demuxing چیست؟ تأثیر دموکسینگ در استریم ویدیو

یک فایل یا جریان ویدیویی می‌تواند هم‌زمان تصویر، چند زبان صوتی، زیرنویس و متادیتا را حمل کند. پخش‌کننده نمی‌تواند این دادهٔ ترکیبی را مستقیماً به دیکودر بدهد. Demultiplexing یا Demuxing، که در فارسی به دمولتی‌پلکسینگ یا دموکسینگ هم شناخته می‌شود، ساختار کانتینر را می‌خواند، ترک‌ها را تشخیص می‌دهد و هر جریان را برای پردازش بعدی جدا می‌کند. این مرحله بر انتخاب زبان صدا، تشخیص تصویر و حفظ زمان‌بندی صدا و تصویر اثر می‌گذارد.

در Muxing چند جریان در یک کانتینر قرار می‌گیرند؛ Demuxing همان کانتینر را باز می‌خواند و جریان‌های درون آن را تفکیک می‌کند. این کار صرفاً جدا کردن چند فایل نیست. دموکسر باید جدول‌ها، شناسه‌ها، بسته‌ها و timestampها را تفسیر کند. خطا در این مرحله می‌تواند ترک گم‌شده، تأخیر در شروع پخش، ناهماهنگی صدا و تصویر یا توقف پخش ایجاد کند.

دموکسینگ چه چیزی را جدا می‌کند؟

یک کانتینر مانند MP4، MKV یا MPEG-TS می‌تواند چند elementary stream را حمل کند: ویدیوی H.264/AVC یا HEVC، صدای AAC یا Opus، زیرنویس، داده‌های زمان‌بندی و گاهی پیام‌های SCTE-35. دموکسر ساختار کانتینر را parse می‌کند، نمونه‌ها یا بسته‌های متعلق به هر ترک را تشخیص می‌دهد و آن‌ها را به مسیر مناسب می‌فرستد.

برای نمونه، یک MP4 ممکن است یک ترک ویدیوی H.264، دو ترک صوتی فارسی و انگلیسی و یک ترک زیرنویس WebVTT داشته باشد. دموکسر تعیین می‌کند هر sample به کدام ترک تعلق دارد و PTS/DTS آن چیست. دیکودر بعد از آن فقط bitstream صوتی یا ویدیوییِ مربوط به خودش را دریافت می‌کند.

می‌توان Muxing را بسته‌بندی چند قلم رسانه در یک جعبهٔ برچسب‌دار دانست. دموکسر جعبه را باز می‌کند، برچسب‌ها را می‌خواند و هر قلم را با ترتیب درست به بخش بعدی زنجیره می‌فرستد.

تفاوت Demuxing با decoding، transcoding و transmuxing

این اصطلاح‌ها در طراحی pipeline و عیب‌یابی، کارکردهای جداگانه‌ای دارند.

فرایندکار اصلیآیا codec تغییر می‌کند؟نمونه
Demuxingاستخراج ترک‌ها از کانتینرخیرخواندن AAC و H.264 از MPEG-TS
Decodingتبدیل bitstream فشرده به فریم یا نمونهٔ خامخیر، اما فشرده‌سازی باز می‌شودتبدیل H.264 به فریم‌های قابل‌رندر
Transcodingdecode و سپس encode با تنظیمات تازهبله یا تنظیمات آن تغییر می‌کندتبدیل H.264 با وضوح 1080p به H.264 با وضوح 720p و bitrate کمتر
Transmuxingجابه‌جایی جریان میان کانتینرهامعمولاً خیرتبدیل MPEG-TS به fMP4 بدون re-encode

Demuxing پیش از decoding قرار می‌گیرد، ولی فشرده‌سازی ویدیو را باز نمی‌کند. اگر جریان‌های H.264 و AAC را از TS بردارید و در fMP4 قرار دهید، معمولاً transmuxing انجام داده‌اید. وقتی فقط کانتینر تغییر می‌کند، این مسیر معمولاً به پردازش کمتری از transcoding نیاز دارد.

دموکسینگ در مسیر واقعی استریم ویدیو

در سمت سرور، ورودی RTMP، SRT یا MPEG-TS ممکن است ابتدا demux شود تا ترک‌ها برای بررسی، transcoding یا بسته‌بندی آماده شوند. خروجی می‌تواند در renditionهای مختلف ساخته و با HLS یا MPEG-DASH منتشر شود.

ورودی زنده یا فایل → demux → decode یا stream copy → پردازش یا encode → mux یا package → HLS/DASH → پلیر → demux → decode → نمایش

در پلیر نیز دموکسینگ رخ می‌دهد. پلیر segment را دانلود می‌کند، کانتینر را می‌خواند، نمونه‌های صوت و تصویر را جدا می‌کند و آن‌ها را با timestamp مناسب به دیکودر می‌سپارد. در مرورگر، کتابخانه‌هایی مانند hls.js یا mpegts.js ممکن است بخشی از این کار را انجام دهند و خروجی را به Media Source Extensions (MSE) و SourceBufferهای صوت و ویدیو برسانند.

در پخش زنده، میزان داده‌ای که برای شناسایی جریان خوانده می‌شود روی زمان شروع پخش اثر دارد. مستندات FFmpeg نیز توضیح می‌دهد که افزایش probesize یا analyzeduration می‌تواند اطلاعات دقیق‌تری از جریان پیدا کند، اما latency را بالا می‌برد. کم بودن دادهٔ اولیه هم ممکن است به تشخیص نادرست codec یا ترک منجر شود.

MPEG-TS Demuxing چگونه کار می‌کند؟

MPEG Transport Stream در broadcast و برخی جریان‌های HLS کاربرد دارد. هر TS packet معمولاً ۱۸۸ بایت است و یک PID یا Packet Identifier دارد. PID به دموکسر می‌گوید هر بسته به کدام برنامه یا جریان مربوط است.

دموکسر برای پیدا کردن مسیرها از جدول‌های سیگنالینگ استفاده می‌کند:

  • PAT یا Program Association Table محل اطلاعات هر program را معرفی می‌کند.
  • PMT یا Program Map Table، PIDهای ویدیو، صدا، زیرنویس و داده‌های program را مشخص می‌کند.
  • PES یا Packetized Elementary Stream، بخش‌های جریان فشرده را در چند TS packet حمل می‌کند.
  • PCR یا Program Clock Reference به هم‌راستا ماندن ساعت فرستنده و گیرنده کمک می‌کند.
  • PTS/DTS زمان ارائه و زمان decode نمونه‌ها را نشان می‌دهند.

یک TS demuxer ابتدا PAT و PMT را پیدا می‌کند، PIDهای موردنیاز را ثبت می‌کند، بسته‌های هر PID را جدا می‌سازد و PESهای تکه‌تکه را دوباره کنار هم می‌گذارد. سپس H.264، HEVC، AAC یا codec دیگر را همراه timestamp به دیکودر می‌دهد. در MPTS که چند کانال را حمل می‌کند، انتخاب program درست ضروری است؛ انتخاب اشتباه می‌تواند تصویر یک کانال را با صدای کانالی دیگر همراه کند.

دموکسینگ sync را تولید نمی‌کند، اما timestampها را حفظ و منتقل می‌کند. PTSهای پرش‌دار، PCR نامعتبر یا گم شدن packetها می‌تواند باعث تکرار یا حذف فریم و جلو یا عقب افتادن صدا شود.

MP4، fMP4، HLS و DASH چه تفاوتی ایجاد می‌کنند؟

در MP4 یا ISO Base Media File Format، ساختار کانتینر اطلاعات ترک‌ها و زمان‌بندی آن‌ها را نگه می‌دارد. در MP4 معمولی، اطلاعات اولیهٔ فایل اغلب در boxهایی مانند moov قرار دارند. در fragmented MP4 یا fMP4، داده‌ها در fragmentهایی مانند moof و mdat می‌آیند و برای تحویل تدریجی رسانه مناسب‌اند.

HLS یک روش تحویل رسانه است، نه codec یا demuxer. بر اساس RFC 8216، segmentهای HLS می‌توانند MPEG-TS باشند و نسخه‌های fMP4 نیز در این اکوسیستم به‌کار می‌روند. یک master playlist می‌تواند renditionهای ویدیویی با bitrateهای گوناگون و playlistهای صوتی مستقل برای زبان‌های مختلف معرفی کند. پلیر ممکن است segment صوت و ویدیو را جداگانه دریافت و برای هرکدام دموکس انجام دهد.

در MPEG-DASH نیز representationهای جدا برای کیفیت، زبان یا نوع رسانه می‌توانند وجود داشته باشند. این ساختار به پلیر اجازه می‌دهد کیفیت ویدیو را تغییر دهد، در حالی که انتخاب صوت را جداگانه مدیریت می‌کند. هماهنگی segmentها، init segment و timestampها همچنان لازم است.

در محتوای DRMدار، دموکسر نمونهٔ رمزگذاری‌شده و اطلاعات مرتبط را از کانتینر استخراج می‌کند، اما رمزگشایی معمولاً مسئولیت مسیر DRM/EME و ماژول رمزگشایی مجاز است. demuxing و decryption دو مرحلهٔ یکسان نیستند.

اثر دمولتی‌پلکسینگ ویدیو بر تجربهٔ پخش

کاربر نتیجهٔ دموکسینگ را در چند جای مشخص می‌بیند:

  • همگام‌سازی صدا و تصویر: انتقال درست PTS/DTS به حفظ lip-sync کمک می‌کند.
  • انتخاب ترک: زبان صوتی، زیرنویس، caption و audio description باید از metadata درست شناخته شوند.
  • شروع پخش: دسترسی به اطلاعات ترک و codec برای رسیدن به اولین فریم اهمیت دارد.
  • پایداری پخش زنده: مدیریت discontinuity، packet loss و timestamp reset از پرش یا توقف پخش جلوگیری می‌کند.
  • هزینهٔ پردازش: اگر فقط تغییر کانتینر لازم باشد، stream copy یا transmuxing می‌تواند جای transcoding را بگیرد.

دموکسینگ در تحلیل جریان هم مفید است. یک سرویس مانیتورینگ می‌تواند ترک‌های صوتی، وجود زیرنویس، bitrate هر جریان و مارکرهای SCTE-35 را بررسی کند، بی‌آنکه همهٔ ویدیو را decode کند.

مشاهده و جداسازی streamها با FFmpeg

پیش از هر تغییر، ساختار ورودی را با ffprobe ببینید. این دستور streamها و ویژگی‌های اصلی آن‌ها را گزارش می‌کند:

ffprobe -v error -show_programs -show_streams \\
  -of json input.ts

در خروجی به codec_type، codec_name، index، id یا PID، time_base و start_time توجه کنید. در MPEG-TS، program و PIDها برای تشخیص کانال و انتخاب ترک مفیدند. در MP4، language tag و disposition نیز در انتخاب صدای پیش‌فرض یا زیرنویس نقش دارند.

برای خارج کردن نخستین ترک ویدیو و همهٔ ترک‌های صوتی، بدون decode و encode مجدد، می‌توانید از map و stream copy استفاده کنید:

ffmpeg -i input.ts \\
  -map 0:v:0 -c:v copy video.h264 \\
  -map 0:a -c:a copy audio_%02d.aac

این دستور به سازگاری codec و خروجی وابسته است. -c copy کیفیت را تغییر نمی‌دهد. FFmpeg جریان‌ها را می‌خواند و، بسته به خروجی، آن‌ها را در کانتینر تازه قرار می‌دهد یا به‌صورت elementary stream استخراج می‌کند. اگر مقصد MP4 است، از کانتینری استفاده کنید که با codecهای ورودی سازگار باشد:

ffmpeg -i input.ts -map 0:v:0 -map 0:a:0 -c copy output.mp4

خروجی را با ffprobe بررسی کنید و روی پلیر هدف آزمایش کنید. سازگاری کانتینر و codec قطعی نیست؛ ممکن است codec، extradata، timestamp یا bitstream ورودی به تنظیم بیشتری نیاز داشته باشد.

چک‌لیست عیب‌یابی خطاهای demuxer

وقتی یک جریان در پلیر باز نمی‌شود، مشکل را فقط به encoder نسبت ندهید. این موارد را به ترتیب بررسی کنید:

  1. آیا ترک مورد انتظار وجود دارد؟ با ffprobe -show_streams تعداد، نوع، زبان و codec ترک‌ها را ببینید.
  2. آیا PAT و PMT درست و به‌موقع تکرار می‌شوند؟ در TS زنده، خرابی یا تأخیر آن‌ها کشف PIDها را مختل می‌کند.
  3. آیا PID درست انتخاب شده است؟ در MPTS، program یا audio PID نادرست می‌تواند صدای نامرتبط ایجاد کند.
  4. آیا continuity counter یا packet loss وجود دارد؟ گم شدن packet ممکن است PES را ناقص کند و به macroblocking، قطع صدا یا خطای parse برسد.
  5. آیا PTS/DTS پیوسته و منطقی‌اند؟ timestamp منفی، جهش ناگهانی یا ناهماهنگی صوت و ویدیو از علت‌های رایج desync هستند.
  6. آیا دستگاه مقصد codec را پشتیبانی می‌کند؟ موفقیت demux به‌معنای موفقیت decode یا نمایش نیست.
  7. آیا init segment و media segment در fMP4 سازگارند؟ نبودن یا تغییر نامعتبر initialization می‌تواند SourceBuffer مرورگر را به خطا بیندازد.
  8. آیا playlist یک discontinuity را اعلام کرده است؟ در HLS، تغییر timeline یا پارامترهای encoding باید درست علامت‌گذاری و مدیریت شود.

برای مشاهدهٔ هشدارهای FFmpeg می‌توانید از این دستور استفاده کنید:

ffmpeg -loglevel warning -i input.ts -f null -

پیام خطا را همراه چند ثانیه از جریان، زمان رخداد و اطلاعات codec ثبت کنید. عبارت «demuxer error» به‌تنهایی علت را روشن نمی‌کند. باید مشخص شود مسئله در خواندن کانتینر، تشخیص ترک، timestamp یا decode پس از آن رخ داده است.

نکات پیاده‌سازی قابل‌اعتماد

در ingest زنده، اطلاعات سیگنالینگ TS و keyframeهای لازم برای پیوستن به پخش را با الگوی تکرار قابل‌اعتماد منتشر کنید. timestampها را در renditionها هم‌راستا نگه دارید و بعد از restart، splice یا تغییر منبع، discontinuity را صریح اعلام کنید. در خروجی HLS/DASH، renditionهای صوت و زیرنویس را با metadata زبان و نقش درست برچسب بزنید تا انتخاب کاربر حفظ شود.

در سمت پلیر، demux، decrypt و decode را مسئولیت‌های جدا در نظر بگیرید. buffer را فقط با اندازه‌اش نسنجید. duration، فاصلهٔ timestampها، مرز segment و تغییر rendition را نیز پایش کنید. آزمون با چند زبان صوتی، زیرنویس، شبکهٔ ناپایدار و دستگاه‌های هدف، خطاهایی را آشکار می‌کند که در آزمایش ساده دیده نمی‌شوند.

پرسش‌های متداول

آیا Demuxing همان استخراج صدا از ویدیو است؟

خیر. استخراج صدا یکی از کاربردهای آن است. demuxer می‌تواند ویدیو، چند ترک صوتی، زیرنویس، دادهٔ تبلیغاتی و metadata را از یک کانتینر جدا کند و ترتیب زمانی آن‌ها را نگه دارد.

تفاوت muxing و demuxing چیست؟

Muxing چند elementary stream را در یک کانتینر یا transport stream ترکیب می‌کند. Demuxing کانتینر را می‌خواند و جریان‌های تشکیل‌دهندهٔ آن را برای decoder، analyzer یا muxer بعدی تفکیک می‌کند.

آیا demuxing باعث افت کیفیت ویدیو می‌شود؟

خیر. خود demuxing ساختار کانتینر را باز می‌خواند و bitstream فشرده را تغییر نمی‌دهد. افت کیفیت ممکن است هنگام decode و encode دوباره با تنظیمات دیگر رخ دهد، یعنی زمانی که transcoding انجام می‌شود.

چرا بعد از demux، صدا و تصویر sync نیستند؟

timestampهای نادرست یا ناپیوسته، packet loss، انتخاب ترک اشتباه و مدیریت نادرست discontinuity از علت‌های رایج‌اند. PTS/DTS، PCR و گزارش demuxer را بررسی کنید؛ سپس decode و buffer پلیر را جداگانه ارزیابی کنید.

آیا HLS و DASH به demuxer نیاز دارند؟

بله. playlist تعیین می‌کند چه segmentهایی دریافت شوند. پس از دانلود، پلیر یا کتابخانهٔ آن باید کانتینر segment را parse کند و sampleهای صوت و تصویر را به decoder یا MSE برساند. جزئیات این کار به TS، fMP4 یا قالب segment وابسته است.

منابع فنی

راه‌اندازی رایگان سایت آموزشی با دوریفای

با دوریفای، بدون درگیری فنی آکادمی آنلاین خودتان را بسازید؛ دوره‌های امن و رمزگذاری‌شده بفروشید، با درگاه دوریفای پرداخت‌ها را دریافت کنید و روی آموزش تمرکز داشته باشید. شروع

مطالب پیشنهادی