textuell (Wort und Schrift)

visuell (Licht und Farbe)

auditiv (Ton, Klang, Sprache)

taktil (Fühlen von Kräften, Texturen, Temperaturen)

olfaktorisch (Riechen und Schmecken)

Wahrnehmung von Bewegung und Beschleunigung

physikalisch: Dezibel als (logarithmische) Einheit für den Schalldruck → menschliche Wahrnehmung ist nicht linear zur Frequenz

phsychoakustisch: Phon als Einheit für die Lautstärke (Lautstärkeempfinden von Frequenzen im Bezug auf den 1kHz-Sinuston) → kein quantitativer Vergleich von Lautstärken möglich, da Lautstärkeempfinden nicht proportional zu den Phon-Werten ist

Sone (N) als Einheit für die (subjektive!) Lautheit (qualitativer Vergleich von Klangereignissen), 1 sone = 40 Phon

Umrechnung: N = 2^{(L_N - 40) / 10}

tonale Maskierung: schmalbandiger Schall einer bestimmten Intensität löscht Frequenzen geringerer Lautstärke in seinem Frequenzumfeld aus (Mithörschwelle: Grenze, ab der der Ton wahrgenommen wird), Effekt ist abhängig von Frequenz und Schallpegel des Maskierers

temporale Maskierung (Vor- und Nachverdeckung): Maskierung vor (20ms) und nach (200ms) Auftreten des Maskierers

Residuum: Töne von Instrumenten setzen sich aus Grundton und Obertönen (Harmonische, Frequenzen sind ganzzahlige Vielfache des Grundtons) zusammen, filtert man den Grundton heraus, vervollständigt das menschliche Gehör die fehlende(n) Grundschwingung(en) zum ursprünglichen Klangbild

Zapfen: farb-/helligkeitsempfindlich, 3 Typen: A grün, B gelb-rot, C violett, arbeiten bei Tageslicht optimal, Anzahl 6 Millionen

Stäbchen: nur helligkeitsempfindlich, empfindlicher als Zapfen, Anzahl 120 Millionen

bestimmte Detailtiefe wird nicht mehr wahrgenommen

ruhende Objekte werden besser erfasst als sich bewegende

20 Bilder pro Sekunde werden bereits als kontinuierliche Bildfolge wahrgenommen

625 Zeilen, 576 sichtbar

Vertikalfrequenz: 50Hz, Bilddauer 20ms

Horizontalfrequenz: 50 * 312,5 = 15625Hz, Zeilendauer 64 Mikrosekunden

YUV Farbmodell

Bild-Austastung-Synchronisation (BAS)

Bildsignal: analoge Grauwertübertragung einer Bildzeile, Signalbereich 0,7 Volt

Austastungssignal: Signal beim Strahlenrücklauf (horizontal vs. vertikal), Pegel unter Schwarzbereich, in Austastlücke werden Metainformationen übertragen (VPS, Videotext, Prüfsignale)

Synchronisationssignal: dient der Synchronisation jeder Bildzeile/Halbbild, Übertragung in der Austastlücke

additiv: selbstleuchtende Farben (z.B. Fernseh-/Computerbildschirme), RGB, alle Farben zusammen ergeben weiß

subtraktiv: beleuchtete Träger (z.B. Offsetdruck), CMYK, alle Farben zusammen ergeben schwarz

Y = 0,299R + 0,587G + 0,114B

U = (B - Y) * 0,493

V = (R - Y) * 0,877

gelb-grün-Anteil trägt wesentlich zum Helligkeitsempfinden bei

Kameras enthalten Rot-, Grün- und Blaufilter

Farbmonitore enthalten drei Elektronenquellen

BAS → FBAS (F = Farbe): Übertragung der Fardifferenzen in der Austastlücke

NTSC (National Television Systems Committee): 720x485x30, YiQ Farbmodell

PAL (Phase Alternating Line): 720x576x25, YUV Farbmodell

SECAM (sequentiel couleur a memoire): Abwandlung von PAL, YiQ Farbmodell

kontinuierliche, analoge Signale <> diskontinuierliche, diskrete Signale

Generationsverlust <> kein Generationsverlust

Störanfälligkeit im Übertragungskanal <> binäre Übertragung

Computer arbeiten digital

die Bearbeitung und Verarbeitung von Medien in digitaler Form ist einfacher

Datenkompression ist in digitalen Formaten einfacher zu realisieren

Fehlerschutz- und -korrekturmechanismen sind möglich

Kopien sind ohne Generationsverlust durchführbar (entscheidender Punkt!)

liegen als kontinuierliche, analoge, elektrische Signale vor → unendlich viele Werte beliebiger genauer Auflösung

Abtastung zu bestimmten Zeitpunkten und Überführung in diskreten Wertebereich → Digitalisierung

CD-Audio: Abtastrate 44kHz, Auflösung 16bit

Zerlegung des Bildes in Raster bestimmter Auflösung, zeilenweise Abtastung

Auflösung: Anzahl Zeilen und Bildpunkte pro Zeile

Quantisierung: Anzahl der Graustufen pro Pixel

ein Signal x wird durch einen Encoder in ein komprimiertes Signal y gewandelt und durch den Übertragungskanal geschickt

der Empfänger ermittelt mit Hilfe eines Decoders das Ausgangssignal x'

bei verlustloser Kompression werden redundante Informationen gelöscht (Entropiekodierung) und x' entspricht genau x

bei verlustbehafteter Kompression werden irrelevante Informationen gelöscht und x' ist nicht gleich x

minimale Anzahl an bits

Eindeutigkeit / Rekonstruierbarkeit

kleinstmöglicher Unterschied zwischen Eingangs- und Ausgangssignal

Reduktion redundanter Daten <> Reduktion irrelevanter Daten

universell <> an zu komprimierenden Datenstrom angepasst

verlustfrei <> verlustbehaftet

Problem bei Codewörtern ungleicher Länge: Trennzeichen sind nötig oder Verwendung von Prefix-Codes

Huffman-Code als Beispiel für Prefix-Codes

Lauflängencodierung (RLE): nur effektiv wenn Basis des Zahlensystems klein und Anzahl der Wiederholungen (runs) groß ist

Lempel-Ziv-Welch (LZW): alle Symbole werden in das Ausgangswörterbuch geschrieben, dann wird dieses dynamisch vercollständigt

Gruppe der Dekorrelation: Prädiktion und Transformationscodierung

Vorverarbeitung (Zerlegung in Makroblöcke, Umwandlung in YCrCb) → Transformation (DCT) → Quantisierung (der Koeffizienten) → Entropiecodierung (RLE und Huffman)

Zerlegung in Farbkomponenten (YCbCr) mit 8bit für jeden Farbwert, Subsampling 4:2:0 → Farbinformationen können vom menschlichen Auge nicht so gut unterschieden werden wie Helligkeitsinformationen

komplexe Bewegungen wie Rotationen, Skalierungen und Verformungen könnten zwar berechnet werden, das ist aber zu aufwändig, sodass meist nur Verschiebungen von Objekten erkannt werden

schwierige Bildteile werden absolut codiert

Aufteilung des Bildes in 16x16-Blöcke (Kompromiss aus Genauigkeit und Aufwand)

Arten von Frames: I = intraframecodiert, P = Vorwärtsprädiktion, B = bidirektionale Prädiktion

nur der Bitstrom und die Funktionsweise des Decoders wurde spezifiziert, nicht jedoch, wie ein Encoder zum Bitstrom gelangt → Möglichkeiten zur Optimierung durch verschiedene Implementierungen

die Optimierung durch diese Konkurrenz ist beachtlich: 1995 wurden noch 6MBit/s für einen optisch ansprechenden Bitstrom benötigt, heute nur noch 2MBit/s ohne den Decoder wechseln zu müssen

Auflösung ist die Hälfte von PAL: 352x288 oder 352x240 (NTSC)

Bild muss für PAL und NTSC skaliert werden

Systemschicht: Verfahren zum Zusammenfassen der Video- und Audiodaten zu einem gemeinsamen Transportstrom, Organisation in Paketstruktur

Testvorschriften

Software-Referenzmodell

bessere Kompressionsraten bei höherer Bildqualität

Ziel Anpassbarkeit an unterschiedliche Medien und Übertragungsgeschwindigkeiten

1998 verabschiedet

abwärtskompatibel zu MPEG1

Levels: heben die starre Bildauflösung auf und ermöglichen höhere Auflösungen (bis zu 1920x1152)

Farbsubsampling kann variiert werden: 4:2:0, 4:2:2, 4:4:4

es können auch Halbbilder übertragen werden

Audio: AAC, 5.1

Ziel: objektorientiertes Format mit Fokus auf interaktive Inhalte, synthetisch erzeugte Inhalte (Animationen) und Streaming

universeller Codec für synthetische und natürliche Inhalte und nahezu alle Speicher- und Übertragungskanäle

unterstützt interaktive, multimediale Computersysteme

ermöglicht Kombination von synthetischen und natürlichen Szenen

unterstützt Multiperspektiven

Objektorientierung: Information wird segmentiert und als Aufbau von Objekten verstanden, z.B. Hintergrund und Vordergrund können unterschieden werden → Compositings, wichtige Bildinhalte werden schwächer komprimiert, Alphamasken grenzen Objekt zu ihrer Umgebung ab

Sprache kann durch Sprachsynthese und MIDI-Daten codiert werden

Optimierung der Videokompression: Bewegungsschätzung im Viertelpixel-Bereich, Block-Matching kann durch globale Bewegungsschätzung ersetzt werden, Luminanz- und Farbcodierung sind mit frei wählbaren Quantisierungstabellen belegbar

eigener Objekttyp für Hintergründe, der größer sein kann als das sichtbare Bild und verschoben werden kann

MPEG1: Video auf CD-ROM, VHS-Qualität, 1,5MBit/s

MPEG2: TV/HDTV/DVD, Qualitätsprofile, 4-8MBit/s

MPEG4: universelle Anwendung, objektbasiert, 5kBit/s-4MBit/s

Maskierungen und die Tatsache, dass Menschen komplexe Schallsignale in Gruppen wahrnehmen, führen zu 24 kritischen Frequenzbändern im Bereich zwischen 16Hz und 16kHz mit ungleicher Breite (ansteigend mit Frequenz)

MP3 verwendet 32 gleichmäßige Frequenzbänder mit 6 oder 18 möglichen Subbändern (je nach Filterbank)

Ermittlung des Leistungsdichtespektrums und der Frequenz des Spitzenpegels im Band → Maskierungsschwelle

das Ergebnis geht in die Quantisierung und Codierung der Teilfrequenzbänder ein (Mono und Stereo bis zu 224kbit/s)

das Verfahren ist stark asymmetrisch (Decodierung ist weniger aufwändig als Codierung)

Joint Stereo: Mono-Summensignal und Differenzsignale mit Panoramaschwankungen

Intensity Stereo: verlustbehaftet, untere Frequenzbereiche (Bässe) werden mono-codiert da die Ortung durch das menschliche Ohr schlecht ist

33, 44.1, 48kHz

32-224kbit/s

MPEG2 und 4

5.1-Kanäle

geringere Bandbreiten (8kbit/s) und Abtastraten (16kHz) möglich

vergleichbare Qualität zu MP3 mit 70% der Bitrate

nicht abwärtskompatibel zu MP3

Aufteilung des Signals in 1024 Teilbänder und Transformation mittels DCT

Rückwärtsprädiktion verringert die Codewortlängen

Mehrkanalcodierung (M/S): Monosignal und Differenz der Stereomitte in weiteren Kanälen

Quantisierung durch Gleitkomma-Quantisierung führt zu konstanterem SNR

Ein Algorithmus ist eine eindeutige Abbildung.

Zu jedem Zeitpunkt ist der nachfolgende Abarbeitungsschritt eines Algorithmus eindeutig festgelegt.

lückenloser Zusammenhang, Stetigkeit, stetige Werte

räumliche oder zeitliche Trennung von Objekten oder Ereignissen

Eine Periode ist die kleinste Zeitdauer einer sich wiederholenden physikalischen Erscheinung.

Kehrwert der Periode

Zeitabhängigkeit der veränderlichen Zustandsgrößen ist sinusförmig.

t und F sind unabhängig von Amplitude.

Existenz eines Grenzwertes bei einer Folge

Gebilde mit hoher Selbstähnlichkeit (Beispiel: Mandelbrot-Menge)

Beziehung zwischen zwei oder mehr statistischen Variablen (nicht zwingend kausal).