textuell (Wort und Schrift)

visuell (Licht und Farbe)

auditiv (Ton, Klang, Sprache)

taktil (Fühlen von Kräften, Texturen, Temperaturen)

olfaktorisch (Riechen und Schmecken)

Wahrnehmung von Bewegung und Beschleunigung

physikalisch: Dezibel als (logarithmische) Einheit für den Schalldruck → menschliche Wahrnehmung ist nicht linear zur Frequenz

phsychoakustisch: Phon als Einheit für die Lautstärke (Lautstärkeempfinden von Frequenzen im Bezug auf den 1kHz-Sinuston) → kein quantitativer Vergleich von Lautstärken möglich, da Lautstärkeempfinden nicht proportional zu den Phon-Werten ist

Sone (N) als Einheit für die (subjektive!) Lautheit (qualitativer Vergleich von Klangereignissen), 1 sone = 40 Phon

Umrechnung: N = 2^{(L_N - 40) / 10}

tonale Maskierung: schmalbandiger Schall einer bestimmten Intensität löscht Frequenzen geringerer Lautstärke in seinem Frequenzumfeld aus (Mithörschwelle: Grenze, ab der der Ton wahrgenommen wird), Effekt ist abhängig von Frequenz und Schallpegel des Maskierers

temporale Maskierung (Vor- und Nachverdeckung): Maskierung vor (20ms) und nach (200ms) Auftreten des Maskierers

Residuum: Töne von Instrumenten setzen sich aus Grundton und Obertönen (Harmonische, Frequenzen sind ganzzahlige Vielfache des Grundtons) zusammen, filtert man den Grundton heraus, vervollständigt das menschliche Gehör die fehlende(n) Grundschwingung(en) zum ursprünglichen Klangbild

Zapfen: farb-/helligkeitsempfindlich, 3 Typen: A grün, B gelb-rot, C violett, arbeiten bei Tageslicht optimal, Anzahl 6 Millionen

Stäbchen: nur helligkeitsempfindlich, empfindlicher als Zapfen, Anzahl 120 Millionen

bestimmte Detailtiefe wird nicht mehr wahrgenommen

ruhende Objekte werden besser erfasst als sich bewegende

20 Bilder pro Sekunde werden bereits als kontinuierliche Bildfolge wahrgenommen

625 Zeilen, 576 sichtbar

Vertikalfrequenz: 50Hz, Bilddauer 20ms

Horizontalfrequenz: 50 * 312,5 = 15625Hz, Zeilendauer 64 Mikrosekunden

YUV Farbmodell

Bild-Austastung-Synchronisation (BAS)

Bildsignal: analoge Grauwertübertragung einer Bildzeile, Signalbereich 0,7 Volt

Austastungssignal: Signal beim Strahlenrücklauf (horizontal vs. vertikal), Pegel unter Schwarzbereich, in Austastlücke werden Metainformationen übertragen (VPS, Videotext, Prüfsignale)

Synchronisationssignal: dient der Synchronisation jeder Bildzeile/Halbbild, Übertragung in der Austastlücke

additiv: selbstleuchtende Farben (z.B. Fernseh-/Computerbildschirme), RGB, alle Farben zusammen ergeben weiß

subtraktiv: beleuchtete Träger (z.B. Offsetdruck), CMYK, alle Farben zusammen ergeben schwarz

Y = 0,299R + 0,587G + 0,114B

U = (B - Y) * 0,493

V = (R - Y) * 0,877

gelb-grün-Anteil trägt wesentlich zum Helligkeitsempfinden bei

Kameras enthalten Rot-, Grün- und Blaufilter

Farbmonitore enthalten drei Elektronenquellen

BAS → FBAS (F = Farbe): Übertragung der Fardifferenzen in der Austastlücke

NTSC (National Television Systems Committee): 720x485x30, YiQ Farbmodell

PAL (Phase Alternating Line): 720x576x25, YUV Farbmodell

SECAM (sequentiel couleur a memoire): Abwandlung von PAL, YiQ Farbmodell

kontinuierliche, analoge Signale <> diskontinuierliche, diskrete Signale

Generationsverlust <> kein Generationsverlust

Störanfälligkeit im Übertragungskanal <> binäre Übertragung

Computer arbeiten digital

die Bearbeitung und Verarbeitung von Medien in digitaler Form ist einfacher

Datenkompression ist in digitalen Formaten einfacher zu realisieren

Fehlerschutz- und -korrekturmechanismen sind möglich

Kopien sind ohne Generationsverlust durchführbar (entscheidender Punkt!)

liegen als kontinuierliche, analoge, elektrische Signale vor → unendlich viele Werte beliebiger genauer Auflösung

Abtastung zu bestimmten Zeitpunkten und Überführung in diskreten Wertebereich → Digitalisierung

CD-Audio: Abtastrate 44kHz, Auflösung 16bit

Zerlegung des Bildes in Raster bestimmter Auflösung, zeilenweise Abtastung

Auflösung: Anzahl Zeilen und Bildpunkte pro Zeile

Quantisierung: Anzahl der Graustufen pro Pixel

ein Signal x wird durch einen Encoder in ein komprimiertes Signal y gewandelt und durch den Übertragungskanal geschickt

der Empfänger ermittelt mit Hilfe eines Decoders das Ausgangssignal x'

bei verlustloser Kompression werden redundante Informationen gelöscht (Entropiekodierung) und x' entspricht genau x

bei verlustbehafteter Kompression werden irrelevante Informationen gelöscht und x' ist nicht gleich x

minimale Anzahl an bits

Eindeutigkeit / Rekonstruierbarkeit

kleinstmöglicher Unterschied zwischen Eingangs- und Ausgangssignal

Reduktion redundanter Daten <> Reduktion irrelevanter Daten

universell <> an zu komprimierenden Datenstrom angepasst

verlustfrei <> verlustbehaftet

Problem bei Codewörtern ungleicher Länge: Trennzeichen sind nötig oder Verwendung von Prefix-Codes

Huffman-Code als Beispiel für Prefix-Codes

Lauflängencodierung (RLE): nur effektiv wenn Basis des Zahlensystems klein und Anzahl der Wiederholungen (runs) groß ist

Lempel-Ziv-Welch (LZW): alle Symbole werden in das Ausgangswörterbuch geschrieben, dann wird dieses dynamisch vercollständigt

Gruppe der Dekorrelation: Prädiktion und Transformationscodierung

Vorverarbeitung (Zerlegung in Makroblöcke, Umwandlung in YCrCb) → Transformation (DCT) → Quantisierung (der Koeffizienten) → Entropiecodierung (RLE und Huffman)

Zerlegung in Farbkomponenten (YCbCr) mit 8bit für jeden Farbwert, Subsampling 4:2:0 → Farbinformationen können vom menschlichen Auge nicht so gut unterschieden werden wie Helligkeitsinformationen

komplexe Bewegungen wie Rotationen, Skalierungen und Verformungen könnten zwar berechnet werden, das ist aber zu aufwändig, sodass meist nur Verschiebungen von Objekten erkannt werden

schwierige Bildteile werden absolut codiert

Aufteilung des Bildes in 16x16-Blöcke (Kompromiss aus Genauigkeit und Aufwand)

Arten von Frames: I = intraframecodiert, P = Vorwärtsprädiktion, B = bidirektionale Prädiktion

nur der Bitstrom und die Funktionsweise des Decoders wurde spezifiziert, nicht jedoch, wie ein Encoder zum Bitstrom gelangt → Möglichkeiten zur Optimierung durch verschiedene Implementierungen

die Optimierung durch diese Konkurrenz ist beachtlich: 1995 wurden noch 6MBit/s für einen optisch ansprechenden Bitstrom benötigt, heute nur noch 2MBit/s ohne den Decoder wechseln zu müssen

Auflösung ist die Hälfte von PAL: 352x288 oder 352x240 (NTSC)

Bild muss für PAL und NTSC skaliert werden

Systemschicht: Verfahren zum Zusammenfassen der Video- und Audiodaten zu einem gemeinsamen Transportstrom, Organisation in Paketstruktur

Testvorschriften

Software-Referenzmodell

bessere Kompressionsraten bei höherer Bildqualität

Ziel Anpassbarkeit an unterschiedliche Medien und Übertragungsgeschwindigkeiten

1998 verabschiedet

abwärtskompatibel zu MPEG1

Levels: heben die starre Bildauflösung auf und ermöglichen höhere Auflösungen (bis zu 1920x1152)

Farbsubsampling kann variiert werden: 4:2:0, 4:2:2, 4:4:4

es können auch Halbbilder übertragen werden

Audio: AAC, 5.1

Ziel: objektorientiertes Format mit Fokus auf interaktive Inhalte, synthetisch erzeugte Inhalte (Animationen) und Streaming

universeller Codec für synthetische und natürliche Inhalte und nahezu alle Speicher- und Übertragungskanäle

unterstützt interaktive, multimediale Computersysteme

ermöglicht Kombination von synthetischen und natürlichen Szenen

unterstützt Multiperspektiven

Objektorientierung: Information wird segmentiert und als Aufbau von Objekten verstanden, z.B. Hintergrund und Vordergrund können unterschieden werden → Compositings, wichtige Bildinhalte werden schwächer komprimiert, Alphamasken grenzen Objekt zu ihrer Umgebung ab

Sprache kann durch Sprachsynthese und MIDI-Daten codiert werden

Optimierung der Videokompression: Bewegungsschätzung im Viertelpixel-Bereich, Block-Matching kann durch globale Bewegungsschätzung ersetzt werden, Luminanz- und Farbcodierung sind mit frei wählbaren Quantisierungstabellen belegbar

eigener Objekttyp für Hintergründe, der größer sein kann als das sichtbare Bild und verschoben werden kann

MPEG1: Video auf CD-ROM, VHS-Qualität, 1,5MBit/s

MPEG2: TV/HDTV/DVD, Qualitätsprofile, 4-8MBit/s

MPEG4: universelle Anwendung, objektbasiert, 5kBit/s-4MBit/s

Maskierungen und die Tatsache, dass Menschen komplexe Schallsignale in Gruppen wahrnehmen, führen zu 24 kritischen Frequenzbändern im Bereich zwischen 16Hz und 16kHz mit ungleicher Breite (ansteigend mit Frequenz)

MP3 verwendet 32 gleichmäßige Frequenzbänder mit 6 oder 18 möglichen Subbändern (je nach Filterbank)

Ermittlung des Leistungsdichtespektrums und der Frequenz des Spitzenpegels im Band → Maskierungsschwelle

das Ergebnis geht in die Quantisierung und Codierung der Teilfrequenzbänder ein (Mono und Stereo bis zu 224kbit/s)

das Verfahren ist stark asymmetrisch (Decodierung ist weniger aufwändig als Codierung)

Joint Stereo: Mono-Summensignal und Differenzsignale mit Panoramaschwankungen

Intensity Stereo: verlustbehaftet, untere Frequenzbereiche (Bässe) werden mono-codiert da die Ortung durch das menschliche Ohr schlecht ist

33, 44.1, 48kHz

32-224kbit/s

MPEG2 und 4

5.1-Kanäle

geringere Bandbreiten (8kbit/s) und Abtastraten (16kHz) möglich

vergleichbare Qualität zu MP3 mit 70% der Bitrate

nicht abwärtskompatibel zu MP3

Aufteilung des Signals in 1024 Teilbänder und Transformation mittels DCT

Rückwärtsprädiktion verringert die Codewortlängen

Mehrkanalcodierung (M/S): Monosignal und Differenz der Stereomitte in weiteren Kanälen

Quantisierung durch Gleitkomma-Quantisierung führt zu konstanterem SNR

Probleme, wenn spezifischer Zeichensatz nicht installiert ist → Zeichen werden falsch angezeigt

bis zu 4byte wäre nötig, um alle Zeichen zu codieren → Einführung von UTF-8 (8-bit Unicode Transformation Format)

UTF-8 kann als Multi-Byte-Zeichensatz mit variabler Codewortlänge verstanden werden

die wichtigsten Zeichen (=ASCII) werden mit 1byte codiert

sprachspezifische Sonderzeichen werden dann mit 2-4byte codiert

es sind bis zu 8byte pro Zeichen möglich

Schriftart: kompletter Satz von Schriftzeichen einer bestimmten Ausgestaltungsform (z.B. Arial, Times)

Schriftschnitt: Repräsentationsform einer Schriftart (z.B. fett, kursiv)

Schriftfamilie: Schriftart inkl. Schnitte

Schriftgruppe: bestimmte Ausgestaltungsform einer Schriftart (z.B. Groteske, Antiqua)

Bitmap: Glyphen sind gerasterte Bilder

Aufteilung in rechteckiges Raster, Rasterpunkt = Pixel mit Informationen zur Helligkeit und Farbe

Auflösung: räumliche Dichte der Pixel in horizontaler und vertikaler Richtung, Einheit dpi (dots per inch)

Serialisierung zeilenweise von oben links nach unten rechts

Pixel sind rechteckig (nicht zwangsläufig quadratisch, z.B. bei PAL 1:1,2)

Skalierung nur durch Interpolation möglich → Verlust der Auflösung

Header: Datentyp und Dateigröße

BITMAP_INFO: Abmessungen des Bildes, Farbtiefe, Codierungsart

Nutzdaten

spezifiziert 1980 von Aldus, HP, Microsoft

besteht aus variabler Anzahl von Blöcken, die im Hauptdatenstrom per Zeiger referenziert werden → beliebige Reihenfolge der Nutzdaten

Blöcke enthalten Tags (12byte) mit Informationen zum Bild (z.B. Höhe, Breite, bit/Pixel)

keine oder verlustlose Komprimierung möglich: RLE, LZW, Baseline

wird blockweise gelesen (z.B. nur sichtbarer Bereich bei Bildbearbeitung)

mehrere Farbsysteme (RGB, CMYK) und Alphakanäle möglich

TIFF 6.0: Rechte bei Adobe, kann mehrere Bildebenen speichern

variable Farbtabellen mit Größen der Zweierpotenzen bis 256 (global oder je Rasterblock), Farben aus RGB frei wählbar

eine Farbe kann als transparent definiert werden, keine Alphakanäle

seit GIF89a können Animationen als Bildfolgen definiert werden

Komprimierung mit LZW

Interlaced-Modus

bis 2004 lizenzpflichtig

48bit pro Pixel → Echtfarbfotos (nur RGB)

lizenzfrei

Vorwärtsprädiktion und LZW

wie GIF: Farbtabellen, Interlaced-Modus, allerdings keine Animationen

Alphakanäle mit 8/16bit Genauigkeit

Verwendung von Hoch- und Tiefpassfiltern und arithmetischer Codierung

bei vergleichbarer Qualität 30% bessere Kompression als JPEG

Regions of interest: Bildbereiche, die weniger stark komprimiert werden

Resync-Marker erlauben Wiederaufnahme unterbrochener Übertragungen

Artefakte an Blockgrenzen treten nicht so stark hervor

stufenloser Übergang von verlustfreier zu verlustbehafteter Kompression wird unterstützt

Grafik als Kombination aus Formen und Flächen (Linien, Kreise, Bezierkurven), Linienfarben und Füllungen mit Farbverläufen möglich

viele proprietäre Formate

Austauschformate im Bereich CAD/CAM: IGES (Initial Graphics Exchange Standard), DWF (Drawing Interchange Format)

XML-Format, 2001 vom W3C spezifiziert

fehlende Unterstützung im Internet Explorer

Animationen sind möglich (Ableitung von Synchronized Multimedia Integration Language, SMIL)

Filter wie Gaußscher Weichzeichner sind möglich

Interaktion durch JavaScript ist möglich

Seitenbeschreibungssprache von Adobe (1984)

ist eine eigenständige Programmiersprache

markiert Wendepunkt in der Digitalisierung des Druckgewerbes

Container für Text, Grafiken etc.

wird von einem Interpreter in Rasterdaten umgewandelt (z.B. direkt im Laserdrucker)

CUPS baut auf Postscript auf

wird ständig erweitert, kann JPEG verarbeiten, verschiedene Farbräume und Duplexmodi verwalten

abwärtskompatible ASCII-Dateien

Einbindung von Postscript-Dateien in DTP: EPS (Encapsulated Postscript), nur eine Seite je Datei möglich, Bounding Box beschreibt Größe

von Adobe 1993 im Zusammenhang mit Acrobat vorgestellt

Ziel: Vorantreiben des papierlosen Büros durch Bereitstellung eines Formats für digitale Dokumente, Vereinfachung der Druckvorstufe

proprietäres Format, aber offengelegt und ISO-spezifiziert

von IBM und Microsoft entwickelt

unkomprimiert oder mit verlustloser Kompression

beginnen mit Format-Chunk (Anzahl Kanäle, Samplingrate etc.)

danach folgen Datenchunks in PCM oder ADPCM (Adaptive Differential PCM) oder mit Dynamikkompression (a-Law, μ-Law)

zwischendurch können Fact-Chunks mit Sekundärdaten zum Musikstück oder Cue-Point-Chunks zur Synchronisation eingestreut sein

Verfahren von Apple, gleiches Verfahren wie bei Wave

kann bis zu 6 Kanäle und MIDI-Chunks aufnehmen

Container für Videos unter Windows

stellen Header und Body bereit

machen keine Vorgaben für den Codec

Multimedia-Framework von Apple (API und Dateiformat)

kann Audio-, Bild- und Videodateien und Animationen aufnehmen

hochintegrative Antwort auf Vielzahl verschiedener Codecs

Produktion von Hörspielen, Radiobeiträgen

Musikproduktion

Vertonung für Film und Fernsehen

zentrale Schaltstelle im Studio, führt mehrere Signalquellen zusammen

definiert Routen für die Signale, passt Stimmen an, führt Ausgabe den Lautsprechern zu

es gibt analoge, digitale und virtuelle Mischpulte

Klassifizierung nach Anzahl Ein-/Ausgänge

früher wurden Mehrspurgeräte verwendet, heute digitalisierte Speicherung auf Festplatten

mehrere Ein- und Ausgänge

Analog-Digital-Wandler mit 96kHz und 24bit

Mikrofoneingänge mit Vorverstärker und Phantomspeisung

MIDI-Anschluss

1981 von Roland eingeführte serielle Schnittstelle zur Steuerung von digitalen Musikinstrumenten (Keyboards, Synthesizer)

Interface: 5-polige Rundbuchse mit 16 Kanälen

bereits 1900 wurde mit elektrischer Klangerzeugung experimentiert

Audiomaterial muss gekonnt bearbeitet werden (Abmischung, gleichmäßige Abdeckung des Frequenzspektrums, Effekte)

Limiter: begrenzt Signal strikt auf eingestellte Lautstärkeschwelle

Expander: Dynamik wird entgegengesetzt zum Kompressor erhöht

Noisegate: unterdrückt Rauschen durch Sperren eines Signals unter einem bestimmten Pegel

Hall: verleiht Sprache und Musik einen räumlichen Eindruck

Echo: periodische Widerholung des Signals

Chorus: doppelt das Signal leicht phasenverschoben und führt zu dichterem Klang

Verzerrer: bilden das analoge Zerren von übersteuerten Eingangskanälen nach

Mastering-Software: Tonstudio im Rechner (Effekte, Mehrkanal, Mischen, Mastering)

chemisches Filmmaterial, Entwicklung des Negativs zum Positiv, Kenngröße Lichtempfindlichkeit (ASA)

Sucherkameras: Sucher getrennt vom Linsensystem → Parallaxe (Versatz) zwischen Sucher und Optik

Spiegelreflexkameras: Spiegel leiten die Lichtstrahlen der Optik in den Sucher

hier wird kein chemischer Film belichtet, sondern ein optischer Sensor (CCD Charged Coupled Device oder APS Active Pixel Sensor), Speicherung auf Karten, Kenngröße Anzahl lichtempfindlicher Zellen (Auflösung)

Qualität ist nicht mehr nur von Film und Objektiv abhängig, sondern auch von Auflösung des Chips

CCD-Chips sind kleiner als übliche Filme, daher muss die Optik sehr gut sein und darauf angepasst

Vorteile: direkte Verfügbarkeit des Bildes, geringe Kosten pro Bild

Belichtungszeit von 1/2000 Sekunde bis zu mehreren Minuten

um die optimale Kombination aus Blende und Belichtungszeit zu bestimmen, werden Belichtungsmesser (intern oder extern) verwendet

wichtig im professionellen Bereich

früher Aufgabe des Retuscheurs

vektorbasierte Zeichenprogramme: Adobe Illustrator und Freehand

Arbeitsschritte der Druckvorstufe: DTP → Reinzeichnung → Belichtung (4x) → Druck

Anwendungsgebiete: Werbung, Trailer, Spezialeffekte in Filmen, Computerspiele

Ablauf: Modellierung → Reflexionsverhalten/Texturierung → Beleuchtung → Kameradefinition → Animation

Körper werden aus Grundkörpern zusammengesetzt, die verformt werden können

bei Lebewesen bietet sich die Definition eines digitalen Skeletts an → physikalisch plausible Bewegungen

Oberflächen können mit Texturen belegt werden und ihre Eigenschaften definiert werden (matt, glänzend, transparent etc.)

Objekte werden auf einer Bühne positioniert und belichtet (digitale Lichtquellen)

die Position der Kamera und auch die Blendeneinstellungen (Tiefenschärfe) können dann konfiguriert werden

Szenen können dann in einer Zeitachse animiert werden

professionelle Filmkameras arbeiten auch heute noch analog mit chemischer Belichtung

Auflösungen: PAL, 720p (1280x720 progressive), 1080i (1920x1080 interlaced)

Fernseh- und Videokameras arbeiten mit CCD-Chips, können aber die Daten auch analog ausgeben

linearer Schnitt: Kopieren des Films auf eine Masterkopie in linearer Reihenfolge

nicht-linearer Schnitt: Schnittpunkte werden lediglich referenziert (Cue-Points) → EDL bis zuletzt änderbar

Onlineschnitt: Schnitt des Orinials

Offlineschnitt: Schnitt einer Arbeitskopie

Produkte: AVID (Hard- und Software), AVID XPress DV, Adobe Premiere, Final Cut Pro

heute nicht nur Schnitt, sondern Einfügen von Effekten, Farbkorrekturen, Kontrastanpassungen, Fehlerkorrektur (Kratzer, Verwacklungen), Audio-Postproduction

Produkte: Apple Shake, Autodesk Combustion, Adobe AfterEffects

in-camera: Komposition beim Dreh (Matt-Painting, Rück-/Vorprojektion)

Integration mittels Keying: bei Chromakey werden Farben als transparent definiert und Schauspieler werden vor Blue-/Greenscreen gefilmt (Alphakanäle möglich)

1960 ARPA-Net (vernetzte Großerchner von Universitäten)

1971 E-Mail

1989 WWW durch Tim Berners-Lee am CERN: erster Browser und HTML

IP-Adresse identifiziert einen Netzteilnehmer eindeutig

Ports unterscheiden mehrere Datenströme eines Clients

IP + Port = Socket