マルチメディア技術とその応用（音声・静止画・動画処理／情報の圧縮／グラフィックス／AR・VR）

この単元の範囲

基本情報技術者試験のシラバスは「技術要素」を大分類3として位置づけ、その中の中分類8が「情報メディア」である。ここでは、文字・音声・画像・動画という複数のメディアをコンピュータ上でどう表現し、どう圧縮し、どう組み合わせて応用するかを、技術項目「1. マルチメディア技術」（音声・静止画・動画それぞれの処理と圧縮・伸長の仕組み）と「2. マルチメディア応用」（色や画質を扱うグラフィックス処理、AR/VR/メタバースなどの応用分野）の2本立てで扱う。ファイル形式や規格の名前を丸暗記するのではなく、「なぜその形式・圧縮方式が使われるのか」という目的から逆算して整理するのが到達目標になる。

1. マルチメディア技術

1-1 マルチメディア

マルチメディアとは、文字・音声・画像・動画といった複数の種類のメディアをデジタル化し、統合して扱う仕組みを指す。単に複数のメディアを詰め合わせるだけでなく、利用者の操作に応じて表示内容が変わるインタラクティブ性を持つ点が特徴である。複数のメディアを1つの作品として編集・統合する作業をオーサリングと呼び、それを行うソフトウェアがオーサリング環境である（例：動画・音声・字幕を1本の映像作品にまとめる編集ソフト）。また、映像・音声・字幕など複数のデータストリームを1つのファイルにまとめる入れ物の形式をコンテナフォーマットと呼び、ネットワーク経由で受信しながら順次再生する方式をストリーミングという。文書の体裁を保ったまま様々な環境で閲覧できるPDFもマルチメディア関連の代表用語の1つである。テレビやディスプレイの解像度を表す4K（3840×2160画素）・8K（7680×4320画素）も、扱う情報量が飛躍的に増えるという意味でマルチメディア技術の文脈で登場する（この解像度自体は国際規格ITU-R勧告BT.2020で定義されており、日本国内での放送運用に関する技術仕様は電波産業会＝ARIBの技術資料で別途規定されている）。ハイパーリンクによって関連情報へ自由に行き来できるマルチメディアコンテンツをハイパーメディアと呼ぶ。

1-2 音声処理

音（アナログ信号）をコンピュータで扱えるデジタルデータに変換する代表的な方式がPCM（Pulse Code Modulation：パルス符号変調）である。PCMは、一定間隔で音の大きさを取り出す標本化（サンプリング）、取り出した値を段階的な数値に丸める量子化、その数値を2進数に変換する符号化という3段階で行われる。音声ファイル形式にも役割の違いがあり、演奏情報（どの音をいつ・どの強さで鳴らすか）だけを記録し音そのものは持たないMIDI、圧縮を行わず音声波形をそのまま記録するWAV（Waveform Audio File Format）、人間の耳に聞こえにくい成分を間引いてファイルサイズを大幅に小さくするMP3は、それぞれ用途が異なる点を区別して覚えるとよい。

1-3 静止画処理

静止画の表現方式は、画素（ピクセル）の格子で色を敷き詰めるラスターデータ（ビットマップデータ）と、点・線・曲線の数式情報で図形を表すベクターデータに大別される。写真のような複雑な色調にはラスター形式が、拡大縮小しても輪郭が崩れない図形にはベクター形式が向く。ファイル形式は目的ごとに使い分けられ、写真に適した非可逆圧縮方式のJPEG（国際標準はISO/IEC 10918-1、内容はITU-T勧告T.81と同一）、色数を抑えてアニメーションにも対応するGIF、劣化なく保存できるPNG（国際標準はISO/IEC 15948:2004）、圧縮を行わないBMP、印刷・スキャン用途で使われるTIFF、JPEGより高効率なHEIFがある。また、デジタルカメラで撮影した画像には、撮影日時・機種・撮影条件などの付随情報を記録するExif（Exchangeable Image File Format）が埋め込まれることが多い（カメラ映像機器工業会＝CIPAとJEITAが策定する規格で、2023年にはExif 3.0への改訂が行われている）。

1-4 動画処理

動画は静止画（フレーム）を高速に切り替えて表示することで動きを表現しており、1秒間に表示するフレーム数をフレームレートという。動画データを効率よく圧縮する規格の系譜がMPEGであり、その後継として広く普及したのがH.264（国際標準はITU-T勧告H.264かつISO/IEC 14496-10として規格化）、さらに圧縮効率を高めたHEVC／H.265（2013年1月にITU-T勧告H.265およびISO/IEC 23008-2として国際標準化）である。ここで注意したいのが、H.264・HEVCのようなコーデック（映像・音声データを圧縮符号化する方式）と、QuickTime（.mov）・AVIのようなコンテナフォーマット（コーデックで圧縮したデータを音声・字幕とまとめて格納する入れ物）は別物だという点である。「拡張子＝圧縮方式」ではなく、同じ拡張子のファイルでも中身のコーデックが異なる場合がある、という理解が実務でも試験でも重要になる。

1-5 情報の圧縮・伸長

圧縮の目的は、限られたストレージを効率的に使うことと、ネットワーク転送時の負荷を軽減することの2つである。圧縮方式は、圧縮前のデータを完全に復元できる可逆圧縮（例：ZIP、PNG）と、一部の情報を犠牲にして高い圧縮率を得る非可逆圧縮（例：JPEG、MPEG、MP3）に大別され、元データに対する圧縮後データの比率を圧縮率と呼ぶ。テキストや実行ファイルのように1ビットの欠損も許されないデータには可逆圧縮を、写真や音楽のように多少の劣化が視聴上ほぼ気にならないデータには非可逆圧縮を、というように用途に応じた選択が問われる。なお、FAX等の2値画像（白黒）に特化した圧縮方式としてMR（Modified READ）・MMR（Modified Modified READ）があり、これらは可逆圧縮の一種として位置づけられる。

2. マルチメディア応用

2-1 グラフィックス処理

コンピュータでの色の表現には2つの原理がある。ディスプレイのように光を重ねて色を作る場合は、赤・緑・青（Red・Green・Blue）を混ぜるほど明るく白に近づく加法混色（光の3原色）を用いる。一方、印刷インクのように色材を重ねて色を作る場合は、シアン・マゼンタ・イエロー（Cyan・Magenta・Yellow）を混ぜるほど暗くなる減法混色（色の3原色）を用いる。色の性質は色合いを表す色相、明るさを表す明度、鮮やかさを表す彩度の3要素で表現され、明暗の差の大きさをコントラストと呼ぶ。

画質を評価する観点としては、画像を構成する最小単位である画素（ピクセル）の密度＝解像度が基本となる。解像度の単位には、プリンターなど出力機器の1インチあたりのドット数を表すdpi（dot per inch）と、ディスプレイや画像データの1インチあたりの画素数を表すppi（pixels per inch）があり、前者は主に印刷、後者は主に画面表示・デジタル画像の文脈で使われるというように用途で使い分けられる。

グラフィックスソフトウェアには、画素単位で描画するペイント系（ラスター形式）と、図形を数式で扱うドロー系（ベクター形式）がある。編集作業では、画像を透明なシートを重ねるように独立して扱えるレイヤー（背景・人物・文字を別々に編集し、あとから重ね合わせられる）や、画像の不要な部分を切り取るトリミングといった機能がよく使われる。

2-2 マルチメディア応用

マルチメディア技術は様々な分野で応用されている。コンピュータで図形や画像を作成するCG（Computer Graphics）、設計図面をコンピュータ上で作成するCAD、現実の現象をコンピュータ上で模擬するシミュレーター、これらの技術を統合したテレビゲームが古くからの代表例である。近年特に重要になっているのが、現実空間に情報を重ねるAR（Augmented Reality：拡張現実）、コンピュータが作り出した仮想空間に没入するVR（Virtual Reality：仮想現実）、現実世界と仮想世界の情報を融合させるMR（Mixed Reality：複合現実）であり、これらを包括する概念としてメタバース（インターネット上に構築された、複数人が同時参加できる仮想空間）が挙げられる。ほかに、視聴者が見たい時に映像を視聴できるビデオオンデマンド、奥行きを表現する3次元映像やホログラム、人の動きをデジタルデータとして取り込むモーションキャプチャ（映画・ゲームのキャラクター動作に使われる）、複数のスピーカーで立体的な音場を再現するバーチャルサラウンドなども、マルチメディア応用の代表例として押さえておきたい。

---

参考文献

• IPA「基本情報技術者試験シラバス Ver.9.2」大分類3「技術要素」中分類8「情報メディア」（PDF本文表記で-26-～-27-、目次表記ではp.26）: https://www.ipa.go.jp/shiken/syllabus/omgdg50000005kpe-att/syllabus_fe_ver9_2.pdf
• ITU-R勧告 BT.2020（UHDTVの解像度3840×2160＝4K／7680×4320＝8Kを定義する国際規格）: https://www.itu.int/rec/R-REC-BT.2020/en
• 一般社団法人放送サービス高度化推進協会（A-PAB）4K・8K放送の技術仕様（国内の衛星放送運用規定ARIB TR-B39に関する参考情報）: https://www.apab.or.jp/4k-8k/tech-spec/
• Impress Watch「ITU-T、H.265／HEVCを勧告」（2013年1月、ISO/IEC 23008-2としての国際標準化を報道）: https://pc.watch.impress.co.jp/docs/news/585297.html
• ISO/IEC 10918-1:1994（JPEG基本仕様、ITU-T勧告T.81と同一内容）: https://www.iso.org/obp/ui/#iso:std:iso-iec:10918:-1:en
• ISO/IEC 15948:2004（PNG仕様、W3C勧告と同一内容）: https://www.iso.org/standard/29581.html
• e-Words「dpiとは」（プリンター出力密度とディスプレイ画素密度の違い）: https://e-words.jp/w/dpi.html
• カメラ映像機器工業会（CIPA）Exif 3.0関連資料（2023年改訂）: https://www.cipa.jp/std/documents/j/Exif3.0_CEATEC-2023_J.pdf