情報理論とは,情報の伝達をいかに効率良く,そして信頼性高く行うかに関する 理論です.この情報の伝達を行う舞台として次のような通信系のモデルがあります.
一般に通報はそのまま通信路に入力できるわけではありません.そこで何らか の変換が必要となります.この通報の変換を符号化といいます.
ところで通信路では何らかの雑音やひずみが起きると,通報が誤って伝えられ ることもあります.このような予想される誤りを検出や訂正することを目的と した符号をといいます.