1.1. INTRODUCCIÓN
El concepto de información supone dos objetos:
La fuente de información(Tx) y
El destinatario de la información(RX)
Los tipos de problemas que surgen en el estudio de la información son de alguno de estos tres tipos:
Técnicos: Relativos a la exactitud, confiabilidad, velocidad de transmisión, etc.
Semánticos: Están dirigidos a las investigaciones que pretenden resolver el problema de cómo es posible transmitir exactamente el significado del mensaje con ayuda de textos.
Pragmáticos: Analizan el grado de eficiencia en que influye la información sobre el comportamiento del destinatario.
1.2. ¿DE QUÉ SE OCUPA?
De la descripción matemática y evaluación de los métodos y transmisión, conservación, extracción, clasificación y medida de la información.
1.3. ORIGENES DE LA TEORIA DE LA INFORMACIÓN
1.3.1. ESTUDIOS DE HARLEY
En 1928 Hartley especula con la idea de que el contenido de información debería depender directamente del logaritmo de la probabilidad del mensaje correspondiente. Sin embargo esos intentos de definir la información en términos probabilísticos tenían algo de extraño, casi de antinatural, ya que en la vida ordinaria, no es la incertidumbre sino la certeza en el conocimiento de determinada materia lo que se asocia con la información, o al menos así parece ser.
1.3.2. APORTES DE NYQUIST
En 1924 Nyquist publica un articulo en el que se demuestra que un señal continua en el tiempo y confinada en una banda puede describirse unívocamente de forma discretizada temporalmente si la frecuencia de muestreo es el doble de su ancho de banda.
1.3.3. TEORÍA MATEMÁTICA DE LAS COMUNICACIONES DE CAUDE E. SHANNON (1948)
Se planteo el siguiente problema: Dado un conjunto de posibles mensajes que una fuente puede producir, no de nuestra elección, ¿Cómo podemos representar de la mejor forma el mensaje para llevar la información a través de un sistema dado con sus limitaciones físicas inherentes?. La consecución de respuestas a esta pregunta le llevo a consolidar su teoría matemática de las comunicaciones con plena validez hoy.
El nombre de Shannon se asocia a dos teoremas que tuvieron una grandísima importancia en el desarrollo de la ciencia de la computación y en las comunicaciones digitales. El primero señala que el número de bits necesarios para describir unívocamente una fuente de información puede aproximarse al correspondiente contenido de información tanto como se desee (teorema de codificación de la fuente). El segundo teorema declara que el ratio de errores de los datos transmitidos en un canal confinado y con ruido puede reducirse a una cantidad arbitrariamente pequeña si la velocidad de transmisión es menor que la capacidad del canal (teorema de la codificación del canal). Los dos se dan como resultado del estudio de los trabajos de Hartley y Nyquist. Una introducción a su trabajo se publicó en 1948 en un artículo de la revista Bell System Technical Journal, con un título prometedor: "Una Teoría Matemática de la Comunicación".
1.3.4. LA CIBERNÉTICA DE NORBERT WIENER(1948)
En sus estudios se ocupo del problema de la extracción de la información de señales, que en parte o totalmente, se encontraban fuera del control del diseñador. Con su trabajo dio origen a la teoría de la detección y de la decisión estadística.
2. CONCEPTOS BÁSICOS
Los principales conceptos a desarrollar en la Teoría de la Información son:
La medida de la información
La capacidad de un canal de comunicación para transferir la información
La codificación como medio de utilizar el canal a plena capacidad.
Estos tres conceptos básicos se encuentran reunidos en lo que puede llamarse “Teorema fundamental de la teoría de la información”.
La codificación se emplea para adaptar la fuente al canal para una transferencia de información con un máximo de confiabilidad.
2.1. MEDIDA DE LA INFORMACIÓN.
2.1.1. CONCEPTO DE INFORMACIÓN, MENSAJE O AUTOINFORMACIÓN
Sea un mensaje “A” de probabilidad de ocurrencia “P(A)”, la información que conlleva ese mensaje definida como autoinformación es:
Ecuación No 1
donde f(P(A)) debe ser determinada.
Para encontrar f(P(A)) se suponen los siguientes requerimientos:
1. donde 0≤P(A) ≤1
2.
3. > Para P(A)
La única función que satisface estas cuatro condiciones es:
Ecuación No 2
Donde K es una constante positiva y b la base.
Hartley demostró que K es 1.
Al especificar la base se selecciona la unidad de información así:
Unidades de orden r
Shannon o bit
Hartley
Natural
2.1.2. ENTROPÍA DE LA FUENTE(INFORMACIÓN PROMEDIO PRODUCIDA POR UNA FUENTE DE INFORMACIÓN)
Se ha definido la autoinformación en función de los mensajes individuales o símbolos que una fuente pueda producir, pero un sistema de comunicación no es diseñado para un mensaje en particular, sino para todos los posibles mensajes. Por tanto aunque el flujo de información instantáneo de una fuente pueda ser errático, se debe describir la fuente en términos de la información promedio producida. Esta información promedio se denomina Entropia de la fuente.
2.1.3. FUENTE DE INFORMACIÓN DE MEMORIAS NULAS
2.1.3.1. Descripción matemática de una fuente de memoria nula
La descripción matemática de una fuente de información se puede representar gráficamente como en la figura No 1
Figura No 1. Fuente de información típica
Esta fuente emite secuencias de símbolo pertenecientes a un conjunto completo denominado Alfabeto Fuente
S={S1, S2, S3,…, Sq}
Donde q es el número de símbolos de la fuente.
Una fuente de información, además de estar caracterizada por el alfabeto fuente, también lo esta por la probabilidad con que se emite cada símbolo.
Sí una fuente emite secuencias como la (I) de la figura No 1, donde el número de símbolos es muy grande cumpliéndose
Entonces los símbolos Si, Sj y Sk son estadísticamente independientes y se dice que la fuente tiene memoria nula. Esto es posible solo en virtud de la probabilidad condicional se expresa como:
Una fuente de memoria nula queda descrita completamente mediante el alfabeto de la fuente y las probabilidades de ocurrencia de cada símbolo: S1 con P(S1), S2 con P(S2),... y Sq con P(Sq)
2.1.3.2. Entropía de la fuente de memoria nula
Teniendo en cuenta que:
q cantidad de símbolos de Ia fuente
N Número de símbolos emitidos
con N>>q
la información del símbolo j será:
La información total del mensaje será
La información promedio por símbolo será:
Es de notar que H es un promedio del conjunto de símbolos. Sí, Ia fuente no es estacionaria, las probabilidades de los símbolos pueden cambiar con el tiempo y la entropía no es significativa.
• Un proceso se dice estacionario cuando las leyes de distribución coinciden independientemente del corte en el tiempo en que se observan, esto es: p(x,t1) p(x,t2)= p(x)
En teoría de Ia Información se consideran las fuentes do información ergódicas, tal que el promedio del conjunto y del tiempo son idénticos.
• Un proceso aleatorio estacionario se considera ergódico cuando es posible calcular cualquier promedio estadístico a partir do un promedio equivalente en el tiempo de una realización cualquiera
Intervalo de valores de la entropía de una fuente de q símbolos
Ya se ha manifestado que la información no puede ser negativa y la peor información se da cuando el evento tiene la probabilidad máxima de ocurrencia, es decir cuando no hay incertidumbre. Esto es cuando algún símbolo de la fuente asume toda ala probabilidad de ocurrencia, haciendo que los demás símbolos nunca ocurran. En este caso la entropía será H(S) = 0.
O<=H<= lo& q
2.1.3.3. Extensión de una fuente de memoria nula
2.1.4. FUENTES DE INFORMACION CON MEMORIA O FUENTES DE MARKOV
• Fuentes de Markov: Son aquellas en las que la probabilidad de un símbolo cualquiera viene determinada por los ‘m’ símbolos precedentes. Al existir ´q´ símbolos existirán qm estados posibles. ‘m’ es el orden de la fuente.
H(s) = p(sj1 , sj2 ,..., sjm ,si)logr [1/p(si /sj1 , sj2 ,..., sjm )
Sm+1
• Redundancia: Diferencia entre la entropia máxima y la entropia de la fuente con memoria
• Interpretación de información:
• Cantidad de incertidumbre(Técnica de cifrado)
• Número mínimo de digitos que se requiere para codificar un mensaje.
• Velocidades en la transmisión de datos
• Velocidad de símbolo r = 1/ |Símb./seg.|
• Velocidad Binaria vd = 1/ |bit/seg.|
• Velocidad en Pulso vp = 1/Tp |pulsos/s|
• Velocidad de modulación RBd = 1/Tpmin |Baud|
• Velocidad de Transmisión o razón de entropia
Rh = rH |Unidades de información/seg.|
• Velocidad real de transmisión vt =d*vd
0.6<=d<=0.8
2.2. Capacidad de un canal de comunicaciones
• Definición de Canal: Modelo para expresar el vehiculo; conjunto de medios materiales de la transmisión y todos los fenómenos que tienden a restringir la transmisión de un punto A a un punto B.
• Capacidad: Es la habilidad del canal para transmitir información |Unidades de información/seg.|
• Teorema Fundamental: Velocidad máxima a la cual el canal suministra informació confiable RH <= C
• Canal discreto: Es aquel que transmite información considerando sucesivamente distintos estados eléctricos.
C=vslog
Si existe ruido que no se puede ignorar
C=vslog - Rec.
• Parámetros del canal discreto:
• Vs <= 2B
• =(S/N +1) Estados—Relación señal ruido.
C =Blog2(1+S/N) Ecuación de Hartley-Shannon
• Para ruido blanco gaussiuano C tiende a 1.44S/N si B tiende a infinito.
• Clasificación de los canales de acuerdo a la equivocación
1. Sin equivocación o coherentes.
1.1. No afectados por el ruido. I(xy)=H(x)
1.2. Afectados por el ruido. Es posible deducir símbolo
• Igual {xi} que {yi}
• Mayor {yi} que {xi}
2. Con pérdida de información Puede transmitir información confiable
3. Con pérdida total de información C=0
• Otros canales
• Uniformes. Un canal es uniforme cuando los términos en toda fila son permutaciones arbitrarias de los términos de la primera fila o columna en la matriz de transición.
• Simétrico
• Binario simétrico
• Binario de Borrado
2.3. La codificación como medio de utilización del canal a plena capacidad.
La codificación se emplea para adaptar la fuente al canal para una transmisión de información con un máximo de confiabilidad.
• Objetivo: Reducir la probabilidad de error de bits y la rela ción Energia de bit a ruido(Eb/No), sacrificando B. Ecepción canales limitados en B.
• Codificación de ondas. Transformación de la onda para hacer el proceso de detección menos susceptible a los errores, algunas son:
• Señalización M-aria
• Antipodal
• Ortogonal
• Biortogonal
• Transortogonal
• Estructuración de secuencias: Introducción de redundancias para el control de errores
• Codificación de bloque. Se introduce a cada secuencia de k símbolos un bloque de r símbolos.
• Uniformes: r se mantiene constante en cada secuencia.
• Divisible: n=r+k claramente diferenciados
• No divisibles cuando no se pueden separar (información de chequeo)
• No uniformes: r no se mantiene constante(no utiles)
• Codigos convolucionales: Introducción de símbolos de chequeo a los de información es continua.
• Detección y corrección de errores
• Detección 1 – (2k/2n) de casos de la transmisión
• Corrección 1/2k
• Multiplicidad del error
• Distancias de código
No hay comentarios:
Publicar un comentario