Tecno .- INTELIGENCIA ARTIFICIAL

Que pasa cuando la IA se queda sin internet para aprender

Hay un problema que la industria tecnológica lleva tiempo intentando resolver en voz baja, y que ahora empieza a aflorar con fuerza: los datos sintéticos para entrenamiento podrían ser la única salida posible cuando internet, literalmente, se agota como fuente de conocimiento para la inteligencia artificial. No es ciencia ficción. Es una conversación que ya está ocurriendo en los laboratorios de las grandes empresas, y las implicaciones son mucho más profundas de lo que parece a primera vista.

datos sinteticos entrenamiento

El gran banquete de datos está llegando a su fin

Durante años, entrenar un modelo de inteligencia artificial fue, en esencia, un ejercicio de voracidad. Los sistemas aprendían leyendo internet: artículos, foros, libros digitalizados, comentarios, código, conversaciones. Todo valía. Cuanto más, mejor.

Pero ese banquete tiene un límite. Varios estudios independientes, entre ellos uno muy citado de Epoch AI, estiman que el texto de alta calidad disponible en internet para entrenar modelos podría agotarse en términos prácticos antes de que acabe esta década. No desaparece físicamente, claro. El problema es más sutil: ya está siendo usado. Ya fue consumido. Y los nuevos contenidos que se generan cada día… están siendo escritos, en una parte creciente, por la propia IA.

Ahí es donde empieza el bucle extraño.

Cuando la IA aprende de sí misma

Imagina que entrenas a un estudiante con los mejores libros del mundo. Luego, cuando esos libros se acaban, empiezas a darle fotocopias de fotocopias escritas por otros estudiantes que también aprendieron con los mismos libros originales. La calidad se degrada. Los errores se amplifican. Los sesgos se consolidan.

Esto es lo que los investigadores llaman colapso del modelo: el fenómeno por el cual una IA entrenada con contenido generado por otras IAs empieza a perder matices, diversidad y precisión. En términos técnicos, la distribución estadística del conocimiento se estrecha. En términos humanos: el sistema se vuelve más tonto y más homogéneo a la vez.

No es una hipótesis abstracta. Un estudio publicado en Nature en 2024 demostró empíricamente que los modelos entrenados con datos sintéticos de baja calidad o con datos generados por modelos anteriores presentaban este tipo de degradación de forma medible y progresiva.

Entonces, ¿qué hacemos?

Los datos sintéticos para entrenamiento: la apuesta más arriesgada y más prometedora

La respuesta que más tracción está ganando en la industria es, paradójicamente, más IA: generar datos sintéticos para entrenamiento de forma controlada, deliberada y con garantías de calidad. No dejar que el sistema aprenda de lo que ya circula por la red, sino fabricar el conocimiento desde cero, con propósito.

La idea no es nueva. En visión artificial, llevan años usándose imágenes sintéticas generadas por ordenador para entrenar modelos de reconocimiento cuando no hay suficientes fotos reales etiquetadas. En medicina, se simulan datos de pacientes para preservar la privacidad. En robótica, se generan entornos virtuales completos para que los robots practiquen sin romper nada.

Pero llevarlo al lenguaje, al razonamiento y a la comprensión del mundo es otro nivel de complejidad.

El experimento más conocido en esta dirección es el de Microsoft con su familia de modelos Phi. Los investigadores demostraron que un modelo relativamente pequeño, entrenado con datos sintéticos cuidadosamente diseñados, podía superar en ciertos benchmarks a modelos mucho más grandes entrenados con datos crudos de internet. La clave no era la cantidad. Era la calidad y la intención detrás de cada ejemplo.

¿Cómo se fabrican datos sintéticos de calidad?

Esta es la pregunta del millón, y la respuesta honesta es que nadie tiene todavía una fórmula infalible. Pero hay varias aproximaciones que están dando resultados.

  • Destilación de conocimiento: un modelo grande y potente genera ejemplos que luego se usan para entrenar uno más pequeño. Es como tener a un experto que escribe los mejores ejercicios posibles para un alumno.
  • Generación guiada por criterios: en lugar de producir texto al azar, se definen qué habilidades debe entrenar cada ejemplo. Razonamiento lógico, comprensión causal, manejo de ambigüedad, etcétera.
  • Datos verificados por humanos: los datos sintéticos se someten a revisión humana para filtrar errores, sesgos o incoherencias antes de usarlos en el entrenamiento.
  • Simulación de mundos: para tareas específicas, se construyen entornos virtuales donde la IA puede interactuar y generar sus propias experiencias de aprendizaje.

El denominador común de todos estos enfoques es que requieren mucho más esfuerzo humano por dato generado. Lo que antes era automático, ahora necesita diseño, criterio y supervisión. Curiosamente, la solución al problema de la dependencia de datos masivos podría ser trabajar con menos datos, pero mejores.

El riesgo que nadie quiere nombrar en voz alta

Aquí es donde la conversación se pone incómoda. Si las grandes empresas tecnológicas son las que controlan qué datos sintéticos se generan y con qué criterios, también están controlando, de forma mucho más directa que antes, qué aprende la IA y qué no.

Con internet como fuente de entrenamiento, había al menos una cierta diversidad caótica. Había voces contradictorias, culturas distintas, puntos de vista marginales que se colaban entre los datos. Era un reflejo imperfecto, sesgado y problemático del mundo real, sí, pero al menos era un reflejo.

Con datos sintéticos diseñados desde arriba, esa diversidad puede desaparecer. No por maldad necesariamente, sino por simplicidad: es más fácil generar datos que reflejen consensos que datos que representen la complejidad y la contradicción del pensamiento humano real.

Vale la pena recordar que la gran mayoría de los sistemas de IA actuales son todavía herramientas estrechas diseñadas para tareas concretas. Pero a medida que los modelos generales se vuelven más capaces y más influyentes en nuestra vida cotidiana, la pregunta de quién diseña su dieta de conocimiento se vuelve una pregunta política, no solo técnica.

La carrera por los datos propios

No es casualidad que en los últimos años haya una fiebre por los datos exclusivos. Las grandes tecnológicas están firmando acuerdos millonarios con editoriales, periódicos, plataformas de contenido y bases de datos especializadas. OpenAI con The Atlantic. Google con Reddit. Todas intentando asegurarse fuentes de datos que otros no tengan.

Al mismo tiempo, empresas como Scale AI están construyendo negocios enteros alrededor de la generación y etiquetado de datos de alta calidad. No fabrican modelos. Fabrican el combustible que los modelos necesitan para funcionar.

Este giro en la cadena de valor de la IA es enorme y todavía está infravalorado en el debate público. El poder no estará solo en quien tenga los mejores algoritmos, sino en quien controle las mejores fuentes de datos, reales o sintéticos. Y eso tiene consecuencias que van mucho más allá de la tecnología, como ya se empieza a ver en debates sobre soberanía digital y regulación.

De hecho, el enfoque sobre cómo la IA está transformando la productividad industrial también pasa, aunque no siempre se mencione, por la calidad de los datos con los que esos sistemas aprenden a operar en entornos reales.

¿Y los humanos? El recurso más escaso de todos

Hay una ironía profunda en todo esto. En un momento en que la IA parecía estar sustituyendo el trabajo humano, resulta que el elemento más valioso para entrenarla correctamente es, precisamente, el juicio humano.

No cualquier humano, además. Se necesitan expertos en cada dominio: médicos que validen datos médicos, juristas que revisen ejemplos legales, lingüistas que garanticen la diversidad cultural. El coste de generar datos sintéticos de verdadera calidad es, en buena medida, el coste del tiempo y el conocimiento humano invertido en ellos.

Esto conecta con una pregunta más amplia que ya estábamos explorando cuando debatimos si la creatividad de la IA es aliada o amenaza: ¿puede una máquina generar conocimiento genuinamente nuevo, o siempre está recombinando y refinando lo que los humanos pusieron primero?

En el contexto de los datos sintéticos, la pregunta tiene una respuesta provisional bastante humilde: no, todavía no. Los mejores sistemas de generación de datos sintéticos de calidad siguen dependiendo de un andamiaje humano considerable. La IA puede multiplicar y variar, pero la semilla sigue siendo nuestra.

Señales de que esto ya está cambiando la industria

Más allá de la teoría, hay cambios concretos que ya están ocurriendo:

  • OpenAI, Google y Anthropic han reducido la transparencia sobre sus fuentes de datos de entrenamiento, lo que sugiere que están diversificando hacia fuentes propietarias y sintéticas.
  • Los modelos más recientes se entrenan con técnicas de reinforcement learning from human feedback combinadas con datos sintéticos, lo que difumina la línea entre aprendizaje real y aprendizaje fabricado.
  • Startups especializadas en datos sintéticos para sectores verticales, como salud, derecho o finanzas, están levantando rondas de financiación significativas.
  • La Unión Europea está debatiendo cómo regular la transparencia en las fuentes de datos de entrenamiento, lo que indica que los reguladores también han detectado el problema.

Todo esto está ocurriendo mientras el debate público sigue centrado en si la IA va a quitarnos el trabajo o en si los chatbots mienten demasiado. Son preguntas legítimas, claro. Pero la conversación sobre los fundamentos reales de cómo funciona la IA sigue siendo minoritaria, y eso tiene un coste democrático.

China y el factor geopolítico

No se puede hablar de datos sintéticos sin mencionar la dimensión geopolítica. China lleva años invirtiendo en capacidades de generación de datos propios, precisamente porque el acceso a datos occidentales de alta calidad es limitado o está sujeto a restricciones.

Los avances recientes de modelos chinos en vídeo generativo e IA multimodal, como los que analizamos cuando repasamos la irrupción china en el vídeo hiperrealista, son en parte el resultado de estrategias de datos alternativas. No tienen acceso a los mismos corpus que OpenAI o Google, así que han desarrollado sus propias tuberías.

El resultado es que estamos caminando hacia un mundo con ecosistemas de IA entrenados con datos fundamentalmente distintos. ¿Llegarán a conclusiones distintas sobre el mundo? ¿Reflejarán valores distintos? Casi con certeza, sí. Y eso tiene implicaciones que van mucho más allá de qué modelo genera mejor código o mejores imágenes.

¿Y si la solución al agotamiento de datos cambia para siempre lo que la IA es?

La transición hacia los datos sintéticos para entrenamiento no es solo una solución técnica a un problema de escasez. Es un cambio de paradigma sobre qué significa aprender para una máquina, y quién tiene el poder de definirlo.

Durante la era del entrenamiento con internet, había algo accidentalmente democrático en el proceso: la IA aprendía del ruido y la diversidad del mundo tal como lo producen millones de personas sin coordinación central. Con los datos sintéticos, esa accidentalidad desaparece. Alguien decide qué entra y qué no. Alguien diseña los ejemplos. Alguien establece los criterios de calidad.

Quizá eso produzca IAs más capaces, más seguras y menos sesgadas, si se hace bien. O quizá produzca IAs más homogéneas, más dóciles y más alineadas con los intereses de quienes las fabrican, si se hace mal o con intereses ocultos.

La pregunta que queda flotando es esta: ¿estamos dispuestos a confiar en que las empresas que controlan este proceso lo harán con criterios de interés público, o necesitamos mecanismos externos que garanticen que la dieta de conocimiento de la IA no se convierte en otra forma de poder sin control?