feat(converter): implement deterministic JSON to Markdown article converter (spec 005)

2026-08-21 10:30:14 -03:00
parent 64dfd842de
commit 926a6b8cfc
58 changed files with 20138 additions and 2301 deletions
@@ -0,0 +1,9 @@
+{
+  "source_file": "batch.json",
+  "articles": [
+    {
+      "selected_extractor": "trafilatura",
+      "trafilatura": { "markdown": "Some content" }
+    }
+  ]
+}
@@ -0,0 +1 @@
+{ "selected_extractor": "trafilatura", "trafilatura": { "markdown": "broken json...
@@ -0,0 +1,8 @@
+{
+  "selected_extractor": "trafilatura",
+  "crawled_url": "ftp://invalid-scheme.com/article",
+  "trafilatura": {
+    "title": "Valid Title",
+    "markdown": "Body text here."
+  }
+}
@@ -0,0 +1,14 @@
+{
+  "selected_extractor": "trafilatura",
+  "crawled_url": "https://example.com/article",
+  "page_title": "Example Title",
+  "trafilatura": {
+    "title": "Example Title",
+    "markdown": null,
+    "text": ""
+  },
+  "newspaper4k": {
+    "title": "Example Title",
+    "article_html": "<p>Content from another extractor</p>"
+  }
+}
@@ -0,0 +1,8 @@
+{
+  "crawled_url": "https://example.com/article",
+  "page_title": "Example Title",
+  "trafilatura": {
+    "title": "Example Title",
+    "markdown": "Body text"
+  }
+}
@@ -0,0 +1,8 @@
+{
+  "selected_extractor": "trafilatura",
+  "crawled_url": "https://example.com/article",
+  "trafilatura": {
+    "title": "   ",
+    "markdown": "Body text here."
+  }
+}
@@ -0,0 +1,27 @@
+{
+  "selected_extractor": "newspaper4k",
+  "crawled_url": "https://www.minutouno.com/deportes/quien-es-paz-zubiri.html",
+  "newspaper4k": {
+    "title": "Quién es Paz Zubiri, la relatora de Fox Sports",
+    "authors": [
+      "Redacción Deportes",
+      "Juan Pérez"
+    ],
+    "publish_date": "2026-08-19T17:03:00-03:00",
+    "meta_description": "Quién es Paz Zubiri, la relatora de Fox Sports que fue arquera de River.",
+    "meta_site_name": "MinutoUno",
+    "meta_keywords": [
+      "Fox Sports",
+      "River Plate"
+    ],
+    "keywords": [
+      "relatora",
+      "fútbol"
+    ],
+    "meta_lang": "es",
+    "top_image": "https://www.minutouno.com/files/paz-zubiri.jpg",
+    "canonical_link": "https://www.minutouno.com/deportes/quien-es-paz-zubiri.html",
+    "article_html": "<div><h1>Quién es Paz Zubiri, la relatora de Fox Sports</h1><p>Fue arquera de River y hoy brilla en transmisiones deportivas.</p><p>Tiene un canal de <b>YouTube</b> muy popular.</p></div>",
+    "text": "Quién es Paz Zubiri, la relatora de Fox Sports\n\nFue arquera de River y hoy brilla en transmisiones deportivas.\n\nTiene un canal de YouTube muy popular."
+  }
+}
@@ -0,0 +1,19 @@
+# Quién es Paz Zubiri, la relatora de Fox Sports
+
+Quién es Paz Zubiri, la relatora de Fox Sports que fue arquera de River.
+
+**Autor:** Redacción Deportes, Juan Pérez
+**Publicado em:** 2026-08-19T17:03:00-03:00
+**Site:** MinutoUno
+**Tags:** Fox Sports, River Plate
+**Palavras-chave:** relatora, fútbol
+**Idioma:** es
+**Fonte original:** [https://www.minutouno.com/deportes/quien-es-paz-zubiri.html](https://www.minutouno.com/deportes/quien-es-paz-zubiri.html)
+
+![Imagem principal](https://www.minutouno.com/files/paz-zubiri.jpg)
+
+---
+
+Fue arquera de River y hoy brilla en transmisiones deportivas.
+
+Tiene un canal de **YouTube** muy popular.
@@ -0,0 +1,14 @@
+{
+  "selected_extractor": "readability",
+  "crawled_url": "https://www.clarin.com/deportes/analisis-tactico-river.html",
+  "input_meta": {
+    "subtitulo": "El planteo defensivo fue determinante para mantener el cero.",
+    "quando_publicado": "Wed, 19 Aug 2026 21:00:00 -0300"
+  },
+  "readability": {
+    "title": "Análisis táctico del partido de River en Bogotá",
+    "author": "Carlos Bilardo",
+    "cleaned_html": "<div><h1>Análisis táctico del partido de River en Bogotá</h1><p>El planteo defensivo fue determinante para mantener el cero.</p><blockquote>Un punto valioso de visitante.</blockquote></div>",
+    "cleaned_text": "Análisis táctico del partido de River en Bogotá\n\nEl planteo defensivo fue determinante para mantener el cero.\n\nUn punto valioso de visitante."
+  }
+}
@@ -0,0 +1,14 @@
+# Análisis táctico del partido de River en Bogotá
+
+El planteo defensivo fue determinante para mantener el cero.
+
+**Autor:** Carlos Bilardo
+**Publicado em:** 2026-08-19T21:00:00-03:00
+**Site:** www.clarin.com
+**Fonte original:** [https://www.clarin.com/deportes/analisis-tactico-river.html](https://www.clarin.com/deportes/analisis-tactico-river.html)
+
+---
+
+El planteo defensivo fue determinante para mantener el cero.
+
+> Un punto valioso de visitante.
@@ -0,0 +1,29 @@
+{
+  "selected_extractor": "trafilatura",
+  "input_meta": {
+    "url": "https://www.tycsports.com/river-plate/los-puntajes-de-river-vs-independiente-santa-fe.html",
+    "titulo": "Los puntajes de River",
+    "quando_publicado": "2026-08-20T03:27:26Z"
+  },
+  "crawled_url": "https://www.tycsports.com/river-plate/los-puntajes-de-river-vs-independiente-santa-fe.html",
+  "page_title": "Los puntajes de River vs. Independiente Santa Fe, por la Copa Sudamericana - TyC Sports",
+  "trafilatura": {
+    "title": "Los puntajes de River vs. Independiente Santa Fe, por la Copa Sudamericana - TyC Sports",
+    "author": "Ernesto Provitilo",
+    "date": "2026-08-20T00:36:33-03:00",
+    "description": "Con Beltrán y Otamendi como puntos más altos, el Millonario rescató un empate en Bogotá.",
+    "sitename": "TyC Sports",
+    "hostname": "tycsports.com",
+    "categories": [
+      "River Plate",
+      "Copa Sudamericana"
+    ],
+    "tags": [
+      "Fútbol; River Plate"
+    ],
+    "language": "es",
+    "canonical_url": "https://www.tycsports.com/river-plate/los-puntajes-de-river-vs-independiente-santa-fe.html",
+    "image": "https://media.tycsports.com/files/2026/08/20/980147/la-formacion-de-river.webp",
+    "markdown": "# Los puntajes de River vs. Independiente Santa Fe, por la Copa Sudamericana - TyC Sports\n\nCon Beltrán y Otamendi como puntos más altos, el Millonario rescató un empate en Bogotá.\n\n## SANTIAGO BELTRÁN - 6\n\nLlega al aprobado por el arco en cero.\n\n![Foto](https://media.tycsports.com/files/foto.jpg)"
+  }
+}
@@ -0,0 +1,23 @@
+# Los puntajes de River vs. Independiente Santa Fe, por la Copa Sudamericana - TyC Sports
+
+Con Beltrán y Otamendi como puntos más altos, el Millonario rescató un empate en Bogotá.
+
+**Autor:** Ernesto Provitilo
+**Publicado em:** 2026-08-20T00:36:33-03:00
+**Site:** TyC Sports
+**Categoria:** River Plate, Copa Sudamericana
+**Tags:** Fútbol, River Plate
+**Idioma:** es
+**Fonte original:** [https://www.tycsports.com/river-plate/los-puntajes-de-river-vs-independiente-santa-fe.html](https://www.tycsports.com/river-plate/los-puntajes-de-river-vs-independiente-santa-fe.html)
+
+![Imagem principal](https://media.tycsports.com/files/2026/08/20/980147/la-formacion-de-river.webp)
+
+---
+
+Con Beltrán y Otamendi como puntos más altos, el Millonario rescató un empate en Bogotá.
+
+## SANTIAGO BELTRÁN - 6
+
+Llega al aprobado por el arco en cero.
+
+![Foto](https://media.tycsports.com/files/foto.jpg)
				`@@ -0,0 +1 @@`
				`{ "selected_extractor": "trafilatura", "trafilatura": { "markdown": "broken json...`