Parágrafo com negrito, forte, itálico e ênfase.
" "Uma citação memorável." "
Link para o portal oficial.
" "codigo_inline()"
""
""
"Artigo em HTML
", "text": "Artigo em texto puro", }, } assert "**HTML**" in resolve_article_body(art1) # Fallback art2 = { "selected_extractor": "newspaper4k", "newspaper4k": {"article_html": None, "text": "Artigo em texto puro Newspaper"}, } assert resolve_article_body(art2) == "Artigo em texto puro Newspaper" def test_resolve_article_body_readability_primary_and_fallback(): """Testa prioridade readability.cleaned_html sobre readability.cleaned_text.""" # Primário HTML -> MD art1 = { "selected_extractor": "readability", "readability": { "cleaned_html": "Conteúdo Readability
", "cleaned_text": "Texto puro Readability", }, } body = resolve_article_body(art1) assert "*Readability*" in body or "_Readability_" in body # Fallback art2 = { "selected_extractor": "readability", "readability": {"cleaned_html": "", "cleaned_text": "Texto puro Readability Fallback"}, } assert resolve_article_body(art2) == "Texto puro Readability Fallback" @pytest.mark.parametrize("extractor", ["trafilatura", "newspaper4k", "readability"]) def test_resolve_article_body_strict_isolation_all_extractors(extractor: str): """Garante que a ausência de corpo no extrator selecionado NUNCA faça fallback para outro extrator.""" article = { "selected_extractor": extractor, "trafilatura": {"markdown": "Texto Trafilatura", "text": "Texto Trafilatura"}, "newspaper4k": {"article_html": "Texto Newspaper
", "text": "Texto Newspaper"}, "readability": { "cleaned_html": "Texto Readability
", "cleaned_text": "Texto Readability", }, } # Esvazia o corpo do extrator selecionado if extractor == "trafilatura": article["trafilatura"] = {"markdown": None, "text": ""} elif extractor == "newspaper4k": article["newspaper4k"] = {"article_html": "", "text": None} elif extractor == "readability": article["readability"] = {"cleaned_html": None, "cleaned_text": ""} with pytest.raises(ValueError, match="Corpo do extrator selecionado.*vazio|indisponível"): resolve_article_body(article) def test_resolve_article_body_invalid_selected_extractor(): """Garante erro ao receber selected_extractor ausente ou não reconhecido.""" with pytest.raises(ValueError, match="selected_extractor inválido ou ausente"): resolve_article_body({"selected_extractor": "extrator_desconhecido"}) with pytest.raises(ValueError, match="selected_extractor inválido ou ausente"): resolve_article_body({"selected_extractor": None}) # ============================================================================== # 7. Testes da Matriz Determinística de Resolução de Metadados # ============================================================================== def test_metadata_priority_title_all_fallbacks(): """Valida a cadeia de fallback completa para o campo TÍTULO (6 níveis).""" # 1. Do selecionado art1 = {"selected_extractor": "trafilatura", "trafilatura": {"title": "Título Selecionado"}} assert ( resolve_article_metadata({**art1, "crawled_url": "https://e.com"})["title"] == "Título Selecionado" ) # 2. input_meta.titulo art2 = { "selected_extractor": "trafilatura", "input_meta": {"titulo": "Título Input Meta"}, "crawled_url": "https://e.com", } assert resolve_article_metadata(art2)["title"] == "Título Input Meta" # 3. page_title art3 = { "selected_extractor": "trafilatura", "page_title": "Título Page Title", "crawled_url": "https://e.com", } assert resolve_article_metadata(art3)["title"] == "Título Page Title" # 4. newspaper4k.title art4 = { "selected_extractor": "trafilatura", "newspaper4k": {"title": "Título Newspaper"}, "crawled_url": "https://e.com", } assert resolve_article_metadata(art4)["title"] == "Título Newspaper" # 5. readability.title art5 = { "selected_extractor": "trafilatura", "readability": {"title": "Título Readability"}, "crawled_url": "https://e.com", } assert resolve_article_metadata(art5)["title"] == "Título Readability" def test_metadata_priority_original_url_all_fallbacks(): """Valida a cadeia de fallback completa para a URL ORIGINAL (5 níveis).""" # 1. input_meta.url art1 = { "selected_extractor": "trafilatura", "trafilatura": {"title": "T"}, "input_meta": {"url": "https://example.com/input-meta"}, "crawled_url": "https://example.com/crawled", } assert resolve_article_metadata(art1)["original_url"] == "https://example.com/input-meta" # 2. crawled_url art2 = { "selected_extractor": "trafilatura", "trafilatura": {"title": "T"}, "crawled_url": "https://example.com/crawled", } assert resolve_article_metadata(art2)["original_url"] == "https://example.com/crawled" # 3. Canonical do selecionado art3 = { "selected_extractor": "trafilatura", "trafilatura": {"title": "T", "canonical_url": "https://example.com/canonical-trafilatura"}, } assert ( resolve_article_metadata(art3)["original_url"] == "https://example.com/canonical-trafilatura" ) # 4. Canonical do newspaper4k art4 = { "selected_extractor": "readability", "readability": {"title": "T"}, "newspaper4k": {"canonical_link": "https://example.com/canonical-newspaper"}, } assert ( resolve_article_metadata(art4)["original_url"] == "https://example.com/canonical-newspaper" ) def test_metadata_priority_subtitle_omitted_when_equal_to_title(): """Garante que subtítulo idêntico ao título seja automaticamente omitido (None).""" art = { "selected_extractor": "trafilatura", "trafilatura": { "title": "Grande Vitória no Clássico", "description": " grande vitória no clássico ", }, "crawled_url": "https://example.com/noticia", } meta = resolve_article_metadata(art) assert meta["title"] == "Grande Vitória no Clássico" assert meta["subtitle"] is None def test_metadata_priority_first_valid_source_no_cross_merging(): """Garante que listas de autores/tags usem apenas a primeira fonte válida, sem merge cruzado.""" art = { "selected_extractor": "readability", "crawled_url": "https://example.com/noticia", "readability": {"title": "Título", "author": "Carlos Bilardo"}, "newspaper4k": {"authors": ["Juan Pérez", "María Gómez"]}, } meta = resolve_article_metadata(art) # Deve pegar o autor de Readability (selecionado), sem misturar com Newspaper4k assert meta["authors"] == ["Carlos Bilardo"] # ============================================================================== # 8. Testes de Higienização de Cabeçalhos e Imagens no Corpo # ============================================================================== def test_remove_duplicate_initial_h1_exact_and_variations(): """Testa remoção de H1 inicial coincidente com título com variações de espaços e caixa.""" title = "River Plate Conquista a Copa" # H1 inicial igual body1 = "# river plate conquista a copa\n\nPrimeiro parágrafo do artigo." assert remove_duplicate_initial_h1(body1, title).strip() == "Primeiro parágrafo do artigo." # H1 inicial diferente (deve ser preservado) body2 = "# Outro Título Diferente\n\nPrimeiro parágrafo." assert remove_duplicate_initial_h1(body2, title) == body2 # Sem H1 inicial body3 = "Parágrafo sem nenhum título H1 inicial." assert remove_duplicate_initial_h1(body3, title) == body3 def test_clean_body_images_removes_invalid_and_deduplicates(): """Valida descarte de data:, relativos e deduplicação mantendo a primeira ocorrência.""" body = ( "\n\n" "\n\n" "\n\n" "\n\n" "" ) cleaned = clean_body_images(body) assert cleaned.count("https://example.com/img1.jpg") == 1 assert "https://example.com/img2.webp" in cleaned assert "/imagem.png" not in cleaned assert "data:image" not in cleaned # ============================================================================== # 9. Testes de Montagem e Formatação do Documento Markdown # ============================================================================== def test_assemble_markdown_document_full_and_minimal(): """Testa montagem com todos os campos e apenas com campos obrigatórios.""" # Artigo Mínimo (apenas Título e URL Original) min_meta = { "title": "Título Mínimo", "original_url": "https://example.com/minimo", "subtitle": None, "authors": [], "publish_date": None, "site_name": None, "categories": [], "tags": [], "keywords": [], "language": None, "top_image": None, } doc_min = assemble_markdown_document(min_meta, "Corpo do texto simples.") assert doc_min.startswith("# Título Mínimo\n\n") assert "**Fonte original:** [https://example.com/minimo](https://example.com/minimo)" in doc_min assert "**Autor:**" not in doc_min assert "**Site:**" not in doc_min assert "![Imagem principal]" not in doc_min assert "\n\n---\n\nCorpo do texto simples.\n" in doc_min assert doc_min.endswith("\n") assert not doc_min.endswith("\n\n") # ============================================================================== # 10. Golden Test Fixtures (Conformidade 100% Byte a Byte) # ============================================================================== def test_golden_fixtures_byte_level_precision(tmp_path): """Garante correspondência exata byte a byte para Trafilatura, Newspaper4k e Readability.""" for extractor in ["trafilatura", "newspaper4k", "readability"]: input_json = FIXTURES_DIR / f"valid_{extractor}.json" expected_md = (FIXTURES_DIR / f"valid_{extractor}.md").read_text(encoding="utf-8") output_md = tmp_path / f"valid_{extractor}.md" res = subprocess.run( [sys.executable, str(SCRIPT_PATH), "-i", str(input_json), "-o", str(output_md)], capture_output=True, text=True, ) assert res.returncode == 0, f"Erro no extrator {extractor}: {res.stderr}" generated_md = output_md.read_text(encoding="utf-8") assert generated_md == expected_md, f"Divergência byte a byte na fixture {extractor}" def test_conversion_determinism_sha256_repeatability(tmp_path): """Garante que múltiplas execuções no mesmo arquivo produzam hashes SHA-256 idênticos.""" input_json = FIXTURES_DIR / "valid_trafilatura.json" hashes = set() for i in range(5): out_md = tmp_path / f"deterministic_{i}.md" res = subprocess.run( [sys.executable, str(SCRIPT_PATH), "-i", str(input_json), "-o", str(out_md)], capture_output=True, text=True, ) assert res.returncode == 0 content_bytes = out_md.read_bytes() hashes.add(hashlib.sha256(content_bytes).hexdigest()) assert len(hashes) == 1, "A conversão não foi 100% determinística entre execuções repetidas." # ============================================================================== # 11. Testes de Integração CLI, Validação e Códigos de Saída # ============================================================================== def test_cli_exit_codes_and_error_handling(tmp_path): """Testa toda a matriz de códigos de saída da CLI (0, 1, 2).""" # Código 2: Sintaxe / Argumentos Faltantes res_no_args = subprocess.run([sys.executable, str(SCRIPT_PATH)], capture_output=True, text=True) assert res_no_args.returncode == 2 # Código 1: Arquivo Inexistente res_missing_file = subprocess.run( [sys.executable, str(SCRIPT_PATH), "-i", "arquivo_que_nao_existe_xyz.json"], capture_output=True, text=True, ) assert res_missing_file.returncode == 1 assert "não encontrado" in res_missing_file.stderr.lower() # Código 1: Rejeição de Batch com chave 'articles' res_batch = subprocess.run( [sys.executable, str(SCRIPT_PATH), "-i", str(FIXTURES_DIR / "batch_articles_invalid.json")], capture_output=True, text=True, ) assert res_batch.returncode == 1 assert "articles" in res_batch.stderr.lower() # Código 1: JSON Corrompido res_corrupt = subprocess.run( [sys.executable, str(SCRIPT_PATH), "-i", str(FIXTURES_DIR / "corrupt_json_invalid.json")], capture_output=True, text=True, ) assert res_corrupt.returncode == 1 assert "json" in res_corrupt.stderr.lower() def test_cli_json_root_must_be_object(tmp_path): """Garante encerramento com código 1 caso a raiz do JSON seja lista, número ou string.""" for invalid_root in [["item1", "item2"], 12345, "string simples"]: bad_json = tmp_path / "bad_root.json" bad_json.write_text(json.dumps(invalid_root), encoding="utf-8") res = subprocess.run( [sys.executable, str(SCRIPT_PATH), "-i", str(bad_json)], capture_output=True, text=True, ) assert res.returncode == 1 assert "objeto" in res.stderr.lower() or "dict" in res.stderr.lower() def test_cli_no_stdout_pollution_and_atomic_preservation(tmp_path): """Garante que stdout permaneça limpo e gravação atômica preserve arquivos preexistentes em falha.""" target_md = tmp_path / "target_document.md" target_md.write_text("Versão Original Preservada", encoding="utf-8") # Executa conversão bem-sucedida res_ok = subprocess.run( [ sys.executable, str(SCRIPT_PATH), "-i", str(FIXTURES_DIR / "valid_trafilatura.json"), "-o", str(target_md), ], capture_output=True, text=True, ) assert res_ok.returncode == 0 assert res_ok.stdout == "" # Não polui stdout assert "[INFO]" in res_ok.stderr # Executa falha direcionada ao mesmo target res_fail = subprocess.run( [ sys.executable, str(SCRIPT_PATH), "-i", str(FIXTURES_DIR / "missing_body_invalid.json"), "-o", str(target_md), ], capture_output=True, text=True, ) assert res_fail.returncode == 1 # O arquivo target deve manter o conteúdo do sucesso anterior, não foi apagado/corrompido assert "# Los puntajes de River" in target_md.read_text(encoding="utf-8") # Verifica que não há arquivos temporários .tmp no diretório tmp_files = list(tmp_path.glob("*.tmp")) assert len(tmp_files) == 0 def test_cli_default_output_naming(tmp_path): """Garante geração automática de