HTML – LangChain 中文站

HTML

超文本标记语言（HTML）是用于在 Web 浏览器中显示的文档的标准标记语言。

这部分涵盖了如何将 HTML 文档加载到我们可以在下游使用的文档格式中。

from langchain_community.document_loaders import UnstructuredHTMLLoader

loader = UnstructuredHTMLLoader("example_data/fake-content.html")

data = loader.load()

data

    [Document(page_content='My First Heading\n\nMy first paragraph.', lookup_str='', metadata={'source': 'example_data/fake-content.html'}, lookup_index=0)]

使用 BeautifulSoup4 加载 HTML

我们还可以使用 BeautifulSoup4 来使用 BSHTMLLoader 加载 HTML 文档。这将把 HTML 中的文本提取到 page_content 中，将页面标题作为 title 提取到 metadata 中。

from langchain_community.document_loaders import BSHTMLLoader

loader = BSHTMLLoader("example_data/fake-content.html")
data = loader.load()
data

    [Document(page_content='\n\nTest Title\n\n\nMy First Heading\nMy first paragraph.\n\n\n', metadata={'source': 'example_data/fake-content.html', 'title': 'Test Title'})]

使用 SpiderLoader 加载 HTML

Spider 是最快的爬虫。它可以将任何网站转换为纯 HTML、markdown、元数据或文本，同时让你使用 AI 自定义操作进行爬取。

Spider 允许你使用高性能代理来防止检测、缓存 AI 操作、用于爬取状态的 webhook、定时爬取等…

前提条件

你需要一个 Spider API 密钥才能使用此加载器。你可以在 spider.cloud 上获取一个。

%pip install --upgrade --quiet  langchain langchain-community spider-client

from langchain_community.document_loaders import SpiderLoader

loader = SpiderLoader(
    api_key="YOUR_API_KEY", url="https://spider.cloud", mode="crawl"
)

data = loader.load()

有关指南和文档，请访问 Spider

使用 FireCrawlLoader 加载 HTML

FireCrawl 会爬取任何网站并将其转换为 markdown。它会爬取所有可访问的子页面，并为你提供干净的 markdown 和每个页面的元数据。

FireCrawl 能处理反向代理、缓存、速率限制以及被 JavaScript 阻止的内容等复杂任务。

前提条件

你需要一个 FireCrawl API 密钥才能使用此加载器。你可以通过注册 FireCrawl 获取一个。

%pip install --upgrade --quiet  langchain langchain-community firecrawl-py

from langchain_community.document_loaders import FireCrawlLoader


loader = FireCrawlLoader(
    api_key="YOUR_API_KEY", url="https://firecrawl.dev", mode="crawl"
)

data = loader.load()

有关如何使用 FireCrawl 的更多信息，请访问 FireCrawl。

使用 AzureAIDocumentIntelligenceLoader 加载 HTML

Azure AI 文档智能（以前称为 Azure Form Recognizer）是基于机器学习的服务，用于从数字或扫描的 PDF、图像、Office 和 HTML 文件中提取文本（包括手写）、表、文档结构（例如标题、节标题等）和键值对。文档智能支持 PDF、JPEG/JPG、PNG、BMP、TIFF、HEIF、DOCX、XLSX、PPTX 和 HTML。

这个使用 文档智能 的当前实现可以逐页合并内容并将其转换为 LangChain 文档。默认的输出格式是 markdown，可以轻松地与 MarkdownHeaderTextSplitter 链接以进行语义文档分块。您还可以使用 mode="single" 或 mode="page" 来返回纯文本，一个页面或根据页面拆分的文档。

先决条件

在 3 个预览区域之一拥有 Azure AI 文档智能资源：East US、West US2、West Europe - 如果没有，请参考此文档创建一份。您将作为参数传递 <endpoint> 和 <key> 给加载器。

%pip install --upgrade --quiet langchain langchain-community azure-ai-documentintelligence

from langchain_community.document_loaders import AzureAIDocumentIntelligenceLoader

file_path = "<filepath>"
endpoint = "<endpoint>"
key = "<key>"
loader = AzureAIDocumentIntelligenceLoader(
    api_endpoint=endpoint, api_key=key, file_path=file_path, api_model="prebuilt-layout"
)

documents = loader.load()

文件目录（FileDirectory）JSON