Crawl4AI 预处理网页供 Bedrock 知识库使用

AWS Machine Learning Blog 发布教程，介绍在 Amazon Bedrock Knowledge Bases 的 S3 数据源前增加一步 Crawl4AI 预处理：这个开源 Python 爬虫为每个页面生成 Markdown 和元数据 sidecar 并写入 S3，再由知识库完成解析、分块、嵌入与索引，适用于需要精细控制网页内容的场景。 该方案面向已知网页的批量摄取，而非推理时的实时网页访问（如 Amazon Nova 的 Web Grounding）；只处理公开页面，不实现需登录的会话。Amazon Bedrock 对每个元数据 sidecar 限制为 10 KB；每次运行按配置的任务规格产生 Fargate 费用，默认 2 vCPU、4 GB。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。