AI网页抓取→Token清洗与成本优化

AI管道在处理网页数据时，大量token被浪费在导航栏、页脚和广告等无关内容上，导致成本失控且难以规模化。