当页面从几十个涨到几百上千个,手工维护的瓶颈通常不是“做得慢”,而是“每次改动都可能漏掉一批页面”。是否该从手工转向批量化,判断依据是:这项工作是否依赖单页判断,以及错误代价能否被事后检查拦住。前者适合保留手工,后者应尽早交给规则或脚本处理。
依赖单页判断的工作,价值恰恰在于人工介入。比如首页、核心栏目页、主要产品页的标题与内容组织,需要结合业务理解和用户意图来定,规模再大也不该用模板批量套。这类页面的数量通常有限,手工做反而更稳。
依赖一致性的工作则相反:当同一规则要应用到几十个以上页面时,手工执行就开始产生偏差。典型特征是规则可以写清楚、结果可以逐条核对,例如内链结构、面包屑、分页链接、规范化标签、站点地图生成。这类工作规模越大,手工越容易漏改、错改,且很难回溯是哪一次改动引入的问题。
可以按“错误是否可批量发现”来排序。以下三类在规模扩大后,继续手工通常得不偿失:
一个实际动作是:先选一个模板字段,把当前所有页面的取值导出成清单,人工核对其中二十条,确认规则描述是否与预期一致。如果清单里出现同一规则下多种写法,说明这条规则还没被真正定义清楚,此时上脚本只会把混乱放大;如果清单高度一致,就可以把这条规则固化下来,下一步再处理下一条。
手工并非落后,它成立的条件是:页面数量有限,且每个页面的最优解不同。核心落地页、专题页、需要结合季节或活动的页面,都属于这一类。把这些页面批量模板化,短期省事,长期会削弱它们在搜索结果中的区分度。
另一种适合手工的情形是规则尚未稳定。当团队还在争论某类页面到底该用哪种结构时,先手工试几个样本,观察用户行为和抓取表现,再决定是否固化成规则,比直接写死模板更稳妥。这里要注意:某个页面的表现变化不能单独证明规则正确,样本量小、时间短、外部竞争变化都可能解释同一现象。
假设某站点有约两千个商品页和三十个栏目页。条件一:栏目页需要人工编排主打商品与文案,那么栏目页继续手工,商品页的标题、描述、面包屑、相关推荐则规则化生成。条件二:商品页本身高度同质,只有类目和属性不同,那么连页面主体结构也可以模板化,人工只处理少量重点商品。
两种条件的差别在于:页面之间是否存在需要单独判断的差异。有差异就保留人工,没有差异就交给规则。判断失误的代价也不同——把该手工的批量处理,损失的是页面质量;把该批量的继续手工,损失的是时间和一致性。
规则上线后,仍要保留抽查环节。常见例外包括:内容被删除但链接未清理、页面被合并后旧地址仍在站点地图中、多语言站点里语言标记与内容不匹配。这些情况在样本阶段往往不出现,规模扩大后才暴露。
另外,抓取量或索引量的短期波动不能单独作为判断依据。服务器响应变慢、站点结构调整、外部链接变化都可能造成类似现象。更可靠的做法是:把规则改动与时间点记录下来,改动后观察一段时间,再结合日志或抓取数据判断,而不是看到某个数字下降就立刻回退全部规则。
规模扩大后,判断标准可以归结为一句话:需要逐页判断的保留手工,需要跨页一致的尽早规则化,并在两者之间保留抽查与回退的余地。