找人找车标准 RAG 解决方案

多模态人车检索标准方案,支持万路级联网、客户级独立库与结构化 + 向量混合检索

项目背景

背景信息

园区、街道和基层治理单位已经建设了大量视频监控点位,但跨点位、跨时段的人车线索仍高度依赖人工回看。随着园区规模扩大、人口与车辆流动加快,以及网格化治理不断深入,临时找人、车辆追踪、异常线索核验等需求逐年增加,传统“按摄像头逐段查看”的方式难以满足时效要求。

项目面向园区管理者、网格员、街道综治中心和派出所,将分散的视频流转化为可检索的人车特征库。用户既可以上传目标图片,也可以输入“黑色上衣、戴眼镜、下午三点出现在南门附近”这类自然语言,并叠加车牌、颜色、时间、点位等精确条件,快速获得候选结果和轨迹线索。

方案并不追求以昂贵硬件替换全部存量摄像头,而是围绕关键帧提取、质量过滤、端云协同和多模态混合检索建立标准产品能力,让不同规模客户能够按库容量、点位数量和查询并发逐步扩容。

找人找车业务运营平台运行总览
园区客户

访客与车辆核验、重点区域巡查、事件复盘

网格员

社区走访、线索排查、跨点位快速确认

街道

跨社区协同、综治事件研判、资源统一纳管

派出所

人车线索检索、时空轨迹拼接、候选结果复核

核心问题

  1. 识别不准,搜索不出有效结果:低清、遮挡、侧脸、夜间和小目标画面导致单一 CV 模型误检漏检;只依赖标签又无法表达复杂的自然语言线索。
  2. 推理存储需求大,实施成本高:连续视频全量分析会产生海量重复帧,算力、带宽、对象存储和向量库成本随点位规模快速增长。
  3. 模糊语义与精确条件难以统一:相似人物、车辆适合向量检索,而人体属性、车牌、时间、点位、颜色等条件必须精确过滤,单一召回方式难以兼顾。
  4. 行业标准方案灵活性及组网差:竞品大多采用一体机方案进行处理,难以适配城市网格、街道等场景对存量摄像头的利旧与联网分析需求。

思考与决策

1. 先缩量后检索
  • 端侧为主进行运动目标检测和关键帧抽取,云侧作为非核心点位的辅助检测手段。
  • 先完成清晰度、遮挡、曝光和目标尺寸过滤,再进入高成本模型链路。
  • 抽帧会在短时间内产生重复信息,因此在单点位数据正式入库前,再进行一次信息去重过滤。
2. 结构化库与向量库并行,不做纯向量搜索
  • 人脸、车辆前后脸和 ROI 图片进入向量库,支持相似图与自然语言语义召回。
  • 车牌、时间、点位、颜色、性别、帽子和眼镜等字段进入结构化库,承担精确筛选。
  • 原图与短视频保存在对象存储中,通过统一事件 ID 关联检索结果。
3. 多路召回 + 融合精排,提升复杂场景可用性
  • 关键词/BM25、结构化条件与视觉向量并行召回,使用 RRF 合并不同得分尺度的候选集。
  • 候选 Top-K 使用 Qwen3-VL-Rerank 进行图文相关性精排,处理颜色、衣着、车型与局部目标关系。
  • 结果页保留置信度、命中条件和原始画面,最终判断由业务人员完成。
4. 产品标准化优先于单项目定制
  • 客制化改动大、周期长,因此牺牲部分定制能力,只面向 BG 类客户进行销售,提升迭代能力和维护能力,降低运营服务成本。
  • 按客户覆盖的摄像头规模定义标准套餐,分为小型、中型、大型服务套餐;不同套餐设置对应的保存周期、查询并发和部署模式。
  • 一个客户一个逻辑库与独立权限域,跨库检索必须显式授权并完整记录审计日志。

商业模型设计

S

园区轻量库

100–500 路

单园区部署,支持基础人车建库、图片/文字查询与 1–3 路查询并发。

M

街道标准库

500–3,000 路

多社区联网,支持独立权限、轨迹研判、批量导入与 5–10 路查询并发。

L

区域联网库

3,000–10,000+ 路

面向街道集群或区县,支持专属资源池、分库联查与 10–30 路查询并发。

建设与运营成本

成本项目测算口径成本说明
初期产品建设约 10 人团队约 300 万元覆盖产品研发、模型链路、检索平台、权限审计和标准化部署能力。
固定运营投入2–3 人团队约 10 万元 / 月负责版本维护、客户支持、模型评测、资源监控和线上问题处置。
综合算力与存储按活跃摄像头计费最高约 8 元 / 路 / 月包含云侧关键帧处理、多模态 Embedding、向量检索及基础存储成本。

客户成本与部署选择

项目成本参考适用方式业务判断
端侧智能摄像头约 260 元 / 台建议新建点位采购端侧完成运动目标检测和关键帧抽取,降低持续上云带宽与推理压力。
云侧关键帧识别约 3 元 / 路 / 月存量摄像头利旧无需更换前端设备,以云侧能力兼容多品牌、多芯片和非智能 IPC。
Embedding 与检索约 4–5 元 / 路 / 月全部套餐覆盖 Qwen 相关多模态处理、向量化、向量检索、精排及基础数据存储。
标准目录价 20 元 每路 / 月
平均成交折扣 85 折 按数量阶梯优惠
平均实收单价 17 元 每路 / 月

采用统一定价与标准套餐。前向渠道仅需确认客户需求是否落在产品能力边界内,再依据接入规模执行阶梯折扣,不再判断模型、存储和部署等复杂报价因素。

年度效益测算

以当前第 2 年活跃规模 5.6 万路为基准;续费率取区间中值 65%,年新增取中值 1.75 万路。

指标计算方式测算结果经营含义
年度收入56,000 × 17 元 × 12 月1,142.4 万元当前规模对应的年度经常性收入。
年度变动成本56,000 × 8 元 × 12 月537.6 万元按综合成本上限测算,实际优化后仍有改善空间。
年度经营贡献1,142.4 − 537.6 − 120484.8 万元扣除固定运营团队后、尚未分摊初期建设投入的贡献。
下一年度活跃规模56,000 × 65% + 17,500约 5.39 万路按当前续费率与年新增中值测算,活跃规模小幅回落。
规模波动区间续费 60%–70% + 新增 1.5–2 万4.86–5.92 万路对应年度经营贡献约 405–519 万元。

LTV · CAC · ROI

单路 LTV270 元

(17 − 8) × 30 个月;按平均生命周期 2.5 年的贡献毛利口径。

CAC 代理值100 元

前线销售渠道不单独计提佣金,以销售公司单路留存利润 100 元作为 CAC 代理值。

LTV / CAC2.7×

270 ÷ 100。以销售公司单路留存利润作为渠道获客成本代理,用于内部经营测算。

投资回收期约 7.4 月

300 万 ÷ 当前规模月经营贡献 40.4 万元。

2.5 年 ROI约 304%

当前 5.6 万路维持 30 个月,扣除变动成本、运营成本与初始投入后净收益约 912 万元。

盈亏平衡规模约 2.22 万路

同时覆盖每月运营成本,并在 2.5 年内摊回 300 万元初期投入。

注:测算未计税费、渠道佣金、硬件采购差价及客户回款周期;端侧摄像头默认由客户采购,不计入平台变动成本。

技术方案

01

建库流程

从视频流到客户独立人车特征库

01 视频接入

云侧视频流 + 端侧摄像头
统一协议接入与点位管理

02 关键帧识别

运动目标检测与关键帧抽取
人脸 / 车辆前后脸 ROI

03 质量过滤与去重

清晰度、遮挡、曝光、目标尺寸
单点位时空重复信息过滤

04 语义与属性提取

小模型属性识别 + OCR
生成人车结构化字段与描述

05 多模态向量化

Tongyi Embedding Vision Plus
ROI 与语义描述统一向量化

SQL
结构化库

车牌、时间、点位、颜色、人员与车辆属性、OCR 字段

VECTOR
向量库

人脸、车辆前后脸 ROI 向量,以及自然语言描述向量

OBJECT
对象存储

原始关键帧、目标截图与关联证据,支持结果回看与审计

一个客户一个逻辑库独立权限域 · 独立生命周期 · 跨库显式授权
S园区轻量库 M街道标准库 L区域联网库
02

搜索流程

图片、文字与结构化字段统一查询

文字查询

自然语言向量化,并抽取时间、点位、车牌、颜色、性别、衣着、帽子、眼镜等结构化条件。

图片查询

Qwen-VL Flash 2D Grounding 定位人车目标 ROI,再由 Vision Plus 生成查询向量。

字段查询

支持车牌、设备、区域、时间窗口、人员与车辆属性的独立或组合筛选。

召回向量 + 关键词 + 结构化过滤

向量搜索处理相似外观和自然语言;关键词/BM25 与字段过滤保证精确条件不被语义召回稀释。

融合RRF 候选融合

对多路排名进行倒数排序融合,无需强行归一化不同检索器的分数。

精排Qwen3-VL-Rerank

对 Top-K 图文候选做跨模态相关性判断,输出可解释的排序、命中条件与置信度。

客户级隔离

一个客户一个逻辑库,默认禁止跨租户检索。

最小权限

按角色、区域、点位和用途授权查询与导出。

全程审计

记录查询人、条件、时间、命中与导出行为。

生命周期

按业务目的配置保留周期,到期自动清理原图与向量。

项目成果

商业成果

发展规模5.6万路

上线两年形成 5.6 万路发展规模

续费率65%

续费率偏低大部分由于客户自身需求取消

覆盖省份10省

完成跨区域复制,覆盖 10 个省份。

产品成果

从 3–5 类代表性场景中,每类抽取 10–20 个点位建立内部测试集,经人工筛选测试集,统一以 Top 3&10 覆盖率评估候选结果。

人员检索
图片搜索跨视角相似人员召回
Top 3≥ 74%Top 10≥ 80%
行业参考 75%–88%
结构化搜索性别、衣着、帽子、眼镜等属性组合
Top 3≥ 46%Top 10≥ 50%
行业参考 40%–60%
车辆检索
图片搜索车型、颜色与外观特征相似召回
Top 3≥ 76%Top 10≥ 82%
行业参考 75%–90%
结构化搜索(含车牌)车牌与时间、点位等精确条件组合
Top 3≥ 90%Top 10≥ 92%
行业参考 90%–98%
结构化搜索(无车牌)颜色、车型、品牌等属性组合
Top 3≥ 41%Top 10≥ 45%
行业参考 35%–55%

Top 3 为基于 Top 10 回归结果与候选排序集中度的保守测算值;Top 10 为内部验收与版本回归值。上述结果不是所有客户环境的统一承诺,项目上线前需根据本地摄像头质量、视角与样本难度完成基线校准。

项目展示

找人、找车、以图搜图和以文搜图工作台
工作台入口
按人员特征筛选真实抓拍结果的找人页面
找人
按车辆特征筛选高位监控抓拍结果的找车页面
找车
上传车辆图片并检索相似车辆结果的图片检测页面
车辆图片检测
全国通道、图片入库和检索服务指标运营总览
运营总览
通过人物条件、地图点位与时间线进行人员检索的页面
人员地图检索