SVGE v0 工作流

先看樣例 — 為什麼這件事值得做

讀者應該先看到效果，再看方法。這組 9 張圖展示的是同一類高速巡檢世界：不同天氣、光照、車流、維修設備、警戒區與生成後 mask 都能被組成可驗證樣本。它不是普通高速風景圖，而是把「業務事件」變成「可訓練資料」的第一個證據。

SVGE 第 0 階段 — 200 張小型驗證閉環

1. 核心修正：不能再讓方案顯得過度依賴提示詞

目前方向仍然成立：mask 控制幾何，JSON 控制語義，提示詞控制場景。但更準確的公司級定義不是普通 AIGC，也不是「用提示詞生成高速圖片」，而是 結構化視覺數據生成系統。提示詞只是生成條件之一；真值應由 multi-layer mask、structured JSON 和 QA 規則共同定義。

2. 終局架構：高價場景數據工廠

完整閉環應該作為第 1/2 階段的公司願景，而不是第 0 階段的即刻交付。第 0 階段的任務是把這套終局架構壓縮成一個可驗證、可展示、可擴張的小閉環。

這條鏈路的核心思想是：用高價場景定義語義，用 scene graph 定義關係，用 multi-layer mask 定義幾何，用 JSON 定義標註，用生成模型補足長尾，用真實測試驗證價值。

3. 第 0 階段不做完整工廠，只做 200 張小型驗證版

如果目標是快速看到效果、拿融資和顯卡，第 0 階段必須聚焦。200 張不能覆蓋全部橋梁、邊坡、路面、事件、應急場景；它應該是一個小樣本實驗，用來驗證「結構化合成數據是否能改善真實測試集上的高價任務」。

4. 為什麼第一版選「動態事件巡檢」

邊坡雨後巡檢更貼近 UAV 高價場景，但 200 張對病害分割偏少，且對圖像質量、mask 精度和真實測試集要求更高。橋梁巡檢價值也高，但裂縫、支座、露筋等目標太細，第一輪生成與標註風險更大。動態事件巡檢最適合快速驗證：目標物清楚，mask / JSON 容易對齊，真實測試圖更容易找到，投資人和業務方也更容易看懂。

5. 200 張樣本分配

200 張要極度聚焦，最多 4–6 個核心類別，再加 hard negative 負樣本。不要平均鋪開全部高價場景。

6. 每張樣本必須是結構化資料包

這 200 張不是普通圖片集。每張都要回答業務問題：是否異常、異常在哪、是否影響通行、是否需要告警、是否需要人工復核、下一步處置是什麼。

{
  "sample_id": "dynamic_event_000031",
  "scenario": "dynamic_event_inspection",
  "business_type": "dynamic_event_response",
  "scene_context": {
    "road_type": "highway",
    "weather": "daytime_clear",
    "viewpoint": "gantry_or_uav_oblique_view",
    "inspection_task": "dynamic_event_detection"
  },
  "objects": [
    {
      "id": 1,
      "class": "debris",
      "mask_id": 12,
      "mask_type": "instance_mask",
      "location": "right_lane",
      "is_abnormal": true,
      "risk_level": "medium",
      "traffic_impact": "partial_lane_risk",
      "requires_alert": true,
      "recommended_action": "notify_road_operation_center"
    }
  ],
  "scene_labels": {
    "overall_risk_level": "medium",
    "requires_emergency_response": false,
    "requires_maintenance_work_order": true
  }
}

7. QA 規則：生成 260–300 張，保留 200 張

200 張應該是 QA 後的可用樣本，而不是剛好生成 200 張。小樣本驗證最怕低質樣本污染訓練，所以拒收標準必須前置。

8. 訓練閉環：不先訓生成模型，先證明合成數據對真實任務有用

第一階段不訓「mask + JSON + 提示詞 → 圖像」生成模型。更快、更有商務說服力的驗證，是拿 200 張合成數據做增量微調，看真實測試集是否變好。

9. 對外敘事：小型驗證版不是終局，但足以拿資源

對外不需要說「我們已經建完完整數據工廠」，也不需要暴露底層生成後端。應該說：SVGE 已能把高價巡檢場景轉化為可控、可標註、可驗證的結構化合成樣本，第一個小型驗證版將用 200 張動態事件樣本驗證其對真實模型效果的增益。

GPT Image 2 機制與標註策略

1. 機制邊界：生成前是意圖，生成後才是真值

OpenAI 官方文檔對這件事其實已經給出邊界：GPT Image 2 支援文字生成，也支援圖像編輯；帶 mask 的圖像編輯會用 mask 指導編輯，但這種控制是提示詞驅動，模型不保證完全精確服從 mask 形狀。ChatGPT Images 在 Chrome 裡的選區編輯也一樣，選區不一定精確，編輯可能超出選區。

2. JSON 必須拆成兩層：意圖與真值

一張樣本在生成前後應該有兩套 JSON。生成前的 intent_json 表達「我們想要什麼」；生成後的 final_json 表達「圖裡實際有什麼」。模型訓練只能使用 final_json，不能使用 intent_json。

{
  "intent_json": {
    "sample_id": "dynamic_event_000031",
    "scenario": "dynamic_event_inspection",
    "target_event": {
      "class": "debris",
      "location": "right_lane_middle_view",
      "size": "small",
      "risk_level": "medium",
      "traffic_impact": "partial_lane_risk"
    },
    "generation_constraints": {
      "no_unlabeled_major_objects": true,
      "no_fire": true,
      "no_rescue_scene": true,
      "realistic_surveillance_style": true
    }
  }
}

{
  "final_json": {
    "sample_id": "dynamic_event_000031",
    "image": "images/dynamic_event_000031.png",
    "objects": [
      {
        "id": 1,
        "class": "debris",
        "bbox": [0.62, 0.58, 0.08, 0.05],
        "mask_path": "masks/dynamic_event_000031_debris_01.png",
        "mask_source": "sam_plus_human_refine",
        "is_abnormal": true,
        "risk_level": "medium",
        "traffic_impact": "partial_lane_risk",
        "requires_alert": true
      }
    ],
    "qa": {
      "matches_intent": true,
      "has_unlabeled_major_object": false,
      "usable_for_training": true
    }
  }
}

3. Mask 也必須拆成三層

如果 GPT Image 2 把拋灑物生成得稍微偏左、偏大或邊界自然化，這對視覺真實性可能是好事，但訓練標註不能沿用原始 intent_mask。正確做法是用 image_aligned_mask 訓練，再用 qa_delta_mask 判斷這張圖是否仍然符合業務意圖。

4. Chrome 裡的三種生成方式

5. 第 0 階段的實際閉環

第 0 階段不應該剛好生成 200 張，而應該生成 400–600 張候選，最後只保留 200 張。這樣才能把 GPT Image 2 的生成波動轉化為篩選優勢，而不是把不穩定樣本硬塞進訓練集。

Mask 數據集設計原則

1. 先區分三種「一張 mask」

所以答案不是「一張圖能不能只有一張 mask」，而是「這張 mask 是普通黑白 mask，還是帶 ID 和 metadata 的 panoptic map」。前者不夠，後者可以作為完整標註系統的一層。

2. 高質數據集的共同規律

3. 為什麼高速巡檢不能只用一張白色 mask

一張高速巡檢圖通常同時包含三類語義：場景結構、可數物體、業務異常。單一二值 mask 只能回答「哪裡是前景」，不能回答以下問題：

• 這個前景是車、行人、拋灑物、錐桶，還是病害？
• 同一張圖裡有幾個獨立 object？
• 異常在哪條車道、是否在應急車道、是否阻斷救援路線？
• 裂縫或坑洞屬於 road_surface，還是橋面、邊坡、排水溝？
• 陰影、污漬、反光、修補痕跡是否是 hard negative？
• 這個樣本是否需要告警、人工復核、派工或應急處置？

4. SVGE 的四層 mask 設計

5. 為什麼 defect 要做 overlay

病害和場景結構常常是重疊語義。一個像素可以同時是 road_surface，也可以是 crack；可以是 shoulder，也可以是 debris risk area。Panoptic map 通常要求一個像素只屬於一個 segment，如果把 crack 直接放進 panoptic map，會把 road_surface 的語義吃掉。

{
  "id": 17,
  "class": "pothole",
  "mask_type": "defect_overlay",
  "mask_path": "defect_masks/dynamic_event_000031_pothole_01.png",
  "parent_asset": "road_surface",
  "lane_position": "right_lane",
  "severity": "medium",
  "traffic_impact": "partial_lane_risk",
  "requires_alert": true,
  "recommended_action": "dispatch_maintenance_review"
}

這樣才能同時保留「它是道路的一部分」和「它是病害」兩層真值，對養護業務比單層 segmentation 更有用。

6. 第 0 階段的最小標註標準

200 張 dynamic event 不需要一次做到完整道路資產工廠，但最低標準不能低於以下內容：

以下進入第 0 階段技術細節：快速模式如何把樣品包跑起來

摘要 — 快速模式主路徑

GPT-Image-2 真實樣例分析

前文 9 張圖已經先展示視覺結果；本節只保留判斷證據。這組樣例覆蓋 8 張高速道路生成圖與 1 張後驗 mask，核心價值不是「圖片漂亮」，而是證明同一業務世界可以被生成、被重標、被 QA，最後轉成訓練資料。

能力證據彙整

Mask 標註參考樣例（第 4 階段後驗輸出格式）

前文展示的 mask 範例對 7 個車輛 instance 做了二值前景分離。每個白色區塊代表一個 instance，背景與物體分離，邊緣連續、無明顯破碎雜訊。這正是 SVGE 管線第 4 階段（SAM 3.1 後驗 + 人工修正）的目標輸出格式，可轉成 COCO RLE、PNG 索引或多通道 instance mask。

下游任務對 mask 精度需求

SVGE 主文件 §1.3 列了 6 類下游服務。並非所有下游都需要嚴格 mask 邊界精度：

判斷演進 — 三輪收斂

進一步判斷 — 三個更深問題

問題 1：輸出 mask 悖論

問題 2：「三角一致」的真正定義

問題 3：圖像編輯模式的多 instance 限制

快速模式 — 主路徑（細節）

快速模式管線

提示詞構造範本（bbox → lane）

樣例顯示 GPT-Image-2 不擅長精確 bbox 控制，但很擅長「語義位置」（左/中/右車道、近/中/遠視野）。所以 v0 的提示詞構造把 bbox 翻成自然語言位置：

def build_prompt_from_spec(spec):
    parts = []

    # 1) 場景骨架（樣例都吃這套）
    parts.append(f"{spec.scene.style} aerial view of a highway")
    parts.append(spec.scene.lighting)              # "sunset" / "daytime" / "night with rain"
    if getattr(spec.scene, 'weather', None):
        parts.append(f"in {spec.scene.weather} weather")

    # 2) per-instance 描述（GPT-Image-2 能處理的精度）
    for obj in spec.objects:
        color = obj.attributes.get('color', '')
        location = bbox_to_lane(obj.bbox)          # ★ 關鍵轉換
        parts.append(
            f"a {color} {obj.class_name} in the {location}"
        )

    # 3) 場景一致性元素（樣例都有：cones / arrow board / maintenance vehicle）
    if spec.scene.background == "road_inspection":
        parts.append("orange traffic cones lining the right shoulder")
        parts.append("yellow arrow signal board on the right")
    if spec.scene.background == "highway_construction":
        parts.append("road maintenance vehicles with red and white chevron warning patterns")

    return ", ".join(parts)


def bbox_to_lane(bbox):
    """把 normalized bbox 轉成「車道 + 視野位置」的自然語言。

    Args:
        bbox: (x, y, w, h) all in [0, 1]

    Returns:
        str like "left lane in middle view" / "right shoulder in foreground"
    """
    x, y, w, h = bbox
    cx = x + w / 2
    cy = y + h / 2

    # 水平位置 → 車道
    if cx < 0.25:    lane = "left lane"
    elif cx < 0.45:  lane = "left-middle lane"
    elif cx < 0.55:  lane = "middle lane"
    elif cx < 0.75:  lane = "right-middle lane"
    elif cx < 0.92:  lane = "right lane"
    else:           lane = "right shoulder"

    # 垂直位置 → 視野遠近
    if cy < 0.30:    depth = "far view"
    elif cy < 0.55:  depth = "middle view"
    elif cy < 0.80:  depth = "near view"
    else:           depth = "foreground"

    return f"{lane} in {depth}"

快速模式 IoU 門檻校準表

不同下游任務對 mask 精度的容忍度不同。快速模式的 SAM-bbox-IoU 過濾門檻應依下游任務動態調整，避免「一刀切 0.5」帶來的浪費或品質不足：

嚴格模式 — 後備（細節）

嚴格模式管線

兩模式對照

GPT-Image-2 的硬限制

① Mask edit API 不是 ControlNet 級別的條件約束

② 多 instance 的三條替代路徑

③ 切換到本地基座模型的觸發點

成本估算

快速模式 — 1k 樣本（樣例校準後）

樣例顯示 GPT-Image-2 在道路維修場景命中率高，拒收預期從原估的 33% 下調到 25%。實際數字以 D2（100 張壓力測）為準。

嚴格模式 — 1k 樣本

切到本地 FLUX.2 — 1k 樣本

v0 → v1 升級觸發點

程式骨架

對應 prototype_v0/src/，新增 v0_workflow.py 統一兩模式 entry point：

from openai import OpenAI
from sam3 import SAM3Predictor
from transformers import AutoModel, AutoProcessor
import numpy as np

class V0Workflow:
    def __init__(self, mode: str = "quick", config: dict = None):
        assert mode in ["quick", "strict"]
        self.mode = mode
        self.openai = OpenAI()
        self.sam3 = SAM3Predictor.from_pretrained("facebook/sam3.1")
        self.qwen3vl = self._load_qwen3vl()
        self.siglip = self._load_siglip2()
        self.config = config or {}

    def generate(self, spec):
        if self.mode == "quick":
            return self._quick_pipeline(spec)
        else:
            return self._strict_pipeline(spec)

    # ============== 快速模式 ==============
    def _quick_pipeline(self, spec):
        prompt = self._build_prompt(spec)
        # Stage 3: 純文生圖
        resp = self.openai.images.generate(
            model="gpt-image-2",
            prompt=prompt,
            size="1024x1024",
            quality="high",
            n=3,
        )
        candidates = [self._download(r.url) for r in resp.data]

        for img in candidates:
            # Stage 4: SAM 3.1 後驗抽 (class, bbox, mask)
            sam_results = self.sam3.predict(
                img,
                concepts=[obj.class_name for obj in spec.objects],
            )
            # Stage 5: Qwen3-VL 抽屬性
            for inst in sam_results:
                inst.attrs = self.qwen3vl.extract_attrs(img, inst.bbox)
            # Stage 6: 鬆過濾
            if self._quick_filter(img, sam_results, spec):
                yield self._build_output(img, sam_results, spec, mode="quick")

    # ============== 嚴格模式 ==============
    def _strict_pipeline(self, spec):
        # Stage 2: 鎖三元組
        locked = self._lock_triples(spec)  # 每個 obj → (class, bbox, mask)
        composite_mask = self._composite_masks(locked)

        # Stage 3: GPT-Image-2 mask edit
        prompt = self._build_prompt(spec)
        resp = self.openai.images.edit(
            image=self._blank_canvas(),
            mask=composite_mask,
            prompt=prompt,
            size="1024x1024",
            n=3,
        )
        candidates = [self._download(r.url) for r in resp.data]

        for img in candidates:
            # Stage 4: 驗證 & 細化
            verify_masks = self.sam3.predict(
                img,
                concepts=[t.class_name for t in locked],
            )
            ious = [self._iou(v.mask, l.mask)
                    for v, l in zip(verify_masks, locked)]
            if min(ious) < 0.7:
                continue  # reject

            # Stage 5: 過濾
            if self._strict_filter(img, verify_masks, locked, spec):
                yield self._build_output(
                    img, verify_masks, spec,
                    mode="strict",
                    intent_ious=ious,
                )

    def _lock_triples(self, spec):
        triples = []
        for obj in spec.objects:
            if obj.mask:
                m = self._load_mask(obj.mask)
            elif obj.ref_image:
                m = self._sam3_from_ref(obj.ref_image, obj.bbox)
            else:
                m = self._bbox_to_blob(obj.bbox)
            triples.append(LockedTriple(obj.class_name, obj.bbox, m))
        return triples

    def _build_output(self, img, masks, spec, mode, intent_ious=None):
        return {
            "image": img,
            "masks": [m.mask for m in masks],   # image-aligned
            "annotation": {
                "instances": [
                    {
                        "class_name": m.class_name,
                        "bbox": m.bbox,           # SAM 抽的或 verify 的
                        "mask_pixel_grounding": True,
                        "spec_intent_iou": intent_ious[i] if intent_ious else None,
                    }
                    for i, m in enumerate(masks)
                ],
                "scene": spec.scene.dict(),
                "mode": mode,
            },
        }

參考資料

• SVGE 主文件 — 完整研究分析（4 篇分析 + 三子系統 + 風險 + 最小可行版本）
• SVGE 主文件 §8.A — A 子系統完整六階段管線
• OpenAI Images API — generate / edit / variations
• OpenAI Image generation guide — GPT Image 2 生成、編輯、mask 與輸出設定
• OpenAI ChatGPT Images help — Chrome / ChatGPT Images 生成與選區編輯說明
• COCO Panoptic API — panoptic ID map + segments_info 格式
• Cityscapes Dataset — semantic / instance 街景標註基準
• BDD100K paper — 多任務道路場景標註：檢測、lane、drivable area、天氣與時間標籤
• Mapillary Vistas paper — 高粒度街景語義與 instance 標註
• Crack500 repo — 純裂縫分割中 binary mask 的適用範圍
• RDD2022 paper — 道路病害類別與 bbox 標註範式
• SAM 3 GitHub
• Qwen3-VL GitHub
• SigLIP 2 HuggingFace
• FLUX.2 [klein] 9B（v1 升級目標）