AMS · ACCIDENT CHART BENCHMARK
From dashcam video to the right KNIA fault chart: what we tried, what we measured, what we learned. Status as of 19 Nov 2026.
English
Slides 2–14
Tiếng Việt
Slide 15–27
한국어
슬라이드 28–40
Each language section follows the same timeline. New progress is added as new rows and slides at the end of each section.
ENGLISH
Goal: the correct KNIA chart in the Top-5 suggestions for 80% of cases (27 of 33), so a reviewer picks from a short list.
01 Timeline
02 Two approaches
03 Data and test set
04 Gemini results
05 Key insights
06 Measured video signals
07 On-premise Qwen
08 Why Qwen is behind
09 Fine-tune data
10 First fine-tune results
11 Review UI/UX proposal
12 Next steps
01 · TIMELINE
| When | What we did | Result |
|---|---|---|
| Sep 2026 | First large run: Gemini 3.7 on 1,080 labelled videos | Top-5 45.7%, Top-1 24.5% |
| 17 Sep | Dashcam motion prompts; repeats at temperature 0 | Same video, different stories |
| 13 Nov | Fixed 33-case test set; old vs new approach | Top-5: new 18, old 15 |
| 15–16 Nov | Prompt, reasoning, re-rank variants; Qwen, Kimi, Gemma | None beat Gemini 3.7 |
| 16–17 Nov | Measured signals: optical flow, YOLOX + ByteTrack, xADAS | Best Top-5 20/33 (61%) |
| 18 Nov | Qwen self-hosted on Colab; fine-tune data started | Qwen 27B Top-5 11/33 |
| 19 Nov | First fine-tune: Qwen3-VL-8B LoRA on 4,415 AI-Hub human labels | Other-vehicle manoeuvre 20% → 53% |
| Next | Benchmark both fine-tunes on the 33 cases; fix Qwen ranker; held-out check | [to be added] |
Top-k = the correct chart is among the first k suggestions. Fixed test set = 33 human-validated cases.
02 · TWO APPROACHES
EARLIER
NEW · CURRENT FOCUS
18 vs 15
Top-5 on the same 33 videos (13 Nov): new vs old
132 vs 442
Model calls for 33 cases: new vs old
$0.97 vs $1.41
Cost per 33-case run: new vs old
03 · DATA AND TEST SET
55
Cases validated by human checkers: 11 charts × 5 videos
33
Main benchmark set: 3 videos per chart, fixed seed, every run
22
Held out, untouched: final check once a setup is chosen
All 108 KNIA charts (124 documents, 38 chart families) go into every ranking request. Labels never enter the model input.
Top-1/3/5/10 against the checkers’ chart. Summaries are also scored against 24 written checker descriptions.
A Gemini run on the 33 cases costs about $1.3–1.4, so most changes can be measured the same day.
04 · GEMINI 3.7 FLASH RESULTS (13–17 NOV)
| Run (33 cases) | Top-1 | Top-3 | Top-5 | Top-10 |
|---|---|---|---|---|
| Baseline prompt v6 | 9 | 15 | 19 | 23 |
| v20, run 1 | 6 | 12 | 19 | 25 |
| v20, run 2 (same setup) | 11 | 13 | 17 | 23 |
| v22 catalogue vocabulary | 10 | 15 | 18 | 23 |
| v22 + family-first ranker | 9 | 16 | 20 | 23 |
| Target | 27 |
61%
Best Top-5 in one run (20/33)
76%
Correct chart family among the first five families (25/33)
Gemini 3.8 Flash cost about twice as much per case and was not more accurate (Top-5 15–16).
05 · KEY INSIGHTS
RUN-TO-RUN VARIANCE
Two identical runs gave Top-1 of 6 and 11. Taking each case’s best rank over 14 runs, Top-5 reaches 29/33 (88%).
THE SUMMARY IS THE BOTTLENECK
When the summary matched the checker’s description, the right chart was Top-1 in 6 of 8 cases; when it was wrong, in 1 of 16.
TYPICAL READING ERRORS
Rear camera read as front; the camera car’s own move (U-turn vs left turn); contact denied; red light or lane arrows missed.
Implication: improve how the video is read, and reduce variance, before tuning the ranker further.
06 · MEASURED VIDEO SIGNALS (CODE, NO LLM)
OPTICAL FLOW
Turns, stops and sharp braking per jolt, given as facts in the prompt for all 33 videos.
YOLOX + BYTETRACK + xADAS
One measured event (cut-in, crossing, closing in) with its time window, for front cameras.
NEW · 18 NOV
Optical-flow focus of expansion: 30/33 right, 0 wrong, all 6 rear cameras found; 0 confident errors on 36 new videos.
62% vs 12%
Qwen reads the other vehicle’s move correctly with vs without the measured vehicle event
87% vs 29%
Same comparison for Gemini
Groups differ (no-event videos include all rear cameras), but the gap is large.
07 · ON-PREMISE QWEN (SELF-HOSTED ON COLAB, 18 NOV)
| Model | GPU | Status | Result on the 33 cases |
|---|---|---|---|
| Qwen3-VL-8B | A100 40 GB | Stopped early | 19 of 48 cases invalid (ranker repeats charts) |
| Qwen3.8-27B FP8 | G4 96 GB | Measured | Top-5 10–11 per run; 17 best of 3 runs |
| Qwen2-VL-7B DriveLM | L4 24 GB | Dropped | Context too small (32k); built for single-image QA |
| Qwen3-VL-8B + LoRA | A100 40 GB | Running | [results pending] |
| Gemini 3.7 Flash | API | Reference | Top-5 20 |
1 command
Colab run: VM downloads videos from Drive, serves the model with vLLM, runs, then shuts down
~10 CU/h
G4 compute units per hour; about 46 units used on 18 Nov
08 · WHY QWEN IS BEHIND
20 → 10
Top-5 with Gemini’s summaries, when Qwen ranks instead of Gemini
2 vs 6
Summaries matching the checker’s story (of 24): Qwen vs Gemini
8 vs 17
Videos told the same way in two runs (of 33): Qwen vs Gemini
Repeats charts or stops mid-list in 2–6 cases per run. With thinking it ran 5–10 minutes per case and scored lower.
Misreads the other vehicle and denies contact. Telling it the camera faces rearward fixed the camera view (0/5 → 5/5) but not the story.
09 · FINE-TUNE DATA FOR QWEN
1 · SOURCE
KB sheet: 2,968 labelled videos, 30 charts. 1,011 pass all checks after removing the 55 test cases.
2 · SUMMARY
GPT-6.1 (sol) reads up to 60 frames per video, with the adjuster’s note as an unverified hint.
3 · FILTER
Keep the summary only if ranking it puts the labelled chart in the Top-3 (up to 3 tries).
4 · TRAIN
Video → summary pairs to fine-tune Qwen’s summary step (LoRA).
819
Videos processed by 19 Nov; 192 wait for the Drive download quota
83%
Accepted: labelled chart in Top-3 (677 of 819)
611 / 63
Train / validation samples for the GPT-summary LoRA (training on 19 Nov)
Caveat: GPT saw the adjuster’s note as a hint, and the note alone reaches Top-5 30/33. Summaries will be regenerated from frames only.
10 · FIRST FINE-TUNE (19 NOV)
LoRA on AI-Hub accident clips with Label Studio facts (manoeuvres, how the cars met, crash time). Scored on the AI-Hub validation split; margin about ±12 pts.
| Field | Majority | Base 8B | Tuned |
|---|---|---|---|
| How the cars met | 33% | 37% | 70% |
| Other vehicle’s manoeuvre | 24% | 20% | 53% |
| Location | 55% | 57% | 78% |
| Crash time, mean error | 1.19 s | 1.06 s | 0.35 s |
| Ego manoeuvre | 48% | 50% | 58% |
| Who entered first (n=24) | 40% | 38% | 21% |
71%
Top-5 ceiling with perfect perception: Gemini ranker on human facts (149 clips)
Running
Benchmark on the 33 cases with prompt v22, and a second LoRA trained on the GPT summaries
Not yet measured on KB videos. Every training clip is an accident, so detecting “no contact” is untested.
11 · REVIEW UI/UX — PROPOSAL
Built for the new approach, not the old question-tree UI. The goal is a faster, confident chart decision.
1 · VIDEO + SUMMARY
Key facts up front: camera view, each car’s move, signal, contact — with timestamps to jump to.
2 · TOP-5 FAMILIES
Suggestions grouped by chart family; open a family to compare its variants side by side.
3 · DECIDE
Reviewer confirms, picks another variant, or corrects a fact and re-ranks.
4 · LEARN
Every correction is saved as labelled data for the next fine-tune.
76%
Today the correct family is already among the first five families shown
5
Groups to scan instead of a flat Top-10 list
12 · NEXT STEPS
1 · Fine-tune Qwen’s summary
Pilot on AI-Hub labels done; LoRA on the GPT summaries training; benchmark both on the 33 cases.
2 · Fix the Qwen ranker
Choose the family first, then the chart; only valid, unique chart IDs.
3 · Better video inputs
Rear-camera vehicle tracking, 720p video, crash-sound timing.
4 · Held-out check
Run the 22 untouched cases once a setup is chosen.
5 · Expert review of hard cases
4 cases never reached the Top-10 in any run; confirm labels.
6 · Pilot the review UI
Measure time per decision with real reviewers.
TIẾNG VIỆT
Mục tiêu: chart KNIA đúng nằm trong Top-5 gợi ý ở 80% số case (27/33), để người duyệt chỉ cần chọn trong danh sách ngắn.
01 Dòng thời gian
02 Hai hướng tiếp cận
03 Dữ liệu và tập test
04 Kết quả Gemini
05 Insight chính
06 Tín hiệu đo từ video
07 Qwen on-premise
08 Vì sao Qwen còn yếu
09 Dữ liệu fine-tune
10 Kết quả fine-tune đầu tiên
11 Đề xuất UI/UX duyệt
12 Bước tiếp theo
01 · DÒNG THỜI GIAN
| Thời gian | Đã làm | Kết quả |
|---|---|---|
| 09/2026 | Lượt chạy lớn đầu tiên: Gemini 3.7 trên 1.080 video có nhãn | Top-5 45,7%, Top-1 24,5% |
| 17/09 | Nghiên cứu prompt chuyển động; lặp lại ở temperature 0 | Cùng video, mỗi lần kể khác |
| 13/11 | Chốt tập test 33 case; so hướng cũ và hướng mới | Top-5: mới 18, cũ 15 |
| 15–16/11 | Thử prompt, suy luận, xếp hạng lại; Qwen, Kimi, Gemma | Không model nào hơn Gemini 3.7 |
| 16–17/11 | Tín hiệu đo: optical flow, YOLOX + ByteTrack, xADAS | Top-5 tốt nhất 20/33 (61%) |
| 18/11 | Tự host Qwen trên Colab; bắt đầu tạo dữ liệu fine-tune | Qwen 27B Top-5 11/33 |
| 19/11 | Fine-tune đầu tiên: Qwen3-VL-8B LoRA trên 4.415 nhãn AI-Hub của người | Động tác xe kia 20% → 53% |
| Tiếp theo | Benchmark hai bản fine-tune trên 33 case; sửa bước xếp hạng; test tập giữ riêng | [bổ sung sau] |
Top-k = chart đúng nằm trong k gợi ý đầu tiên. Tập test cố định = 33 case đã được người kiểm tra xác nhận.
02 · HAI HƯỚNG TIẾP CẬN
HƯỚNG CŨ
HƯỚNG MỚI · ĐANG TẬP TRUNG
18 vs 15
Top-5 trên cùng 33 video (13/11): mới so với cũ
132 vs 442
Số lần gọi model cho 33 case: mới so với cũ
$0,97 vs $1,41
Chi phí mỗi lượt 33 case: mới so với cũ
03 · DỮ LIỆU VÀ TẬP TEST
55
Case được người kiểm tra xác nhận: 11 chart × 5 video
33
Tập benchmark chính: 3 video mỗi chart, cố định, dùng cho mọi lượt chạy
22
Giữ riêng, chưa đụng tới: kiểm tra cuối khi đã chốt cấu hình
Cả 108 chart KNIA (124 tài liệu, 38 họ chart) nằm trong mọi request xếp hạng. Nhãn đúng không bao giờ được đưa vào model.
Top-1/3/5/10 so với chart của người kiểm tra. Bản tóm tắt còn được chấm so với 24 mô tả do người kiểm tra viết.
Một lượt Gemini trên 33 case tốn khoảng $1,3–1,4, nên phần lớn thay đổi đo được ngay trong ngày.
04 · KẾT QUẢ GEMINI 3.7 FLASH (13–17/11)
| Lượt chạy (33 case) | Top-1 | Top-3 | Top-5 | Top-10 |
|---|---|---|---|---|
| Prompt gốc v6 | 9 | 15 | 19 | 23 |
| v20, lượt 1 | 6 | 12 | 19 | 25 |
| v20, lượt 2 (y hệt) | 11 | 13 | 17 | 23 |
| v22 từ vựng catalogue | 10 | 15 | 18 | 23 |
| v22 + xếp hạng theo họ | 9 | 16 | 20 | 23 |
| Mục tiêu | 27 |
61%
Top-5 tốt nhất trong một lượt (20/33)
76%
Họ chart đúng nằm trong 5 họ đầu tiên (25/33)
Gemini 3.8 Flash tốn gần gấp đôi mỗi case mà không chính xác hơn (Top-5 15–16).
05 · INSIGHT CHÍNH
DAO ĐỘNG GIỮA CÁC LƯỢT
Hai lượt y hệt cho Top-1 là 6 và 11. Lấy hạng tốt nhất của mỗi case qua 14 lượt, Top-5 đạt 29/33 (88%).
NÚT THẮT LÀ BẢN TÓM TẮT
Khi tóm tắt khớp mô tả của người kiểm tra, chart đúng đứng Top-1 ở 6/8 case; khi tóm tắt sai, chỉ 1/16.
LỖI ĐỌC THƯỜNG GẶP
Camera sau bị đọc thành camera trước; sai động tác của xe camera (quay đầu thành rẽ trái); phủ nhận va chạm; bỏ sót đèn đỏ hoặc mũi tên làn.
Hàm ý: cải thiện cách đọc video và giảm dao động trước khi tinh chỉnh tiếp bước xếp hạng.
06 · TÍN HIỆU ĐO TỪ VIDEO (BẰNG CODE, KHÔNG DÙNG LLM)
OPTICAL FLOW
Rẽ, dừng, phanh gấp tại từng cú giật, đưa vào prompt dưới dạng dữ kiện cho cả 33 video.
YOLOX + BYTETRACK + xADAS
Một sự kiện đo được (cắt ngang, chen vào, áp sát) kèm khoảng thời gian, cho video camera trước.
MỚI · 18/11
Dựa trên tâm giãn nở của optical flow: đúng 30/33, sai 0, nhận ra cả 6 camera sau; 0 lỗi khi kết luận trên 36 video mới.
62% vs 12%
Qwen đọc đúng động tác xe kia khi có và khi không có sự kiện xe đo được
87% vs 29%
Cùng phép so sánh với Gemini
Hai nhóm khác nhau (nhóm không có sự kiện gồm mọi video camera sau), nhưng chênh lệch rất lớn.
07 · QWEN ON-PREMISE (TỰ HOST TRÊN COLAB, 18/11)
| Model | GPU | Trạng thái | Kết quả trên 33 case |
|---|---|---|---|
| Qwen3-VL-8B | A100 40 GB | Dừng sớm | 19/48 case không hợp lệ (bước xếp hạng lặp chart) |
| Qwen3.8-27B FP8 | G4 96 GB | Đã đo | Top-5 10–11 mỗi lượt; 17 nếu lấy tốt nhất của 3 lượt |
| Qwen2-VL-7B DriveLM | L4 24 GB | Đã bỏ | Ngữ cảnh quá nhỏ (32k); model hỏi đáp trên một ảnh |
| Qwen3-VL-8B + LoRA | A100 40 GB | Đang chạy | [chờ kết quả] |
| Gemini 3.7 Flash | API | Đối chiếu | Top-5 20 |
1 lệnh
Chạy Colab: VM tự tải video từ Drive, phục vụ model bằng vLLM, chạy xong tự tắt
~10 CU/giờ
Compute unit mỗi giờ trên G4; khoảng 46 unit đã dùng ngày 18/11
08 · VÌ SAO QWEN CÒN YẾU
20 → 10
Top-5 với tóm tắt của Gemini, khi Qwen xếp hạng thay Gemini
2 vs 6
Tóm tắt kể khớp với người kiểm tra (trên 24): Qwen so với Gemini
8 vs 17
Video được kể giống nhau ở hai lượt (trên 33): Qwen so với Gemini
Lặp chart hoặc dừng giữa danh sách ở 2–6 case mỗi lượt. Bật suy luận thì mỗi case mất 5–10 phút mà điểm còn thấp hơn.
Đọc sai xe kia và phủ nhận va chạm. Báo cho model biết camera nhìn ra sau thì sửa được hướng camera (0/5 → 5/5) nhưng không sửa được câu chuyện.
09 · DỮ LIỆU FINE-TUNE CHO QWEN
1 · NGUỒN
Sheet KB: 2.968 video có nhãn, 30 chart. 1.011 video đạt mọi điều kiện sau khi loại 55 case test.
2 · TÓM TẮT
GPT-6.1 (sol) đọc tối đa 60 khung hình mỗi video, kèm ghi chú của nhân viên bảo hiểm làm gợi ý chưa xác minh.
3 · LỌC
Chỉ giữ tóm tắt nếu bước xếp hạng đưa chart có nhãn vào Top-3 (thử tối đa 3 lần).
4 · HUẤN LUYỆN
Cặp video → tóm tắt để fine-tune bước tóm tắt của Qwen (LoRA).
819
Video đã xử lý đến 19/11; 192 video chờ quota tải của Drive
83%
Được nhận: chart có nhãn nằm trong Top-3 (677/819)
611 / 63
Mẫu train / kiểm tra cho LoRA học từ summary GPT (train ngày 19/11)
Lưu ý: GPT được xem ghi chú giám định viên làm gợi ý, mà riêng ghi chú đã đạt Top-5 30/33. Summary sẽ được tạo lại chỉ từ khung hình.
10 · FINE-TUNE ĐẦU TIÊN (19/11)
LoRA trên clip tai nạn AI-Hub có nhãn Label Studio (động tác xe, cách hai xe gặp nhau, thời điểm va chạm). Chấm trên phần kiểm tra của AI-Hub; sai số khoảng ±12 điểm.
| Trường | Đoán phổ biến nhất | 8B gốc | Sau fine-tune |
|---|---|---|---|
| Hai xe gặp nhau thế nào | 33% | 37% | 70% |
| Động tác của xe kia | 24% | 20% | 53% |
| Vị trí | 55% | 57% | 78% |
| Thời điểm va chạm, sai số TB | 1,19 s | 1,06 s | 0,35 s |
| Động tác xe mình | 48% | 50% | 58% |
| Ai vào trước (n=24) | 40% | 38% | 21% |
71%
Mức trần Top-5 nếu đọc video hoàn hảo: ranker Gemini trên nhãn của người (149 clip)
Đang chạy
Benchmark 33 case với prompt v22, và LoRA thứ hai học từ summary GPT
Chưa đo trên video KB. Mọi clip train đều có tai nạn nên chưa biết model có nhận ra clip “không va chạm”.
11 · UI/UX DUYỆT — ĐỀ XUẤT
Thiết kế cho hướng mới, không dùng lại UI cây câu hỏi cũ. Mục tiêu là chốt chart nhanh hơn và chắc hơn.
1 · VIDEO + TÓM TẮT
Dữ kiện chính hiện ngay: hướng camera, động tác từng xe, đèn, va chạm — kèm mốc thời gian để tua tới.
2 · TOP-5 HỌ CHART
Gợi ý gom theo họ chart; mở một họ để so các biến thể cạnh nhau.
3 · QUYẾT ĐỊNH
Người duyệt xác nhận, chọn biến thể khác, hoặc sửa một dữ kiện rồi xếp hạng lại.
4 · HỌC LẠI
Mọi chỉnh sửa được lưu thành dữ liệu có nhãn cho lần fine-tune sau.
76%
Hiện tại họ chart đúng đã nằm trong 5 họ đầu tiên được hiển thị
5
Nhóm cần xem, thay cho danh sách Top-10 phẳng
12 · BƯỚC TIẾP THEO
1 · Fine-tune bước tóm tắt
Đã xong pilot trên nhãn AI-Hub; đang train LoRA từ summary GPT; benchmark cả hai trên 33 case.
2 · Sửa bước xếp hạng Qwen
Chọn họ chart trước rồi mới chọn chart; chỉ mã chart hợp lệ, không trùng.
3 · Đầu vào video tốt hơn
Theo dõi xe cho camera sau, video 720p, mốc thời gian tiếng va chạm.
4 · Test tập giữ riêng
Chạy 22 case chưa đụng tới khi đã chốt cấu hình.
5 · Chuyên gia xem case khó
4 case chưa từng vào Top-10 ở lượt nào; xác nhận lại nhãn.
6 · Thử nghiệm UI duyệt
Đo thời gian mỗi quyết định với người duyệt thật.
한국어
목표: 전체 사례의 80%(33건 중 27건)에서 정답 KNIA 차트가 상위 5개 추천 안에 들어, 검토자가 짧은 목록에서 고를 수 있게 하는 것입니다.
01 타임라인
02 두 가지 접근 방식
03 데이터와 평가 세트
04 Gemini 결과
05 핵심 인사이트
06 영상 측정 신호
07 온프레미스 Qwen
08 Qwen이 뒤처지는 이유
09 파인튜닝 데이터
10 첫 파인튜닝 결과
11 검토 UI/UX 제안
12 다음 단계
01 · 타임라인
| 시기 | 진행 내용 | 결과 |
|---|---|---|
| 2026년 9월 | 첫 대규모 실행: 라벨된 영상 1,080건에 Gemini 3.7 적용 | Top-5 45.7%, Top-1 24.5% |
| 9월 17일 | 블랙박스 움직임 프롬프트 연구; temperature 0 반복 실행 | 같은 영상도 매번 다르게 서술 |
| 11월 13일 | 33건 고정 평가 세트 확정; 기존 방식과 신규 방식 비교 | Top-5: 신규 18, 기존 15 |
| 11월 15–16일 | 프롬프트·추론·재순위 변형; Qwen, Kimi, Gemma 비교 | Gemini 3.7보다 나은 모델 없음 |
| 11월 16–17일 | 측정 신호: 옵티컬 플로우, YOLOX + ByteTrack, xADAS | 최고 Top-5 20/33 (61%) |
| 11월 18일 | Colab에서 Qwen 자체 호스팅; 파인튜닝 데이터 생성 시작 | Qwen 27B Top-5 11/33 |
| 11월 19일 | 첫 파인튜닝: AI-Hub 사람 라벨 4,415건으로 Qwen3-VL-8B LoRA | 상대 차량 동작 20% → 53% |
| 다음 | 두 파인튜닝 모델을 33건으로 벤치마크; 순위 단계 개선; 보류 세트 검증 | [추후 추가] |
Top-k = 정답 차트가 처음 k개 추천 안에 있는 경우. 고정 평가 세트 = 검토자가 확인한 33건.
02 · 두 가지 접근 방식
기존 방식
신규 방식 · 현재 집중
18 vs 15
같은 33건의 Top-5 (11월 13일): 신규 대 기존
132 vs 442
33건 처리 시 모델 호출 수: 신규 대 기존
$0.97 vs $1.41
33건 1회 실행 비용: 신규 대 기존
03 · 데이터와 평가 세트
55
검토자가 확인한 사례: 차트 11종 × 영상 5건
33
주 평가 세트: 차트당 3건, 고정되어 모든 실행에 사용
22
보류 세트(미사용): 구성이 확정되면 최종 검증
KNIA 차트 108개 전체(문서 124개, 차트군 38개)가 모든 순위 요청에 들어갑니다. 정답 라벨은 모델 입력에 절대 들어가지 않습니다.
검토자 차트 기준 Top-1/3/5/10. 요약은 검토자가 작성한 설명 24건과도 비교해 채점합니다.
33건 Gemini 1회 실행 비용은 약 $1.3–1.4로, 대부분의 변경을 당일에 측정할 수 있습니다.
04 · GEMINI 3.7 FLASH 결과 (11월 13–17일)
| 실행 (33건) | Top-1 | Top-3 | Top-5 | Top-10 |
|---|---|---|---|---|
| 기본 프롬프트 v6 | 9 | 15 | 19 | 23 |
| v20, 1차 실행 | 6 | 12 | 19 | 25 |
| v20, 2차 실행 (동일 설정) | 11 | 13 | 17 | 23 |
| v22 카탈로그 용어 | 10 | 15 | 18 | 23 |
| v22 + 차트군 우선 순위화 | 9 | 16 | 20 | 23 |
| 목표 | 27 |
61%
단일 실행 최고 Top-5 (20/33)
76%
정답 차트군이 처음 5개 차트군 안에 있음 (25/33)
Gemini 3.8 Flash는 사례당 비용이 약 2배이지만 더 정확하지 않았습니다 (Top-5 15–16).
05 · 핵심 인사이트
실행 간 편차
동일한 두 실행의 Top-1이 6과 11이었습니다. 14회 실행에서 사례별 최고 순위를 취하면 Top-5가 29/33(88%)에 이릅니다.
병목은 요약 단계
요약이 검토자 설명과 일치하면 정답 차트가 8건 중 6건에서 Top-1, 요약이 틀리면 16건 중 1건뿐이었습니다.
대표적인 판독 오류
후방 카메라를 전방으로 판독; 카메라 차량의 동작 오인(유턴을 좌회전으로); 충돌 부정; 적신호·차로 화살표 누락.
시사점: 순위 단계를 더 조정하기 전에 영상 판독을 개선하고 편차를 줄여야 합니다.
06 · 영상 측정 신호 (코드 측정, LLM 미사용)
옵티컬 플로우
충격 시점별 회전·정지·급제동을 33건 모든 영상의 프롬프트에 사실로 제공합니다.
YOLOX + BYTETRACK + xADAS
측정된 사건 하나(끼어들기, 횡단, 접근)와 그 시간 구간을 전방 카메라 영상에 제공합니다.
신규 · 11월 18일
옵티컬 플로우 확장 중심 기반: 33건 중 30건 정답, 오답 0, 후방 카메라 6건 모두 탐지; 새 영상 36건에서 확정 판정 오류 0건.
62% vs 12%
측정된 상대 차량 사건이 있을 때와 없을 때 Qwen이 상대 차량 동작을 맞힌 비율
87% vs 29%
같은 비교의 Gemini 결과
두 그룹은 다르지만(사건 없는 그룹에 후방 카메라 영상 전부 포함) 차이가 큽니다.
07 · 온프레미스 QWEN (COLAB 자체 호스팅, 11월 18일)
| 모델 | GPU | 상태 | 33건 결과 |
|---|---|---|---|
| Qwen3-VL-8B | A100 40 GB | 조기 중단 | 48건 중 19건 무효 (순위 단계에서 차트 중복) |
| Qwen3.8-27B FP8 | G4 96 GB | 측정 완료 | 실행당 Top-5 10–11; 3회 중 최고값 기준 17 |
| Qwen2-VL-7B DriveLM | L4 24 GB | 중단 | 컨텍스트 부족 (32k); 단일 이미지 질의응답용 |
| Qwen3-VL-8B + LoRA | A100 40 GB | 진행 중 | [결과 대기] |
| Gemini 3.7 Flash | API | 기준 | Top-5 20 |
명령 1개
Colab 실행: VM이 Drive에서 영상을 받아 vLLM으로 모델을 서비스하고, 끝나면 자동 종료
~10 CU/시간
G4 시간당 컴퓨트 유닛; 11월 18일 약 46 유닛 사용
08 · QWEN이 뒤처지는 이유
20 → 10
Gemini 요약을 Gemini 대신 Qwen이 순위화할 때의 Top-5
2 vs 6
검토자 설명과 일치한 요약 (24건 중): Qwen 대 Gemini
8 vs 17
두 번의 실행에서 같게 서술된 영상 (33건 중): Qwen 대 Gemini
실행마다 2–6건에서 차트를 중복하거나 목록 중간에 멈춥니다. 추론을 켜면 사례당 5–10분이 걸리고 점수도 더 낮았습니다.
상대 차량을 잘못 읽고 충돌을 부정합니다. 후방 카메라라고 알려 주자 카메라 방향은 고쳐졌지만(0/5 → 5/5) 사고 서술은 개선되지 않았습니다.
09 · QWEN 파인튜닝 데이터
1 · 원천
KB 시트: 라벨된 영상 2,968건, 차트 30종. 평가용 55건을 제외하고 모든 조건을 충족한 1,011건.
2 · 요약
GPT-6.1 (sol)이 영상당 최대 60프레임을 읽고, 보험 담당자 메모를 미검증 힌트로 사용.
3 · 필터
순위화 결과 라벨 차트가 Top-3에 들 때만 요약을 채택 (최대 3회 시도).
4 · 학습
영상 → 요약 쌍으로 Qwen 요약 단계를 파인튜닝 (LoRA).
819
11월 19일까지 처리된 영상; 192건은 Drive 다운로드 한도 대기
83%
채택: 라벨 차트가 Top-3 안에 있음 (819건 중 677건)
611 / 63
GPT 요약 LoRA의 학습 / 검증 샘플 (11월 19일 학습)
주의: GPT가 보험 담당자 메모를 힌트로 사용했고, 메모만으로도 Top-5 30/33. 요약은 영상 프레임만으로 다시 생성 예정.
10 · 첫 파인튜닝 (11월 19일)
AI-Hub 사고 영상의 Label Studio 라벨로 LoRA 학습. AI-Hub 검증 세트 채점; 오차 약 ±12%p.
| 항목 | 최빈값 | 8B 기본 | 파인튜닝 |
|---|---|---|---|
| 두 차량의 접근 관계 | 33% | 37% | 70% |
| 상대 차량 동작 | 24% | 20% | 53% |
| 위치 | 55% | 57% | 78% |
| 충돌 시점 평균 오차 | 1.19초 | 1.06초 | 0.35초 |
| 자차 동작 | 48% | 50% | 58% |
| 먼저 진입한 차량 (n=24) | 40% | 38% | 21% |
71%
완벽한 인식 시 Top-5 상한: 사람 라벨에 Gemini 순위 모델 적용 (149건)
진행 중
프롬프트 v22로 33건 벤치마크, GPT 요약으로 학습한 두 번째 LoRA
KB 영상에서는 아직 미측정. 학습 영상이 모두 사고 영상이라 “충돌 없음” 판별은 미검증.
11 · 검토 UI/UX — 제안
기존 질문 트리 UI가 아닌 신규 방식에 맞춰 설계합니다. 목표는 더 빠르고 확실한 차트 결정입니다.
1 · 영상 + 요약
핵심 사실을 먼저 표시: 카메라 방향, 각 차량 동작, 신호, 충돌 — 해당 시점으로 바로 이동.
2 · 상위 5개 차트군
추천을 차트군별로 묶고, 차트군을 열어 변형을 나란히 비교.
3 · 결정
검토자가 확정하거나 다른 변형을 선택하거나, 사실을 수정한 뒤 다시 순위화.
4 · 학습
모든 수정은 다음 파인튜닝을 위한 라벨 데이터로 저장.
76%
현재도 정답 차트군이 처음 표시되는 5개 차트군 안에 있음
5
평면 Top-10 목록 대신 확인할 그룹 수
12 · 다음 단계
1 · Qwen 요약 파인튜닝
AI-Hub 라벨 파일럿 완료; GPT 요약 LoRA 학습 중; 두 모델 모두 33건으로 벤치마크.
2 · Qwen 순위 단계 개선
차트군을 먼저 고른 뒤 차트 선택; 유효하고 중복 없는 차트 ID만.
3 · 영상 입력 개선
후방 카메라용 차량 추적, 720p 영상, 충돌음 시점.
4 · 보류 세트 검증
구성이 확정되면 미사용 22건 실행.
5 · 어려운 사례 전문가 검토
어떤 실행에서도 Top-10에 들지 못한 4건; 라벨 재확인.
6 · 검토 UI 파일럿
실제 검토자와 결정당 소요 시간 측정.