Depth Pro 2 của Apple ước lượng khoảng cách bằng một camera: cần đo sai số nào?
Depth Pro 2 xử lý được cả ảnh và video. Sai số khoảng cách, độ nét đường biên và độ ổn định giữa các khung hình cần được đo riêng.

Nhóm nghiên cứu Apple đã công bố mã và trọng số của Depth Pro 2. Bài báo được nộp lên arXiv ngày 19/11; đến ngày 20/11 trang mô hình của Apple liệt kê bốn phiên bản, từ khoảng 24 triệu đến 872 triệu tham số. Mô hình có thể ước lượng độ sâu theo mét cho từng điểm ảnh trên ảnh tĩnh, video hoặc camera trực tiếp, với độ phân giải đầu vào. Giấy phép trọng số giới hạn ở nghiên cứu khoa học và phát triển học thuật phi thương mại. Có thể tải xuống không đồng nghĩa với quyền dùng trong sản phẩm thương mại.
Biết vật nào ở trước chưa có nghĩa biết nó cách bao xa
Một hiệu ứng đặt nhân vật giữa bàn và ghế cần xử lý phần che khuất tự nhiên. Hình có thể vẫn trông đúng dù bàn cách camera một hay hai mét. Công cụ lập sơ đồ căn phòng thì khác: ước tính lệch hai mươi centimét có thể làm sai quyết định bố trí. Cả hai đều dùng độ sâu, nhưng yêu cầu thứ nhất quan tâm thứ tự và đường viền, còn yêu cầu thứ hai cần so khoảng cách với phép đo độc lập.
Ảnh từ một camera không đủ thông tin để xác định tỷ lệ tuyệt đối trong mọi tình huống. Vật nhỏ ở gần và vật lớn ở xa có thể chiếm cùng số điểm ảnh. Mô hình dựa vào thông tin máy ảnh và quy luật học từ dữ liệu để ước lượng. Apple có bộ ước lượng tiêu cự cho trường hợp chưa biết giá trị này; nó không tạo thêm một phép đo vật lý từ ảnh gốc. Đổi ống kính, cắt ảnh hoặc thay góc chụp có thể làm thay đổi các dấu hiệu mà mô hình dựa vào. Kết quả đúng trên một máy không chứng minh máy khác có cùng độ chính xác.
Đường biên rõ và video ổn định giải quyết hai vấn đề
Đường biên mờ có thể trộn vật ở gần với nền phía xa. Viền lọ hoa chỉ lệch vài điểm ảnh cũng có thể để lộ phần nền lẽ ra bị che. Với video, từng khung vẫn có thể rõ nhưng viền vật thể nhảy khi camera di chuyển. Làm mượt quá mức lại khiến bản đồ độ sâu phản ứng chậm sau khi vật đổi vị trí. Kết quả ổn định vẫn có thể sai về khoảng cách, còn một ảnh đẹp không xác nhận cả đoạn video ổn định. Bài báo của Apple dùng một mạng để xử lý những đánh đổi này. Kết quả nhóm công bố là cơ sở để thử thêm, không phải bằng chứng cho mọi ứng dụng.
Nên tách các phép thử. Đo khoảng cách thật để kiểm tra sai số tuyệt đối, đo độ lệch quanh đường viền, rồi ghi độ rung và độ trễ trên đoạn phim có cảnh tĩnh và cảnh động. Với một vật mảnh, lệch vài điểm ảnh khác với lệch vài centimét trong không gian dự đoán. Có thể đo một số cảnh trong phòng và chụp lại với các thiết bị, tiêu cự và ánh sáng khác nhau. Tách riêng bề mặt phản chiếu, vật trong suốt, vật mảnh và biên che khuất để số trung bình không che đi lỗi lặp lại.
So quy mô mô hình với độ trễ của cả quy trình
Bốn cỡ mô hình cho phép so tốc độ với độ chính xác. Kích thước trọng số không nói được độ trễ từ lúc ghi hình đến lúc hiển thị: tiền xử lý, di chuyển dữ liệu và dựng kết quả đều tốn thời gian. Tốc độ khung hình trung bình có thể che một số lần dừng đủ làm gián đoạn thao tác. Cần ghi cả phân bố độ trễ hiển thị, số khung hình bị bỏ và thời gian để kết quả ổn định khi cảnh đổi nhanh. Một ứng dụng chỉ đo khi bấm nút có thể chờ lâu hơn để được đường biên rõ, trong khi xem trực tiếp khó chịu hơn với khung chậm.
Depth Pro 2 giúp các thử nghiệm dùng một camera dễ thực hiện hơn. Nó không biến ước lượng thống kê thành số đo của thiết bị. Khi dựng hình, hãy chú ý phần che khuất và độ liên tục; khi quyết định dựa trên kích thước, cần đối chiếu với khoảng cách đo độc lập và nêu rõ điều kiện, thiết bị cho kết quả đủ tin cậy.
Nguồn
Nội dung chỉ cung cấp thông tin, không cấu thành tư vấn đầu tư, pháp lý, thuế hoặc tài chính.