從「幀」到「事件」：視覺感知的範式轉移
傳統相機以固定幀率（如 30 fps）捕捉整個場景的快照，無論畫面是否發生變化，每一幀都包含了完整的像素陣列數據。這種冗餘採樣方式在靜態場景中浪費了大量的頻寬與功耗，而在高速運動場景中又容易出現運動模糊與時間混淆。類比於人眼視網膜——我們並非以固定頻率「拍攝」世界，而是僅在視野中有變化時才觸發神經脈衝。這就是事件驅動視覺（Event-based Vision）的核心哲學。
神經形態視覺感測器（Dynamic Vision Sensor, DVS）的每個像素獨立且非同步地監測光照強度的對數變化。當某個像素感知到的光照變化超過預設閾值（通常為 10-15% 對比度變化）時，它會立即輸出一個事件——包含像素座標 (x, y)、時間戳 (t, μs 精度) 以及極性 (p, 變亮或變暗)。這就形成了一個稀疏的、微秒級時間解析度的事件流（Event Stream），其數據量僅為同等場景下傳統相機的 1% 至 10%。
DVS 像素電路：非同步光照變化檢測
DVS 像素的核心是一個對數光電轉換器與差分放大電路的組合。光電流經過對數壓縮後，通過一個可切換電容器的差分電路計算光強的時間導數 d(log I)/dt。當此導數的絕對值超過晶片級可編程閾值時，比較器觸發一個地址事件（Address-Event Representation, AER）讀出請求。
每一個像素完全獨立運行，不存在傳統相機的全局快門或滾動快門。這種非同步架構帶來了兩項關鍵優勢：第一，時間解析度僅受限於 AER 匯流排的仲裁延遲，通常可達微秒級；第二，由於只有變化的像素才被讀出，感測器的平均數據速率與場景動態程度成正比。在工業視覺應用中，這意味著一片 640×480 解析度的 DVS 晶片可以在檢測高速缺陷的同時，將數據頻寬控制在 USB 2.0 的承載能力之內。
事件流處理：噪聲濾波與時空聚類
原始事件流包含大量的背景活動噪聲（Background Activity, BA），主要來自於像素電路的熱噪聲與電源波動。標準的去噪方法基於事件的時空相關性：真實事件往往在時空鄰域內伴隨多個相關事件，而噪聲事件則孤立出現。一種經典的濾波算法是「最近鄰時間閾值法」——若某個事件在 (x, y) 位置附近的 Δt 時間窗口內沒有鄰居事件，則將其標記為噪聲並丟棄。
在去噪之後，事件流可以通過聚類算法形成「事件包」（Event Packet），代表場景中的運動物體或邊緣特徵。基於密度的時空聚類（如 DBSCAN 的 3D 擴展）能夠將事件分組為具有一致運動矢量的物體假設。這些聚類的質心軌跡可以直接輸入追蹤濾波器，而無需經過傳統的幀式檢測流程——這大幅簡化了高速機器人視覺的處理管線。
稀疏事件流演算法實作
以下 Python 程式碼展示了事件流的基本處理管線：將 AER 數據解析為事件序列，執行時間濾波去噪，並輸出累積的事件幀以供可視化。值得注意的是，這種處理方式保持了事件的稀疏性，直到可視化步驟才轉為密集表示——這是神經形態視覺相較於傳統計算機視覺的關鍵區別。
import numpy as np class EventStreamProcessor: def __init__(self, width, height, noise_window_us=500): self.width = width self.height = height self.noise_window = noise_window_us self.last_timestamp = {} # {(x,y): last_t} def filter_background_activity(self, events): """ Filter noise events using spatio-temporal correlation. events: ndarray of shape (N, 4) -> [x, y, polarity, timestamp_us] """ filtered = [] for ev in events: x, y, p, t = ev key = (int(x), int(y)) # Check if nearby pixel fired recently is_signal = False for dx in [-1, 0, 1]: for dy in [-1, 0, 1]: if dx == 0 and dy == 0: continue neighbor = (int(x) + dx, int(y) + dy) last_t = self.last_timestamp.get(neighbor) if last_t is not None and (t - last_t) < self.noise_window: is_signal = True break if is_signal: break if is_signal: filtered.append(ev) self.last_timestamp[key] = t return np.array(filtered) def accumulate_frame(self, events, time_window_us=10000): """ Accumulate events into a dense frame for visualization. """ frame = np.zeros((self.height, self.width), dtype=np.int8) for ev in events: x, y, p, _ = ev if 0 <= x < self.width and 0 <= y < self.height: frame[int(y), int(x)] = 1 if p > 0 else -1 return frame # Usage example processor = EventStreamProcessor(width=640, height=480) # raw_events = load_aer_data("recording.aedat") # clean = processor.filter_background_activity(raw_events) # vis = processor.accumulate_frame(clean)
結語：機器視覺的下一個十年
事件驅動視覺正在重新定義高速機器視覺的可能性邊界。從工業檢測中的微小缺陷追蹤，到太空碎片監測中的高速目標鎖定，從自駕車的極低延遲障礙物感知，到無人機的敏捷避障——神經形態感測器在功耗和速度上的本質優勢，使其成為邊緣端視覺應用的理想選擇。隨著三維事件視覺感測器與純事件深度學習框架的成熟，我們正在向一個「以事件而非幀為基本單元」的視覺處理時代邁進。這是一場從底層傳感器到上層演算法的全面革新，而這僅僅是開端。
本文內容僅供技術探討與教育參考。文中提及之神經形態感測器性能數據（功耗、延遲、動態範圍等）以學術文獻及公開 Datasheet 為參考，實際表現可能因製程、設計與應用場景而有所差異。相關技術實施應諮詢專業硬體工程師，並遵循當地知識產權法規。