# 概要 Time-of-Flight(ToF)カメラは，距離情報と輝度情報を同時に取得することができるカメラである．しかし，霧が存在する場合，物体よりも手前で光が散乱してカメラに届くため，物体までの距離を正確に計測できない．また，RGB 画像では，深層学習を用いた霧の除去手法が提案されているが，ToFカメラの計測データには直接適用することができない．そこで本研究では，複素数形式のToFデータを直接処理できる複素ニューラルネットワークを構築した．霧が出たときのToFデータを合成してモデルを訓練し，フォグマシンを用いた実際の計測データに対して，提案モデルの有効性を確認した．実際に実数のみを用いたニューラルネットワークよりも良い推定が行えることを確認した． # はじめに ToF計測は，物体までの距離を非常に高い精度で測定できる技術であり，センシングや画像処理の分野で広く利用されている．自動運転システムにおいては，ミリ波よりも高精度で距離を計測し，3Dデータを取得する能力がある．さらに，ToFカメラは様々な光環境で作動するため，RGBカメラよりも昼夜を問わず一貫した性能を維持できる．しかし，霧が生じた環境下ではToFカメラが正確に計測できない問題がある．霧の粒子の存在はToFセンシングの性能を低下させる要因となる．霧中では光が粒子に散乱されやすくなり，ToFセンサーから物体までの正確な光の飛行時間を測定することが難しくなる．さらに，霧は光の透過率を低下させ，ToFセンサーが発信した光の強度を減衰させる効果もある．これまでに提案された霧の除去手法は，主に数理的なモデルに基づいていた[1][2][3]が，数理的なモデルは霧に関連する種々の係数を推定する際に様々な制約を課しており，実用性に欠けていた．近年では深層学習を用いた画像の鮮明化手法が提案されている[4][5][6]が，深層学習の手法は主にRGB画像に対して適用されており，ToF測定の距離画像に基づいた手法はまだ確立されていない．そこで本研究では，RGB画像に対して有効性が確認されている深層学習を用いた手法を拡張し，AMCW（振幅変調連続波）方式のToFカメラが計測するデータを直接処理できるネットワークを提案する．ToFカメラの計測データは複素形式で表現されるため，ネットワーク内のすべての計算を複素計算するネットワークを構築した．霧の影響を受けた ToF データセットは存在しないため，フォグマシンを用いて実データを収集した．また，霧中における光の伝播を考慮したToF合成データを作成し，複素ニューラルネットワークの学習に使用した．実データと合成データに対してテストを行い，実数ニューラルネットワークの結果と比較して，本研究の有効性を確認した． network

*図 1 提案手法のアーキテクチャ* # 複素ニューラルネットワーク ## 畳み込み層複素数の畳み込み層は，実数の畳み込み層と同様に，入力データに畳み込み演算を適用して特徴を抽出し，出力特徴マップの空間サイズを縮小することができる．複素数のカーネルと複素数のバイアスの計算より，複素数の特徴マップが得られる．複素数形式のデータと複素数のカーネルを畳み込む結果はである．ここで，は虚数単位である．この畳み込みが以下のマトリックス形式で表される． ## 活性化関数複素数の活性化関数は，ニューラルネットワーク内の各ニューロンにおいて，その入力から出力への変換を担当する．その主な役割は，複素ニューラルネットワークに非線形性を導入し，誤差逆伝播の際に勾配消失と勾配爆発問題を防ぐことである．複素数の活性化関数にはいくつかの方法があるが，ここでは複素数の実部と虚部を独立して扱い，実数領域での活性化関数を利用する．この場合の活性化関数は複素数をとして次式で表される．ここで，は複素数の活性化関数，は実数の活性化関数である．本研究では，活性化関数にReLUを利用した． ReLUは，実部と虚部に対してそれぞれReLU演算を行う複素数の活性化関数であり，以下の形式で計算される． ## 損失関数ニューラルネットワークにおいて，損失関数はモデルが出力を望ましい目標と比較してどれだけ正確に予測したかを評価する指標である．複素数領域では，複素数は実部と虚部を持つ2次元の数値であるため，直接的な大小比較はできない．一般的な方法は複素数の実部と虚部をそれぞれに対してMSE計算を行うことである．ToFカメラの取得した複素数を入力した際に得られた出力をとし, 真値をと定義する．ここで，はピクセルの総数である． ## ネットワーク構造本研究で使用されるネットワークは，画像セグメントションや画像ノイズ除去などの分野で使われるU-Netを拡張して，複素数のデータを処理できるようにしている．EncoderとDecoder二つの部分に構成される．Encoder部分では，複数の畳み込み層が使用され，batch normalization，average pooling，および ReLU活性化関数が適用され，入力の霧のあるデータをエンコードする．Encoder部分から得られたbottleneck特徴は，Decoder部分で使用され，残差データを再構築する．Decoder部分では，複数のトランスポーズ畳み込み層が使用され，batch normalization，up-sampling，および ReLU活性化関数が適用される．さらに，ネットワークのautoencoder部分では，ニューラルネットワークの勾配消失問題に対処するために，四つのskip connectionsが使用される. 畳み込み層とトランスポーズ畳み込み層のカーネルサイズはそれぞれ3×3で，slideは1，zero paddingは1，dilationは1と設定される．pooling層の場合，カーネルサイズは2×2で，slideは1，zero paddingはなく，dilationは1と設定される． # 霧中におけるToFデータニューラルネットワークの学習とテストには，霧のないToFデータと対応する霧のあるToFデータが必要である．ここで，テストセットの一部および合成データの基準として実データを収集した．また，大量の実データを収集することは難しいため，データ合成の手法を用いてトレーニングセットを拡充した． ## 実データ実データは，霧のないデータとそれに対応する霧のあるデータから構成される．まず，ToFカメラで霧のない状態でのデータを保存する．そして，フォグマシンを使用して一分間の霧を生成し，霧のある状態でのデータを保存する．その後，霧を完全に消失させ，物体の位置を変えて上記の手順を繰り返して複数のデータを収集する． method of synthesis

*図 2 霧のある ToF データ合成方法* ## 合成データ霧中でToFカメラの計測値は，霧の観測値と物体の観測値を足し合せた波の振幅と位相差から構成されていることが知られている．ここで，各ピクセルが単一のパス上の観測値に対応し，多重経路は考慮されていない．各ピクセルで計算される霧の観測値は，そのパス上のすべての霧の粒子からの反射信号を積分して計算される．さらに，距離に伴う光の減衰，霧の粒子への衝突による減衰，および逆方向への反射の確率も考慮されている．各ピクセルに対応する霧の成分の観測値をと表記する．ここで，はカメラから霧までの距離，は物体までの距離，は霧のない際にToFカメラの位相と振幅の関係関数，はToFカメラの周波数，は光速，は霧の散乱アルベド，は散乱の偏りを表すHenyey-Greenstein位相関数，は散乱光の角度分布を決めるパラメータ，は霧の消滅係数である．関数は、光源が点光源の場合，距離の二乗に反比例して減衰するモデルとなるが，実際のToFカメラの光源はこのモデルに合わない.そのため，実際のカメラの明るさをサンプリングしたデータから多項式回帰によって近似する．具体的な方法は，白紙を反射率が約１の物体と見なし，ToFカメラを白紙の中心に合わせ，白紙を一秒ごどに平行移動させ，各データには位相と振幅情報が含まれるように保存する．これにより，異なる位相に対応する振幅を得ることができる．データの中心の四つのピクセルの観測した位相と振幅を平均し，それをサンプリングポイントとして，多項式回帰を使用して関数を近似した．霧中で物体成分の観測値は，距離に伴う振幅の減衰と霧による減衰の影響を受けている．霧のないToFデータを使用して合成する際に，元のデータには既に振幅の減衰と物体の反射率が含まれているため，再計算する必要はない．各ピクセルに対応する物体の成分の観測値をと表記する．ここで，は霧のない際に，カメラの受け取る信号の振幅である．最後に，霧の成分と物体の成分を足し合わせ，霧のあるToF合成データは，図3に示すようにで計算される．合成データが実際の霧のあるデータにできるだけ近づくように，収集した実データとの平均誤差を計算し，異なる消滅係数を試して誤差を最小化する．この実験では，，，は0.24から0.28までの範囲でランダムに設定され，この範囲で合成データが実データに比較的近づくことが確認された．図3は合成データと実際のデータを比較する結果である． Synthetic Data

*図 3 霧のないデータを用いた合成データと霧のあるデータ* # 実験 ## 実験設定二つのネットワークは240×240サイズの行列を持つデータで訓練されている.最適化アルゴリズムにはAdam Optimizerを用い，ネットワークは1回ずつパラメータの更新を行う．バッチサイズは64，学習epoch数は250，初期学習率は0.1に設定した．プログラムはPython 3.10.12，PyTorch 2.1.0で実装した．実行環境は，OS:Ubuntu 20.04，CPU:Core i9 10980XE，メインメモリ:128GB，GPU:NVIDIA RTX A6000，GPUメモリ：48GBである実行環境を利用した． ## 複素ニューラルネットワークの実験複素ニューラルネットワークは200枚の合成データをトレーニングデータセットとして，20枚の合成データを検証データセットとして扱った．また20枚の実データと20枚の合成データをテストデータとして使用した．複素ニューラルネットワークの入力は一つのチャンネルの行列であり，各要素はピクセルに対応する複素数値である．そして，出力は霧のある複素数値と霧のない複素数値の残差である．合成データをテストした結果は図4で示され，実データをテストした結果は図4で示される． ## 実ニューラルネットワークの実験本論文では，複素ニューラルネットワークを比較するために，同じ構造の実ニューラルネットワークを使用した．トレーニングデータ，検証データ，テストデータも複素数の場合と同じである．実数のネットワークの入力は霧のあるToFデータであり，各チャンネルは振幅と距離である．損失関数は振幅と距離のMSEをそれぞれ計算して合計する．さらに，損失関数にハイパーパラメータを組み込むこともできる．ここで，とは振幅と距離の真値であり，とは霧のあるデータを入力した際に得られた出力の振幅と距離である．出力されたデータは，霧のあるToFデータと霧のないToFデータの残差である．異なるハイパーパラメータを設定した損失関数(8)の比較の結果は，重みとしてを選択した．合成データをテストした結果は図4で示され，実データをテストした結果は図5で示される． syndata_result

*図 4 合成データをテストした予測結果* realdata_result

*図 5 実データをテストした予測結果* # 結果評価学習済みの複素ニューラルネットワークと実ニューラルネットワークを比較するために，20枚の実データと20枚の合成データをそれぞれにテストした．実際の霧のないデータと霧のあるデータの距離誤差と振幅誤差をそれぞれ計算して評価基準とする．合成データをテストした結果は表1で表示される．合成データの予測結果において，複素ニューラルネットワークは実ニューラルネットワークよりわずかに小さい距離誤差を示している．振幅誤差に関しては，複素ニューラルネットワークが振幅誤差を減少させ効果があり，一方で実ニューラルネットワークの誤差は実際の誤差よりも大きくなっている．実データをテストした結果は表2で表示される．実データの予測結果において，複素ニューラルネットワークと実ニューラルネットワークの両方が距離誤差を改善している．特に，複素ニューラルネットワークの優位性がより顕著であることが示されている．振幅誤差に関しては，両方のネットワークとも実際の誤差よりも増加しているが，複素ニューラルネットワークの増加した誤差は実ニューラルネットワークよりも小さいである．複素ニューラルネットワークは，合成データおよび実データの両方で距離誤差に一定の改善が見られる．ただし，振幅誤差に関してはトレーニングデータが全て合成データであるため，実際のデータでの予測結果あまり良くない． # 結論本研究では，ToF計測における霧の影響を除去するための新しいモデリング学習手法を提案した．この手法は複素ニューラルネットワークを基に学習を行い，U-Netの構造を持つネットワークを構築した．そして，同じ構造を持つ実ニューラルネットワークと比較する評価実験を行った．その結果，合成データでも実データでも，複素ニューラルネットワークの方が小さい距離誤差と振幅誤差を示し，優れた性能を確認した．実験結果から，提案手法では合成データを使用しているため，振幅誤差が大きいことが明らかになった．合成データと実データをより類似したものにする方法は，将来の課題の一つとなる．また，他のGANやTransformerなどのネットワークアーキテクチャを試して，精度が向上するかどうかを検討するなどの展開が考えられる．