04.微刺激模式優化

我們的目標是優化多通道ITMS控制輸入，以盡可能接近地重現每種獨特觸摸類型的自然觸摸反應。具體而言，我們對系統輸出與某個期望模板神經反應軌跡在有限時間內的偏差進行懲罰。我們首先將此優化問題表述為具有線性等式和不等式約束的二次成本函數。這種類型的問題稱為二次規劃，已得到充分研究，并且存在專門的算法用于高效多項式時間求解。解決此類控制問題的一種策略是不僅求解時間范圍內的最優控制輸入，還求解狀態變量。然而，狀態是輸入(1)的隱式函數，優化程序必須通過線性約束強制這種動態關系。盡管這種公式包含更多變量和約束，但在利用問題結構時，實際上在計算上是有益的。

由于我們對電幅度的表示，優化問題還包含不等式約束。由于探索性微刺激序列僅由單一極性的脈沖組成，我們選擇將輸入約束為單一極性，以使所有優化刺激保持在近似線性范圍內。改變極性會切換每個相鄰電極上電流的流入或流出順序，并且對負極性的反應與對正極性的反應并非線性相關。因此，我們對所有輸入施加非負約束，以及最大輸入邊界，以使解保持在探索性序列期間探索的電流幅度范圍內。與建模步驟一樣，脈沖序列由每個刺激通道的610 Hz脈沖串組成。

設yd(t)表示時間t的期望神經軌跡。我們假設在時間t，可獲得時間t到t+T?1的期望神經軌跡yd。時間范圍T決定了控制器在優化控制輸入時考慮的未來時間量。在實際（因果）應用中，該期望信號可以是預測響應模型的輸出，該模型使用截至t的傳感器信息，輸出T?1個未來時間點的預測神經反應。或者，yd也可以是預先計算/記錄的神經軌跡。在本研究中，我們將yd視為完全已知，即設置為每種觸摸條件的刺激周圍試驗平均自然反應。控制器的主要目標是最小化施加輸入序列下的系統輸出y(t)與期望信號yd(t)之間的距離。我們將階段τ的二次成本定義為優化目標是在上述約束下，最小化T個時間步的成本，可表述為其中優化針對u()(t,t+1,…,t+T?1)和x()(t+1,…,t+T)的值進行，Imax是最大電流限制，我們將其設置為探索性序列期間使用的最大電流值。模型的動態通過將當前輸入和狀態(x(t),u(t))與下一狀態x(t+1)相關聯的等式約束來強制實施。在這種情況下，系統演化是確定性的，優化不依賴于方程(1)中∫x或∫y的密度。

我們包含一個懲罰大電流的次要目標。這通過在公式(4)的成本函數中添加項μ||u(t)||2來實現，該術語懲罰輸入的平方范數，其中μ是控制該懲罰相對重要性的加權參數。類似地，可以通過向階段成本添加λv(t)2來節省輸入的低通濾波版本的幅度，其中v(t)=v(t?1)+αu(t)（α是極點在(1?α)的基本單極低通濾波器）。這具有懲罰高幅度、緩慢變化的輸入模式的效果。我們注意到，如果沒有這種懲罰，一些效果較差的輸入會被驅動以顯著幅度持續刺激。盡管這些輸入在控制范圍內名義上實現了更好的輸出跟蹤，但它們以顯著的超閾值幅度刺激，對測量的場電位沒有太大相關影響。我們懷疑這些是影響S1部分區域的通道，而我們的記錄陣列僅部分捕捉到這些區域。在我們的實驗中，相對加權因子μ和λ根據每只動物的電流注入和跟蹤誤差之間的權衡手動選擇。相比之下，低通濾波器參數α固定為，其中Fs是采樣頻率，τlp（濾波器時間常數）設置為100毫秒。

這種對輸入的濾波版本進行懲罰使用的方法非常相似。然而，在該研究中，優化是針對原始電流波形進行的，對緩慢電流注入的懲罰主要目的是限制電荷積累，這是已知的會導致電極腐蝕或觸點附近組織損傷的因素。在我們的研究中，由于我們的優化是針對定型脈沖序列的幅度包絡，因此每個雙相脈沖后電荷平衡會立即恢復。相反，濾波后的懲罰對緩慢、持續的脈沖序列設置了選擇性成本。

公式（5）中的最優控制問題在控制輸入和狀態上是二次的。在我們的公式中，被優化的變量是z=[x(t),u(t+1),u(t+2),…,u(t+T-1),x(t+T)]的串聯。這導致一組強制相鄰時間點輸入和狀態的系統動態的等式約束，以及一組強制控制輸入邊界的不等式約束。由于公式（5）是凸的（即其關于z的二階導數對所有z都是正定的），且其等式和不等式約束是線性的，因此該問題可以通過凸優化方法[39]易于處理地解決。通過利用僅對相鄰時間點強制實施等式約束所帶來的結構，運行時間為?(T(n3+m))——與不利用該結構時的運行時間?((T(n+m))3)相比有了巨大改進。關于通過內點法求解（5）所使用的特定算法的詳細信息。

我們模型中引入的輸入門控特征使系統成為非線性的。帶有輸入門控的狀態轉移為x(t+1)=A x(t)+B(gate(u(t)))，其中gate(u(t))i=gate(ui(t))。為了解決這個問題，在每次迭代時，每個時間t的系統都圍繞輸入的當前值?(t)進行線性化，因此非線性輸入相關性可以用線性時變項代替。準確地說，狀態轉移方程中的門控輸入可以用其一階泰勒近似代替。因此，狀態轉移方程可以被視為時變但線性的函數x(t+1)=A(t)x(t)+B?(t)u(t)，其中B?(t)=diag(g(u?(t)))。作為一種阻尼措施，每次迭代后取新解和當前解的組合，即z?βz_new+(1-β)z。在我們的實驗中，我們發現最初將β設置為1.0，然后在每次迭代時將β按0.97縮放，直到β=0.3，這對于找到良好的解是合適的。

我們探索的另一種方法是迭代線性二次調節器（iLQR）。這也使用系統動態的連續時變線性化來應對門控非線性。iLQR還使用了一種基于LQR的不同方法來更新輸入和狀態，該方法產生形式為u(t)=f(x(t))的線性狀態反饋策略，而不僅僅是輸入軌跡。我們發現在我們的實現中，iLQR的輸入解與內點法的輸入解沒有顯著差異。

最初，針對每種觸摸條件（部位、幅度、持續時間）離線找到最優控制輸入。在每種情況下，期望軌跡是試驗平均的自然觸摸響應，其中t=0對應觸摸開始，T=保持持續時間+50毫秒。微刺激模式從觸摸開始時開始，一直持續到T。一旦找到，優化的經顱磁刺激（ITMS）模式就通過腹后外側核（VPL）陣列施加。每種觸摸類型的模式都以與每個前爪位置的原始自然觸摸刺激相同的順序和時間施加。我們定義“虛擬觸摸”一詞來指代用對應于特定類型自然觸摸的優化微刺激模式進行刺激。