• <samp id="ekauw"></samp>
    <input id="ekauw"><object id="ekauw"></object></input>
    <samp id="ekauw"></samp>
    <label id="ekauw"><rt id="ekauw"></rt></label>
  • <blockquote id="ekauw"></blockquote>
  • 信雅達    12月9日下午10:31 北京時間
    請選擇語言
    [ 中文]

    首頁 > 公司新聞 > 公司新聞
    干貨!信雅達新一代AI+智能外呼機器人技術揭秘
    發布者:信雅達推廣部 發布時間:2020-10-29 閱讀:652次

    近期,信雅達新一代AI+智能外呼機器人已在浙商銀行正式上線。

    想知道最新一代智能外呼機器人到底運用了什么新技術嗎?相信這篇技術詳解一定會讓你大呼過癮~

     

     

    01采用Sparse Self Attention構建模型

     

    對于外呼機器人、智能客服這類對響應時間有著嚴格要求的系統和場景,在實際生產過程中,自然少不了對更加快速、穩定的計算,以及用少量的算力、較少的資源損耗獲取更好運行效果的極限追求。

     

    而如今NLP領域中,Attention大行其道,其核心在于K、Q、V三個向量序列的交互融合,其中Q、K的交互給出了兩兩向量之間的某種相關度(權重),而最后的輸出序列則是把V按照權重求和得到的。

     

    那么問題來了,即使是目前較為主流的Self-Attention的理論計算時間和顯存占用量都是O(n2)級別的,這也意味著如果序列長度變成原來的2倍,顯存占用量就是原來的4倍,計算時間自然也就是原來的4倍!當然,假設并行核心數足夠多的情況下,計算時間未必會增加到原來的4倍,但是顯存的4倍卻是實實在在的,無可避免。

     

    為了解決以上問題,信雅達金融大數據研究院在智能外呼意圖識別算法模塊構建過程中,放棄傳統的Self-Attention,采用Sparse Self Attention構建模型。

     

    通過Top-k選擇,將原有的Attention退化為稀疏Attetion,簡單從注意力矩陣上看,就是除了相對距離不超過k的、相對距離為k,2k,3k,…的注意力都設為0,這樣一來Attention就具有“局部緊密相關和遠程稀疏相關”的特性。

     

    通過這種方式,可以保留最有助于引起注意的部分,并刪除其他無關的信息,這在實際的使用過程中也起到了意想不到的效果。經過研究院測驗,這種選擇性方法在保存重要信息和消除噪聲方面是有效的,可以確保注意力可以更多地集中在最有貢獻的價值因素上。

     

    同時,在實際生產過程中,由于外界噪聲和ASR的轉義問題,經常會在文本中引入不必要的噪聲。Sparse Self Attention在處理這方面問題上,獲得了良好的效果。

     

     

    02 知識蒸餾

    隨著預訓練模型技術的發展,譬如Bert、XLNET、GPT-3的出現,使得AI技術對人類認知的探索更進一步。尤其是最近大火的GPT-3,作為單項語言模型訓練的代表,GPT-3的模型尺寸達到了恐怖的1750億,在45TB的訓練數據加持下,解決了業界常用的Bert預訓練模型的領域內標簽數據依賴以及領域數據分布過擬合,目前GPT-3的Few-shot在部分NLU任務上超越了當前SOTA。

     

    雖然預訓練模型在很多業務場景表現優異,但是其模型參數過大、預測時延較長、運行硬件成本較高的問題也導致了模型很難落地。因此,如何對預訓練模型進行模型壓縮,成為工業界和學術界共同關注的問題。

     

    為了能夠使用業界領先的預訓練模型,信雅達金融大數據研究院的數據科學家們采用了知識蒸餾模型壓縮技術,使預訓練模型在外呼項目中得到了高效利用。

     

    在原始模型訓練階段,研究院的數據科學家們基于預訓練模型Bert+深度神經網絡進行構建網絡結構,并將基于樣本訓練的教師模型(Net-Teacher)的Class Probabilities作為壓縮模型訓練的損失函數輸入來參與后續知識蒸餾訓練過程。

     

    在知識蒸餾階段,研究院的數據科學家們基于相同的樣本進行Net-Student模型的蒸餾訓練,對蒸餾溫度進行合適的選取。在整個訓練階段,Net-T輸出soft-target,Net-S同時輸出soft-predictions和hard-predictions;將Net-T的soft-target與Net-S的soft-prediction對應的交叉熵相加,作為整個模型損失函數的Lsoft部分,同時將Net-S的hard-prediction與ground-truth的交叉熵作為整個模型損失函數的Lhard的部分,通過反向傳播的訓練方法進行整個模型的訓練,直到訓練停止,完成整個知識蒸餾過程。

     

    知識蒸餾后的模型,在準確率下降不到1%的情況下,預測時間縮短了8倍,模型壓縮帶來的收益十分可觀,可以成功運用到時延要求高的應用場景。

     

     

    03 自學習技術賦能模型自迭代

    常言道:舉一反三才能事半功倍。即使近年來自學習技術狂飆突進式發展,但人工智能在模仿人類這條路上依舊需要負重前行,畢竟只有通過學習與積累,才能實現從入門到專業、從青澀到成熟的轉變。

     

    基于對“持續學習”的考慮,信雅達金融大數據研究院此次研發的外呼機器人系統支持學習迭代。在項目啟動后,生產語料不斷積累,伴隨而來的是不斷豐富的知識庫以及多種多樣的新增意圖。為了充分利用好這些寶貴數據,研究院的攻城獅們下了大功夫:將繁雜的訓練過程封裝為簡單的自訓練配置,通過一鍵式在線生成新模型,即可進行擴充語料的增量訓練,同時直接部署測試環境進行新模型測試,這樣大大縮短數據

    久青草国产在线观看视频