在數字化時代，自然歷史藏品已經成為生態和進化研究中不可或缺的重要資源。基于形態特征的標本檢索使我們能夠迅速獲取與之相似的標本，能極大地提高對這些館藏資源的利用效率，滿足相關研究的需求。然而，要實現這一目標，需要高效的特征提取和表征技術。
最近，中國科學院動物研究所白明研究團隊在形態特征的智能提取與表征領域取得了顯著進展，為自然歷史標本的高效檢索帶來了全新的可能性。這項研究結合深度學習技術和哈希方法，開發了一種名為表型編碼網絡（Phenotype Encoding Network, PENet）的深度學習模型，為下一代分類學的發展提供了有力的支持（圖1 a）。這一進展使研究人員能更容易地訪問和分析自然歷史標本的信息，有助于深化對生物多樣性和進化過程的理解。
PENet是一個端到端的模型，能夠自動地從輸入圖像中提取高維特征并將其轉換為哈希碼。該模型實現了兩個關鍵功能，即特征提取和特征表征。在特征提取方面，PENet采用了高性能的Swin Transformer架構（圖1 b），這一前沿技術能夠自動捕捉標本圖像中多樣的形態特征，為進一步的分析和檢索奠定了基礎。同時，PENet充分發揮了哈希方法在特征表征方面的作用（圖1 c）。在計算機科學中，哈希方法常被用于處理復雜的高維數據和向量，它能夠將這些數據降維至由0和1組成的哈希碼，并同時保留關鍵信息。在PENet中，哈希方法被用來將Swin Transformer提取到的高維特征轉化為緊湊而高效的哈希碼，從而出色地實現對形態特征的有效表征。
研究人員在多個數據集上對PENet進行了測試，以驗證其在面對不同規模標本時的檢索能力。測試結果表明，哈希碼作為一種二進制序列，能夠高效地匹配和查詢那些具有相似形態特征的圖像。同時，為了更深入地理解PENet的工作原理，研究人員還采用了梯度加權類激活映射方法（Gradient-weighted Class Activation Mapping, Grad-CAM），對PENet模型中間層的信息進行了可視化解釋和分析，其結果進一步表明了哈希碼作為形態特征的低維表征的有效性。此外，鑒于哈希碼不僅能夠表征所提取的判別特征，而且在一定程度上攜帶了不同類別之間的距離信息，該研究還探索了哈希碼在生成表型距離樹方面的潛力，為下一代分類學的發展提供了有前景的工具和方法。
該研究成果以PENet: A phenotype encoding network for automatic extraction and representation of morphological discriminative features為題, 于2023年10月16日在線發表在《Methods in Ecology and Evolution》上。該研究得到了科技部國家重點研發計劃、國家自然科學基金委、國家科技基礎資源調查項目、東北亞生物多樣性研究中心項目、中國博士后科學基金等項目的資助。中國科學院動物研究所博士生趙政宇和中國科學院動物研究所助理研究員路園園為論文的共同第一作者，中國科學院動物研究所白明研究員為通訊作者，中國科學院動物研究所博士后佟一杰和滄州師范學院的陳新博士也參與了該研究。
文章鏈接：http://doi.org/10.1111/2041-210X.14235
圖1. PENet的結構與流程圖
