• 機房360首頁
    當前位置:首頁 ? 大數據 ? 在企業中操作大數據的實用人工智能技術

    在企業中操作大數據的實用人工智能技術

    來源:機房360 作者:Harris編譯 更新時間:2023/9/13 6:54:13

    摘要:三大趨勢的獨特融合幫助人工智能得到普及應用,并使其在日常應用中無處不在——大數據、云計算和高級算法。如今,人工智能從根本上改變了軟件的編寫方式,并將其融入日常數字體驗中,例如寫電子郵件、搜索網絡、購買服裝、搜索和聽音樂以及建立網站。

       三大趨勢的獨特融合幫助人工智能得到普及應用,并使其在日常應用中無處不在——大數據、云計算和高級算法。如今,人工智能從根本上改變了軟件的編寫方式,并將其融入日常數字體驗中,例如寫電子郵件、搜索網絡、購買服裝、搜索和聽音樂以及建立網站。不過,人工智能在制造業、交通運輸、航空、發電、金融服務和其他行業的全球基礎設施系統中的傳播速度有所放緩。
      
      雖然這些行業擁有大量數據,但這些數據通常是:
      
      •不屬于公共領域;例如石油和天然氣的石油勘探或環境影響報告。
      
      •需要知識淵博的人進行注釋;例如來自燃氣輪機、水泵、壓縮機的傳感器數據。
      
      •以多種格式保存在復雜的數據存儲中,并且并不總是被清理;例如飛機維修日志或手冊。
      
      這些非?,F實的挑戰使得應用那些徹底改變了互聯網搜索、閱讀發票、翻譯語言和進行對話的人工智能技術無法原封不動地應用于專業領域。
      
      工業界的人工智能從業者意識到,傳統的監督機器學習方法和來自學術界和研究的大規模模型在專業領域經常失敗,這使得商業企業中大數據的操作化變得非常困難。正如Gartner高級總監分析師ChiragDekate在2019年所說,“啟動試點看似簡單,但將其部署到生產環境中卻極具挑戰性。”
      
      各行業采用的關鍵不是依賴數據科學家和軟件開發人員,而是授權能夠深入了解流程和數據的主題專家(SME)。然而,要讓發電廠運營商、金融分析師、海關代理人等中小型組織能夠直觀、快速地定義、構建和部署他們自己的專用人工智能,需要新的數據發現、工具、自動化和驗證方法數據科學。
      
      在企業中實施最流行的大數據形式的一些經過驗證的技術包括:
      
      通過對數字傳感器數據的正常行為建模,為計劃外資產停機時間創建早期預警。
      
      工業運營通常依賴于關鍵的高價值資產(例如燃氣輪機)。一天的計劃外停機或停電可能會使電力公司或公用事業提供商損失約30萬美元的收入,這對消費者的影響可能要嚴重得多。由于它們的關鍵性質,這些系統通常過度構建冗余并具有全面的預防性維護計劃。具有諷刺意味的是,這使得傳統的有監督機器學習變得困難,因為在系統的生命周期中很少發生故障。
      
      正常行為建模是一種與領域無關的半監督機器學習技術,可用于通過將任何系統表示為過程參數的組合來快速建模任何系統。中小企業在歷史數據中識別系統正常行為的時間范圍,然后人工智能開始學習過程參數之間的潛在關系。自動編碼器是一種基于歷史數據訓練并將潛在關系存儲為一組權重的神經網絡。一旦自動編碼器經過訓練,它就可以用于預測或重新生成輸入過程參數。如果并且當過程參數的預測值或再生值與測量的歷史值不匹配時,歸一化誤差被用作“異常”或異常的度量。
      
      在將這種類型的正常行為模型產品化之前,需要根據系統中實際中斷和事件的歷史記錄對其進行回測。如果選定的過程參數很好地代表了系統的行為,那么在任何中斷之前,一些或所有參數應該開始趨向于異常范圍。正常行為模型應該通過提高異常水平來預測這一點。如果異常級別在停電之前持續提高到足夠高,則可用于為未來的停電創建預警系統。
      
      在實踐中,可以使用超參數優化自動訓練數十或數百個正常行為模型。創建目標函數來衡量預測的準確性和預警的長度。這個目標函數使得以編程方式評估和排列所有模型變體并將最好的模型部署到生產中成為可能??梢蕴砑宇~外的調整層,以根據異常級別和用戶的偏好選擇正確的動態閾值來發出警報。
      
      與傳統建模相比,正常行為模型具有以下優勢:
      
      •與領域無關。只要以合理的頻率和精度測量/記錄過程變量,就可以使用該方法。
      
      •無監督學習。前期工作僅限于變量選擇和識別標稱運行條件,通??梢杂芍行∑髽I執行。
      
      使用點對點基于密度的聚類在自然語言記錄中查找模式。
      
      自然語言記錄在工業環境中非常普遍,構成了產品測試、應用程序/安全日志、設備維護、物流、運輸等廣泛過程的基礎。在實踐中,企業中的大多數記錄是半結構化記錄,具有一列或多列結構化數據(數字、日期、類別)和一列或多列通常為人類消費而創建的自然語言文本。對半結構化記錄的需求幾乎在企業中出現。在理想情況下,收集的有關流程的所有數據都可以是數字、日期和多項選擇分類元素。然而,在實踐中,將自然語言引入記錄有多種原因:
      
      •并非所有流程模式在設計時都是已知的,導致“其他”或涵蓋所有類別。
      
      •指令或程序最好用自然語言表示,并隨著時間的推移不斷改進。
      
      •故障排除、診斷、調查等通常會產生以前未知的知識,從而使自然語言成為必要。
      
      企業的運營記錄通常是功能性的/簡潔的,包含拼寫錯誤和俗語,并且通常包含首字母縮略詞和行話。這使得標準搜索和自然語言建模技術有些無效。此外,可能有很多方法可以使用自然語言,因此一個全面的規范化方案是站不住腳的。例如。上述事件可以按其嚴重程度(即輕傷)分類,也可以按受傷點分類(即手部受傷)。這兩個類別并不相互排斥,需要被視為單獨的分類方案。如果沒有中小企業的努力,大多數自然語言記錄很少被分析并且未被利用。
      
      在自然語言記錄中尋找有用模式的一種實用方法是點對點聚類。為了檢索信息,中小企業首先在他們的記錄上使用常見的搜索技術。但是,閱讀數百個結果通常很乏味,并且簡單地消耗前“n”個結果會為錯過的信息留下空間。為了避免這些陷阱,人工智能在搜索結果上應用了基于密度的聚類。當DBSCAN或HDBSCAN等基于密度的方法用于記錄的句子嵌入時,它們傾向于對語義相似的語言進行聚類,而不會對拼寫、共軛、錯別字和口語高度敏感。中小企業可以輕松地閱讀集群中的幾個代表性記錄以完全理解它。此外,對前“n”個集群的分析通常會暴露搜索結果中所有主要的信息模式。這些集群現在也可以成為分類方案的初始候選者,該分類方案可以逐步圍繞數據創建分類結構。當無法提前準確和完全了解中小企業意圖但可以隨著時間的推移定義和應用時,這種技術在長尾搜索問題中不斷展示出高價值。
      
      使用發現循環從文檔中檢索信息或知識
      
      為了推動關鍵和時間敏感的決策,每個垂直行業、政府機構和軍事部門的分析師都會遇到大量需要處理的內容。高管們依靠分析師準確解讀報告、新聞、咨詢和調查,從而為自信、深思熟慮的決策提供決策支持。通過探索性閱讀來尋找正確的內容在認知上是一種負擔,并且會造成決策疲勞。此外,分析師通常會探索難以使用標準搜索工具所需的關鍵字和邏輯規則清晰表達的深奧概念。”
      
      在考慮上述新聞摘錄中的敘述性文本示例時:
      
      第二個示例實際上沒有使用“爆發”一詞,但中小企業可能會很快將其評估為爆發的領先指標。為了解決這些深奧的知識獲取場景,中小企業首先使用代表他們想要找到的想法的多個關鍵字之一來搜索他們的文檔。DiscoveryLoopAI然后從結果中選擇25-50個最具代表性的句子,并通過簡單的點擊手勢,使中小企業能夠將結果分類為一個或多個有意義的類別?;蛘?,中小企業也可以從句子中指示子串以逐字提取。人工智能訓練一個CNN分類器來學習中小企業分配的類別。任何未分類的句子都會自動分配到“不感興趣”類別。如此訓練的模型對原始搜索結果中的所有句子進行推理?;谕茢嗟念悇e預測及其相對預測置信度,人工智能呈現至少2組句子供中小企業審查和/或糾正——基于分配的類別標簽“最像標簽x”和“最不像標簽x”到最初的25~50個句子。由于人工智能只訓練25~50個句子的模型并對搜索結果進行推理,因此循環通常只需幾分鐘。同樣,每個審查組每個只有25~50句話,只需要中小企業幾分鐘的審查。這種快速迭代被稱為發現循環,它使中小企業能夠快速發現信息,而無需關注關鍵字,而只需閱讀和做出重點決策。隨著中小企業管理更多的標記句子,人工智能重新訓練分類或提取模型以提高準確性并通過使用從標記句子中提取的關鍵字執行查詢擴展來增加文檔集的覆蓋范圍。在任何時候,模型都可以針對文檔集中的所有句子運行,以獲得與中小企業定義的深奧概念相匹配的綜合句子子集,然后可以在分析師報告中作為證據引用或引用。
      
      與經典的監督分類方法相比,點對點基于密度的聚類和發現循環都具有以下優勢:
      
      •減少傳統方法所需的繁瑣、全面的標記負擔.
      
      •使中小企業能夠在發現新信息時逐步開發類別.
      
      •使中小企業僅對有用的數據子集進行建模.
      
      所有技術的一個共同特點是利用人工智能增強中小企業的知識和直覺,使他們能夠專注于高價值的決策。通過避開學術界流行的經典監督建模方法,這些技術通過在SME的指尖提供即時智能,專注于快速實用性。
      
      編輯:Harris
      

    機房360微信公眾號訂閱
    掃一掃,訂閱更多數據中心資訊

    本文地址:http://www.everlastingsoftsol.com/news/2023913/n5247154421.html 網友評論: 閱讀次數:
    版權聲明:凡本站原創文章,未經授權,禁止轉載,否則追究法律責任。
    轉載聲明:凡注明來源的文章其內容和圖片均為網上轉載,非商業用途,如有侵權請告知,會刪除。
    相關評論
    正在加載評論列表...
    評論表單加載中...
    • 我要分享
    推薦圖片
    欧美老妇牲交videos,欧美老妇与禽交,欧美老妇与人牲交大战,欧美老少欢交另类
  • <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <文本链> <文本链> <文本链> <文本链> <文本链> <文本链>