在云端你需要的5個(gè)機器學(xué)習技能

機器學(xué)習和AI繼續深入IT服務(wù)中，并補充軟件工程師開(kāi)發(fā)的應用程序。如果IT團隊想跟上這種步伐，必須提高他們的機器學(xué)習技能。

云計算服務(wù)支持構建和部署AI及機器學(xué)習應用程序的各種功能。在很多方面，AI系統的管理與IT專(zhuān)業(yè)人員在云端熟悉的其他軟件非常相似。但是，僅僅因為某人可以部署應用程序，并不一定意味著(zhù)他們可以成功部署機器學(xué)習模型。

盡管這些共性可能會(huì )加快過(guò)渡，但仍存在重大差異。除了軟件工程技能外，你的IT團隊成員還需要特定的機器學(xué)習和AI知識。除技術(shù)專(zhuān)長(cháng)外，他們還需要了解當前可用于支持其團隊計劃的云計算工具。

下面讓我們探索IT專(zhuān)業(yè)人員在云端成功利用AI所需的5個(gè)機器學(xué)習技能，并了解Amazon、微軟和谷歌為支持這些技能所提供的產(chǎn)品。在這些技能集中，雖然存在一些重疊，但不要期望一個(gè)人具備所有技能。通過(guò)組建具有這些技能的人員的團隊，可使你的企業(yè)處于最佳位置，以利用基于云的機器學(xué)習。

1. 數據工程

如果IT專(zhuān)業(yè)人員想在云端實(shí)現任何類(lèi)型的AI策略，都需要了解數據工程。數據工程包含一系列技能，這涉及數據整理和工作流開(kāi)發(fā)領(lǐng)域，以及軟件架構知識。

IT專(zhuān)業(yè)知識的這些不同領(lǐng)域可以分解為IT專(zhuān)業(yè)人員應完成的不同任務(wù)。例如，數據整理通常涉及數據源標識、數據提取、數據質(zhì)量評估、數據集成以及在生產(chǎn)環(huán)境中執行這些操作的管道開(kāi)發(fā)。

數據工程師應該習慣使用關(guān)系數據庫、NoSQL數據庫和對象存儲系統。Python是一種流行的編程語(yǔ)言，可結合批處理和流處理平臺（例如Apache Beam）以及分布式計算平臺（例如Apache Spark）使用。即使你不是專(zhuān)業(yè)的Python程序員，只要具備一定的語(yǔ)言知識，你都可以從針對數據工程和機器學(xué)習的各種開(kāi)源工具中提高技能。

數據工程在所有主要云端都得到很好的支持。AWS提供全面的服務(wù)來(lái)支持數據工程，例如AWS Glue、Amazon Managed Streaming for Apache Kafka（MSK）和各種Amazon Kinesis服務(wù)。AWS Glue是數據目錄以及提取、轉換和加載（ETL）服務(wù)，其中包括對計劃作業(yè)的支持。MSK是數據工程管道的有用構建塊，而Kinesis服務(wù)對于部署可擴展流處理管道特別有用。

Google Cloud Platform則提供Cloud Dataflow，這是一項托管的Apache Beam服務(wù)，支持批處理和Steam處理。對于ETL流程，Google Cloud Data Fusion提供基于Hadoop的數據集成服務(wù)。Microsoft Azure還提供多種托管數據工具，例如Azure Cosmos DB、Data Catalog和Data Lake Analytics等。

2. 模型構建

機器學(xué)習是發(fā)展良好的學(xué)科，你可以通過(guò)研究和開(kāi)發(fā)機器學(xué)習算法來(lái)發(fā)展自己的職業(yè)。

IT團隊使用工程師提供的數據來(lái)構建模型，并創(chuàng )建軟件以提出建議、預測價(jià)值和對條目進(jìn)行分類(lèi)。重要的是要了解機器學(xué)習技術(shù)的基礎知識，即使很多模型構建過(guò)程都是在云端自動(dòng)完成。

作為模型構建者，你需要了解數據和業(yè)務(wù)目標。你需要構想解決方案來(lái)解決問(wèn)題，并了解如何將其與現有系統集成。

現在市場(chǎng)上提供現成的產(chǎn)品，例如谷歌的Cloud AutoML，這套服務(wù)可以幫助你使用結構化數據以及圖像、視頻和自然語(yǔ)言來(lái)構建自定義模型，而無(wú)需對機器學(xué)習有太多的了解。而Azure在Visual Studio中提供ML.NET模型構建器，該模型構建器提供界面用于構建、訓練和部署模型。Amazon SageMaker是另一項托管服務(wù)，用于在云端構建和部署機器學(xué)習模型。

這些工具可以選擇算法，確定數據中哪些特征或屬性最有價(jià)值，并使用稱(chēng)為超參數調整的過(guò)程優(yōu)化模型。這些服務(wù)擴展了機器學(xué)習和AI策略的潛在用途。正如你不需要成為機械工程師就能駕駛汽車(chē)一樣，你也不需要機器學(xué)習的研究生學(xué)位即可建立有效的模型。

3. 公平與偏差檢測

算法做出的決策將直接且顯著(zhù)影響個(gè)人。例如，金融服務(wù)利用AI做出有關(guān)信貸的決策，這可能會(huì )無(wú)意中偏向特定人群。這不僅可能因拒絕信貸來(lái)傷害個(gè)人，而且還使金融機構面臨違反《平等信貸機會(huì )法》等法規的風(fēng)險。

這些看似艱巨的任務(wù)對于A(yíng)I和機器學(xué)習模型是不可避免的事情。檢測模型中的偏差可能需要精通的統計和機器學(xué)習技能，但與模型構建一樣，某些繁重的工作可以由機器完成。

FairML是用于審核預測模型的開(kāi)源工具，可幫助開(kāi)發(fā)人員識別工作中的偏見(jiàn)。檢測模型偏差的經(jīng)驗還可以幫助告知數據工程和模型構建過(guò)程。Google Cloud的公平性工具在市場(chǎng)上領(lǐng)先，其中包括What-If Tool、Fairness Indicators和Explainable AI服務(wù)。

4. 模型性能評估

模型構建過(guò)程的一部分是評估機器學(xué)習模型的性能。例如，分類(lèi)分析是根據準確性、精確度和召回率進(jìn)行評估。而回歸模型（例如預測房屋出售價(jià)格的模型）通過(guò)測量其平均錯誤率進(jìn)行評估。

現在表現良好的模型將來(lái)可能會(huì )表現不佳。這里問(wèn)題不是，該模型會(huì )以某種方式被破壞，而是訓練該模型數據會(huì )過(guò)時(shí)，而無(wú)法再反映未來(lái)世界的情況。即使沒(méi)有突然的重大事件，也會(huì )發(fā)生數據漂移。重要的是評估模型并在生產(chǎn)中繼續對其進(jìn)行監視。

Amazon SageMaker、Azure Machine Learning Studio和Google Cloud AutoML等服務(wù)都包含模型性能評估工具。

5. 領(lǐng)域知識

領(lǐng)域知識并不是專(zhuān)門(mén)的機器學(xué)習技能，而是成功機器學(xué)習策略中最重要的部分之一。

每個(gè)行業(yè)都有自己的知識體系，因此需要對相關(guān)行業(yè)進(jìn)行研究，尤其是在構建算法決策工具時(shí)。機器學(xué)習模型受限于用于訓練它們的數據。而具有領(lǐng)域知識的人可以知道在哪里應用AI并評估其有效性。