亞馬遜推出高性能 PyTorch 數據集庫—S3 Plugin

近日亞馬遜云科技為 Facebook 的 PyTorch 機器學(xué)習框架推出了一個(gè)名為S3 Plugin的數據集庫，旨在幫助數據科學(xué)家訪(fǎng)問(wèn)存儲在 AWS S3（Amazon Web Services Simple Storage Service） 中的數據集。它專(zhuān)為低延遲而設計，S3 Plugin 為任何規模的數據集提供了流式傳輸數據的功能，消除了提供本地存儲容量的需要。

PyTorch 是一個(gè)基于 Torch 庫的開(kāi)源機器學(xué)習庫，用于計算機視覺(jué)和自然語(yǔ)言處理等應用，主要由 Facebook 的 AI 研究實(shí)驗室開(kāi)發(fā)。它是在修改的 BSD 許可下發(fā)布的免費開(kāi)源軟件，底層由 C 實(shí)現。

許多深度學(xué)習軟件都建立在 PyTorch 之上，包括特斯拉自動(dòng)駕駛、Uber 的 Pyro 和 HuggingFace 的 Transformers 等。PyTorch 主要提供了兩個(gè)高級功能：

• Tensor 計算（如 NumPy），通過(guò)圖形處理單元（GPU）進(jìn)行強力加速
• 建立在基于類(lèi)型的自動(dòng)微分系統上的深度神經(jīng)網(wǎng)絡(luò )

自 2016 年 10 月發(fā)布以來(lái)，PyTorch 在數據科學(xué)和開(kāi)發(fā)人員社區中得到快速成長(cháng)。2019 年，該平臺的貢獻者數量同比增長(cháng)超過(guò) 50%，達到近 1200 人。根據研究機構的分析發(fā)現，2019 年的每個(gè)主要的人工智能會(huì )議都有大部分論文是用 PyTorch 實(shí)現的，2019 年上半年，論文中 PyTorch 的引用量增長(cháng)了 194% 以上。

有了 PyTorch 深度學(xué)習容器中的這項功能，用戶(hù)可以利用 PyTorch 數據集和數據加載器 API 直接使用 S3 中的數據，而不需要先在本地存儲中下載。針對 PyTorch 開(kāi)發(fā)的 S3 Plugin 提供了從 Amazon S3 到 PyTorch 使用數據的原生體驗，而無(wú)需在代碼中增加復雜性。

S3 Plugin 的優(yōu)勢包括：

1、PyTorch 支持兩種不同類(lèi)型的數據集，適用于 PyTorch 的 S3 Plugin 可根據你的需要靈活地使用兩者；

2、S3 Plugin 可以使用各種格式的訓練數據來(lái)訓練機器學(xué)習模型。它與文件格式無(wú)關(guān)，并將 Amazon S3 上的對象呈現為 blob，并能對從 Amazon S3 接收的輸入進(jìn)行其他轉換；

3、S3 Plugin 提供了一種方法，可以使用ShuffleDataset在內存中洗數據，或者在擴展S3IterableDataset時(shí)通過(guò)提供輸入參數shuffle_urls在內存中洗數據；

PyTorch 的 S3 Plugin 提供了一種從 S3 并行傳輸數據的方法，以及對來(lái)自歸檔文件的數據流的支持。亞馬遜表示，由于該插件是 PyTorch 內部接口的實(shí)現，它不需要修改現有的代碼就可以與 S3 配合使用。適用于 PyTorch 的 S3 Plugin 提升了 PyTorch 的易用性和靈活性，感興趣的開(kāi)發(fā)者可以通過(guò)預配置的 PyTorch Docker 鏡像使用，或直接從 GitHub 倉庫使用。

相關(guān)推薦：《亞馬遜云科技出海采購季 免費海外區域產(chǎn)品和服務(wù)等你來(lái)體驗》

來(lái)源鏈接：https://www.idcspy.com/38111.html

本站聲明:網(wǎng)站內容來(lái)源于網(wǎng)絡(luò ),如有侵權,請聯(lián)系我們,我們將及時(shí)處理。