近日,16周年慶活動(dòng)現場(chǎng),愛(ài)數正式開(kāi)源了認知智能開(kāi)發(fā)框架KWeaver。KWeaver脫胎于愛(ài)數認知智能框架AnyDATA Framework 2,具有快速的開(kāi)發(fā)能力、全面的開(kāi)放性、高性能等特性,以成熟的數據知識化方法論和系列認知智能應用組件賦能數據科學(xué)家和應用開(kāi)發(fā)者,以此降低領(lǐng)域認知智能應用開(kāi)發(fā)的復雜度與人才門(mén)檻。開(kāi)源后,KWeaver將作為普惠技術(shù)進(jìn)一步賦能產(chǎn)業(yè),人人都可以在 GitHub 上獲取。
愛(ài)數在數據產(chǎn)業(yè)的布局與創(chuàng )新
2021年,愛(ài)數推出新愿景——以數據重塑生產(chǎn)力,共創(chuàng )智能世界?！皵祿焙汀爸悄堋弊鳛閻?ài)數成長(cháng)的兩個(gè)關(guān)鍵詞,很好地呼應了愛(ài)數的業(yè)務(wù)定位 Data+AI,即AI驅動(dòng),數據賦能。這個(gè)愿景背后,也蘊涵著(zhù)愛(ài)數更高層次的追求:不僅要成長(cháng)為一個(gè)典范企業(yè),還應肩負起社會(huì )責任,讓技術(shù)驅動(dòng)社會(huì )進(jìn)步,用數據賦能人類(lèi)生產(chǎn)力的提升。
在“Data”層面,愛(ài)數很早就開(kāi)始了數據產(chǎn)業(yè)的布局,實(shí)現數據產(chǎn)業(yè)從0到1的創(chuàng )新。2019年愛(ài)數發(fā)布大數據基礎設施戰略,加速布局數據產(chǎn)業(yè);2021年～2022年愛(ài)數基于領(lǐng)域認知智能技術(shù)成立北方大數據交易中心,搭建全國數據交易網(wǎng)絡(luò )體系;2022年愛(ài)數宣布以開(kāi)源賦能產(chǎn)業(yè),減低總體社會(huì )成本,實(shí)現客戶(hù)、伙伴等多方的可信協(xié)作。
在“AI”層面,愛(ài)數認知智能技術(shù)在近兩年也取得了較快的進(jìn)展。2021年,愛(ài)數發(fā)布以領(lǐng)域知識網(wǎng)絡(luò )為核心技術(shù)的AnyDATA ONE,并與復旦大學(xué)成立聯(lián)合實(shí)驗室開(kāi)展認知智能的研究。之后,又和天津大學(xué)成立聯(lián)合實(shí)驗室開(kāi)展數據智能技術(shù)的研究。目前,愛(ài)數正在全球范圍招募人工智能博士,在長(cháng)沙籌建人工智能研究院,以此推動(dòng)領(lǐng)域認知智能技術(shù)的發(fā)展。
在此背景下,愛(ài)數一方面希望通過(guò)KWeaver的開(kāi)源,整合全球智慧,將各行各業(yè)、各個(gè)領(lǐng)域不同的解題思路和方法模型融入愛(ài)數的認知智能框架,激發(fā)更多的創(chuàng )新與應用;另一方面也希望通過(guò)開(kāi)源,讓愛(ài)數積累的技術(shù)成果走出愛(ài)數,面向更多的數據科學(xué)家、應用開(kāi)發(fā)者和領(lǐng)域專(zhuān)家,為行業(yè)擁抱AI提供更多的可能。
領(lǐng)域認知驅動(dòng)需要開(kāi)源
經(jīng)過(guò)幾十年的發(fā)展,人工智能從計算智能發(fā)展到感知智能,又從感知智能發(fā)展到認知智能。作為第三代人工智能,認知智能非常重要的特點(diǎn)之一,就是需要通過(guò)領(lǐng)域認知進(jìn)行驅動(dòng)。
“第三代人工智能的目標是要真正模擬人類(lèi)的智能行為,我們必須充分地利用知識、數據、算法和算力,把四個(gè)因素充分利用起來(lái),這樣才能夠解決不完全信息、不確定性環(huán)境和動(dòng)態(tài)變化環(huán)境下面的問(wèn)題,才能達到真正的人工智能?！? 張鈸院士”
在此背景下,領(lǐng)域認知智能成為新的解題思路,這也是愛(ài)數自2021年推出認知智能戰略后,聯(lián)合復旦大學(xué)、天津大學(xué)等高等院校專(zhuān)家不斷實(shí)踐摸索出的技術(shù)成果。領(lǐng)域認知智能,面向某一領(lǐng)域內具體的業(yè)務(wù)問(wèn)題,通過(guò)獲取領(lǐng)域內的數據實(shí)現數據知識化形成領(lǐng)域知識網(wǎng)絡(luò ),再基于領(lǐng)域智商評估領(lǐng)域知識的質(zhì)量,在此基礎上利用知識進(jìn)行理解、推理和決策,從而開(kāi)發(fā)出滿(mǎn)足用戶(hù)場(chǎng)景需求的領(lǐng)域認知智能應用,輔助人們解決特定的問(wèn)題,提升生產(chǎn)力。
“認知智能的核心能力是“理解”和“解釋”,體現在機器能夠理解數據、理解語(yǔ)言進(jìn)而理解現實(shí)世界的能力,體現在機器能夠解釋數據、解釋過(guò)程進(jìn)而解釋現象的能力,體現在推理、規劃等等一系列人類(lèi)所獨有的認知能力上。
——《知識圖譜與認知智能》,肖仰華,復旦大學(xué)教授,復旦愛(ài)數聯(lián)合研究研究中心主任”
然而,各行各業(yè)領(lǐng)域的眾多、專(zhuān)業(yè)領(lǐng)域之間的高壁壘,唯有通過(guò)開(kāi)源,才能更加容易地讓不同行業(yè)、不同領(lǐng)域的開(kāi)發(fā)者開(kāi)發(fā)領(lǐng)域認知智能,從而也讓 KWeaver 不斷提升領(lǐng)域認知能力。對于愛(ài)數而言,一方面需要借助開(kāi)源整合全球智慧;另一方面也可以通過(guò)開(kāi)源開(kāi)放自身的技術(shù)成果與積累,實(shí)現AI普惠全球。
愛(ài)數KWeaver 項目:開(kāi)源的認知智能開(kāi)發(fā)框架
KWeaver 是開(kāi)源的認知智能開(kāi)發(fā)框架,為數據科學(xué)家、應用開(kāi)發(fā)者和領(lǐng)域專(zhuān)家提供具有快速的開(kāi)發(fā)能力、全面的開(kāi)放性和高性能的知識網(wǎng)絡(luò )生成及認知智能應用開(kāi)發(fā)的工具與平臺。KWeaver名稱(chēng)中,K代表的是Knowledge知識,Weaver代表編織者,意為將所有領(lǐng)域知識編織在一起,從而實(shí)現領(lǐng)域認知智能。
KWeaver面向數據科學(xué)家、應用開(kāi)發(fā)者、領(lǐng)域專(zhuān)家三類(lèi)用戶(hù)提供三種能力。
快速的開(kāi)發(fā)能力:KWeaver提供可視化的知識網(wǎng)絡(luò )工作臺,可視化的認知智能應用開(kāi)發(fā)調試工具,豐富的數據加工及模型訓練工具,以及所見(jiàn)即所得的API文檔;
全面的開(kāi)放性: KWeaver源代碼是開(kāi)源且技術(shù)透明的,這意味著(zhù)參與項目的用戶(hù)可以查看全部技術(shù)細節,同時(shí)還支持多元異構數據源對接,提供SDK兼容更多的第三方知識抽取模型,提供 API 和 Web 組件的整合方式;
高性能:得益于愛(ài)數多年在云原生領(lǐng)域的積累,KWeaver的開(kāi)發(fā)基于云原生技術(shù),提供橫向擴展能力,采用分布式的計算引擎實(shí)現海量數據接入的處理能力。
通過(guò)KWeaver實(shí)現領(lǐng)域認知驅動(dòng)涉及到兩個(gè)關(guān)鍵步驟。
第一是領(lǐng)域知識獲取。首先建立領(lǐng)域認知模型,基于模型進(jìn)行數據加工抽取知識,對于不同來(lái)源的數據,加工的方式也會(huì )有很大不同,部分數據可以直接抽取,部分數據則需要通過(guò)深度學(xué)習模型,例如文本知識。加工完成后生成領(lǐng)域知識網(wǎng)絡(luò )。
第二是領(lǐng)域知識利用。基于知識網(wǎng)絡(luò )進(jìn)行認知智能應用的開(kāi)發(fā),利用數據科學(xué)的方法開(kāi)發(fā)模型,并將模型應用到推理、理解等具體場(chǎng)景。顯然,在數據領(lǐng)域認知智能并非替代原有的深度學(xué)習或機器學(xué)習,而是將兩者結合發(fā)揮更大的作用。KWeaver也會(huì )內置很多基于深度學(xué)習的知識抽取模型。
本次正式開(kāi)源前,KWeaver已經(jīng)伴隨愛(ài)數AnyDATA經(jīng)歷了近3年的孵化和打磨,結合AnyShare、AnyRobot、AnyFabric等產(chǎn)品的能力實(shí)現諸多創(chuàng )新。如結合AnyShare在知識管理方面形成行業(yè)知識卡片、行業(yè)標簽、知識搜索等應用;結合AnyRobot在智能運維方面實(shí)現可持續進(jìn)化的運維知識庫,以及運維中小概率事件的故障定位和根因分析;結合AnyFabric幫助用戶(hù)更好地編織數據,以資產(chǎn)圖譜的形式讓用戶(hù)更直觀(guān)全面的觀(guān)察和分析業(yè)務(wù)能力、數據質(zhì)量等等。
16年專(zhuān)注,16年探索。從備份一體機到大數據基礎設施,從人工智能到領(lǐng)域認知智能,從傳統商業(yè)模式到KWeaver的正式開(kāi)源,愛(ài)數始終在朝著(zhù)“以數據重塑生產(chǎn)力,共創(chuàng )智能世界”的愿景不斷成長(cháng)。未來(lái),愛(ài)數將以更開(kāi)放、包容的心態(tài),通過(guò)更多的開(kāi)源計劃實(shí)現技術(shù)共享,為數據產(chǎn)業(yè)的繁榮發(fā)展貢獻自己應盡的力量。
