3月23日上午10點,涂鴉智能技術總監--柯都敏帶著“5個月完成涂鴉智能第一代技術架構,平穩支撐涂鴉智能一年從零到幾十億數據發展。”的業界佳話參加了第四場發布:
本次分享主要為眾多開發者及技術愛好者、從業者介紹涂鴉智能云上架構設計和借助阿里云實現輕運維高可用性監控的實戰經驗,同時也介紹了網絡安全、權限控制等特定場景下利用阿里云結合涂鴉自身優勢效率的解決特定問題。
AM 9:36:
直播前半小時,柯總依舊在于阿里云技術負責人做最后的技術分享討論及細節確認...
AM 10:00:
開始了...
涂鴉智能技術總監--柯都敏
AM 10:43:
柯總在線上與眾多技術愛好者,開發者及同業伙伴精彩互動討論中。
涂鴉智能云第二代
隨著業務量的增加,數據庫壓力逐漸增大。涂鴉智能云第二代架構中,進行了拆分分層,相對于第一代架構,網關層幾乎不存在改動,實現風險可控;
中間層進行模塊化拆分,服務化治理方面采用阿里的Dubbo,同時也進行了一些對應的改進,使其更加適應用于網關層,通過配置中心動態配置生效。
同時使用Dubbo monitor對服務進行監控,同時自行開發了服務化治理的調用依賴等。
目前,涂鴉智能內部服務已經有十幾種之多。數據庫方面,通過涂鴉科技自行開發數據庫中間件,實現路由、分庫分表、主從備份等操作。通過對架構的優化,第二代架構對業務有了更好的支撐:
數據方面,目前可以處理日峰值30T數據上傳;可以運行幾十億用戶核心數據;支持實時日志搜索和分析報警以及支持離線和實時數據處理。
模塊化方面,對業務服務模塊化拆分,做到可獨立發布部署;同時服務治理工具可分析服務調用情況按需擴容;通過性能和可用性監控,及時發現技術瓶頸,同時支持服務熱發布。
網關方面,通過網關隔離內外數據;同時采用網關服務組裝業務場景,使得模塊顆粒更細化;除此之外,網關提供了多種安全機制支持多業務場景;網關可以進行平行擴展,并且沒有性能瓶頸;網關作為統一的數據出入口,可以方便進行日志分析跟蹤。
中間件方面,通過自主開發數據組件支持分庫分表、主從讀寫等操作;同時對Mq等中間服務封裝,便于架構選型;此外架構中盡量多的使用阿里云來減少維護成本。同時通過配置中心,滿足了網關接口的實時更新的需求。
涂鴉智能云使用經驗技巧
涂鴉智能基于阿里云的深度定制優化設計,在RAM權限,不同的客戶端使用不同的Key,隱藏超級Key,采用RAM自定義權限細化到每個用戶,通過對業務拆分減少了安全風險。
在云監控技巧,通過對ECS、RDS、OCS等常規監控,如何出現報警時,可以做到及時的修改。通過自定義監控服務的存活情況,由于自定義監控的信息量有限,后期又開發了自主監控,監控信息內加上日志分析出來的鏈接地址,如果有報警情況出現時,可用過該鏈接地址準確找到問題所在。通過SLB進行內部服務管理,首先SLB內網免費使用,十分靈活。前端Nodejs服務器調用后端API時,通過SLB搭建內網,避免內網服務器更換、下線時帶來的不可用性。此外,還通過SLB管理ZooKeeper集群,無需對代碼進行變更,避免了風險。OSS方面,通過OSS的圖片服務降低了成本,還可以通過OSS管理內部的運維小工具,通過OSS的Python的Client自主化運維一些服務器。
插播 Q&A:
(阿里云)問:作為技術人員,可以分享下這幾年的創業經驗嗎?
(柯總)答:創業這一段時間感觸頗大,在公司時更專注于做自己的事情,對其他知識了解不多,比較安分。創業時,不僅要著重提高自己的技術,同時還需要關注團隊的發展,將整個鏈路連接起來,成長很大。
(阿里云)問:一個完美的架構應該經歷哪些發展過程的?
(柯總)答:個人認為沒有最完美的架構,最適合業務的架構就是最好的,
目前涂鴉智能基于自身云架構技術優勢的設計、工具開發、運維經驗無論安全性還是監控效率都是業界領先且非常適合我們的客戶的...
“涂鴉云”基于ECS安全組的權限控制
涂鴉云基于阿里云ECS安全組的權限控制。在ECS安全組沒有上市前,采用的是在每臺機器上部署防火墻方式,在不同的服務器上部署的防火墻規則也不同,當需要修改防火墻時,需要上機處理,十分繁瑣,
通過ECS安全組,將相應的防火墻規則進行梳理,比如可以將所有的日志分析服務器添加到日志分析服務安全組內,十分靈活。另外安全組內可進行內網通信,阿里云自帶的安全組和自定義的安全組之間也進行了打通。
涂鴉智能基于ECS API自行開發了一套工具:這套工具可以獲取機器列表和信息(RAM權限),然后通過主機Tag管理給每臺機器打上Tag,不同的開發人員只能接觸與之對應的機器。通過Tag標記,可以使得主機按需管理,批量運維,同時還可以根據Tag類型做對應的可用性監控。
通過對所有數據的實時分析,利用Tag的標記來明確服務的類型,基于服務類型來調用分析結果。比如可以分析出網關在一定時間內的錯誤量,以及網絡的響應時間等信息。如果錯誤量或響應時間超過一定的閥值,可以進行自動化報警,無需人工,開發人員通過報警提供的URL地址快速定位問題的所在。
在安全性遠遠超過以前的基礎上,在主機管理、批量運維、可用性監控、定位問題方面效率大大提高...
同時也保證了涂鴉智能云在網絡訪問時間、穩定性、使用成本、技術支持上有了相較同業者更大的優勢。
關于分享者:
柯都敏:涂鴉智能技術總監。近10年互聯網從業經歷,曾任職阿里巴巴(曾負責aliyun.com業務技術和架構,云os云服務架構,淘點點服務端等業務。團隊成員多為阿里技術專家更有華為公有云業務負責人和知名互聯網餐飲品牌創業者),2014年9月加入涂鴉科技,5個月完成涂鴉科技第一二代技術架構,平穩支撐涂鴉一年從零到幾十億數據快速發展
涂鴉智能:一家專業的智能硬件解決方案提供商,以云平臺為核心、軟硬件結合的方式提供智能生活服務,安全快速穩定地推進中國制造業轉型升級,促進傳統產業“互聯網+”有效深入的融合,“中國制造”轉型“中國智造”。基于涂鴉智能的一站式硬件智能化解決方案,廠商只需要專注于自己最擅長的領域,最大化提升硬件品質,讓產品更具競爭力,給用戶更好的體驗。目前涂鴉科技旗下擁有涂鴉智能硬件平臺和自有軟硬件產品。2015年獲得了NEA千萬美元A輪投資。