合肥非度信息技術有限公司
數據一致性解決方案 | |
一、數據一致性管理面臨的問題 我們通過對數據一致性問題案例做深入分析,歸納總結數據一致性的主要問題有四個方面:業務平臺復雜化、業務操作不規范、管理制度不健全、同步操作流程長。 二、構建自動化數據一致性管理平臺 創新性提出了以智能探針為基礎的自動化數據采集、比對、同步技術體系,實現了以客戶感知為導向的數據一致性管理平臺,包括靈活的任務接入與調度、智能化的業務與接口壓力探針、自動化的數據采集與比對、準確高效的分布式并行計算功能。 1)靈活的任務接入與調度 ? 提供周期性定時、實時任務接入 ? 提供各種層次粒度的任務接入和靈活的調度策略 ? 提供多種接口形式與外部系統集成,實現任務接入 2)智能化的壓力探針 ? 提供業務壓力探針技術、避免業務高峰期影響客戶使用感知 ? 提供接口壓力探針技術、避免主機等資源性能影響 3)自動化的數據采集與比對、同步 ? 實現多種協議的數據自動采集技術 ? 實現基于規則的比對、同步技術 4)準確高效的分布式并行計算 ? 實現異構環境的分布式并行計算技術 ? 實現高效、準確的數據稽核分析技術 三、靈活的任務接入與調度機制 提供各種粒度、外部系統的靈活的任務接入機制,實現了數據質量提升支撐工作的廣泛性,并有效集成各種外部系統,確保了任務接入渠道的全面性,提高了工作便捷與高效率。 提供負荷、粒度、時序三大調度策略,實現了客戶感知優先的調度機制,特別是對一些數據一致性問題投訴提供了快速、準確的處理手段。 四、智能化的業務與接口壓力探針 采用智能化壓力探針技術,實現對各網元、業務系統的接口狀態和業務壓力的實時監測,并對任務調度提供負荷檢測能力,避免數據一致性采集、同步對生產系統的產生不良影響。 五、自動化的數據采集、比對與同步 提供各業務網元、平臺、支撐系統的數據采集、比對、同步功能框架,實現實時、增量、全量的自動化數據比對和同步的技術能力。有效支撐數據一致性常態化管理工作,提高了工作效率和數據準確性。 六、準確高效的分布式并行計算 基于Agent技術設計的分布式并行運算框架,集智能Agent、分布式計算、通信技術于一體,提供了一個強大的、統一的和開放的跨平臺并行計算框架,具有高效率、輕量級、不間斷、分布式特點。 | |