Blog

SAP Data Hub Nedir? Avantajları Nelerdir?

27 Eylül 2017 tarihinde yayınlananan SAP Data Hub; şirketlerin, çeşitli veri ortamlarında veri akışını hızlandırmasına ve genişletmesine yardımcı olan bir veri paylaşımı, pipelining ve yönetim çözümüdür.

Konu hakkında kafanızdaki soru işaretlerinizi bir parça olsun giderebilmek için bu blogu hazırladım. Konuyu derinlemesine incelemek isteyenler için Sap Data Hub’ın resmi adresini ziyaret etmelerini tavsiye ederim.

Eskiden data, uygulamalarda kopyalanıp, ETL (Extract (Çıkar), Transform (Dönüştür), Load (Yükle)) gibi araçlar ile işlenmekteydi. Depolama ve erişim zorluğu sebebiyle bu şekilde big dataları işlemek artık mümkün değil, Bu nedenle, bu tür büyük verilere SAP Data Hub tarafından yerinde erişilir.

SAP Data Hub, çok çeşitli veri sistemleri ve varlıkları için görünürlük ve erişim sağlar; güçlü, organizasyona yayılan veri pipelining kolay ve hızlı bir şekilde oluşturulmasına olanak tanır; ve her adımda “push-down”  dağıtılmış işleme yaklaşımıyla veri hattı yürütme hızını optimize eder.

SAP Data Hub, düzenleyici ve kurumsal gereklilikleri karşılamak için uygun politika önlemlerinin uygulanmasını sağlayarak işletmenin yönetişim ve güvenlik ihtiyaçlarını karşılar.

SAP Data Hub Neden Gerekli? 

Şuan önceye kıyasla, veri saklamak ve kullanmak için çok fazla ve çeşitli yollar var. Bu veriler iş fırsatlarını korurken, kurumsal veri manzaraları giderek daha karmaşık hale geliyor ve kuruluşların yalnızca sahip oldukları verileri anlamaları değil, aynı zamanda kullanması gereken tüm farklı sistemlerde çalışması ve maksimum değeri yakalamak için uçtan uca yönetim uygulaması daha da zorlaşıyor.

Önemli Sorunlar:

  • Kurumsal firmalarda veriler silolarda (dosyalar, Hadoop, veri ambarları vb.) saklanıyor : Kullanıcılar, depolandığı silolarda ihtiyaç duydukları verilere erişemez ve bunlarla çalışamaz. Özellikle, BT’den bilgi ve değer elde etmek için büyük verileri kurumsal verilere ve iş süreçlerine bağlamak karmaşık, zaman alıcı ve maliyetlidir.
  • Karmaşık sistem mimarilerinde uçtan uca veri yönetimi gereklidir : Artık bir sistem mimarisi boyunca verileri yönetme ihtiyacı daha iyi anlaşılmıştır. Hadoop Veri Gölleri, EDW’ler, bulut depolama, kurumsal uygulamalar vb. içerebilen kurumsal sistem mimarisi artan karmaşıklığı ile, uygun etkili yönetişim sağlama yeteneği zorlaşmaktadır. Tüm veri kaynaklarında uçtan uca yönetimi olmadan, kuruluşlar verilerin doğruluğuna güvenemez, bu da verileri kullanan analitik veya operasyonel uygulamaları kullanan herkes için risk oluşturur.
  • Büyük veri teknolojileri kurumsal hazırlıktan yoksundur : İşletmeler genellikle tüm verilerini bir Hadoop Data Lake’te saklayarak sistem mimarisinin karmaşıklığını çözemezler. Hadoop çözümleri, güçlü olsa da, çoğu zaman işletmelerin ihtiyaç duyduğu yönetim ve güvenlik önlemlerine sahip değildir. Veri gölleri genellikle büyük veri girişimleri için sınırlı yönetime, sistem mimarisinde işlemeyi planlamak için az otomasyona, bireysel teknolojilerin parçalanmış izleme, izleme yeteneklerine, ortak güvenlik ve erişim yönetimine sahip değildir.
  • Şu anda mevcut olan araçlar, kuruluş genelinde veri senaryolarını üretmek için yüksek çaba gerektirir : Günümüzde birçok entegrasyon aracı bir işlemi yürütmek için yüksek eğitimli kaynaklara ihtiyaç duyar ve son derece manueldir. Bu durum, hızlı bağlantı kurma ve istenilen verileri elde etmede çok zorlayıcı bir durum haline getirmektedir.
  • Özel Yeteneklere ihtiyaç vardır : Büyük veri girişimlerini uygulamak, ölçeklendirmek ve değer yaratmak için genellikle özel yeteneklere ihtiyaç duyulur. Bu özel kaynakların bulunması ve muhafaza edilmesi genellikle zordur.

 

SAP Data Hub’ın Alternatiflerine Göre Avantajları

SAP Data Hub, veri ortamı yönetimine daha basit, daha ölçeklenebilir bir yaklaşım sunar.

 

Kurumsal ölçekte veri entegrasyonu, işleme ve yönetişim ile SAP Data Hub, modern kuruluştaki karmaşık veri ağına benzersiz bir görünürlük ve erişim sağlar.

SAP Data Hub’daki metadatalar, “SAP Data Hub Metadata Explorer” aracılığıyla yönetilir.

 

SAP Data Hub, Hadoop ve Amazon S3 gibi kaynaklardan SAP HANA ve ERP’ye kadar tüm veri ortamının geniş, ayrıntılı ve kolay anlaşılır bir görünümünü sağlayarak kuruluşların veri kaynaklarını, kullanımlarını, ara bağlantılarını, kaliteyi ve etkileri derinlemesine anlaşılmasına yardımcı olur. Bu, işletmelerin verilerden yeni fırsatlar görmesine, ortaya çıkan veri sorunlarını çözmesine ve verilerin gitmesi gereken yere akmasını sağlamaya olanak tanır.

SAP Data Hub, tek bir görsel tasarım ortamında kolay ve hızlı bir şekilde güçlü veri pipeline oluşturarak veri projelerinizi hızlandırır ve genişletir.

Tek bir tasarım ortamında, veri sorumluları, organizasyondaki çeşitli kaynaklardan bilgilere erişen, uyum sağlayan, dönüştüren, işleyen ve taşıyan güçlü veri hatları kolayca ve hızlı bir şekilde oluşturabilir.

Pipeline oluşturanlar, örneğin hesaplama veya makine öğrenimi için güçlü kitaplıkları kolayca etkinleştirebilir; sosyal medya, müşteri ve ürün bilgileri gibi çok çeşitli türlerdeki verileri hızla bağlayın; SAP HANA, Apache Hadoop, SAP Vora veya Apache Spark’taki yetenekler gibi mevcut işleme yatırımlarından yararlanabilirsiniz.

Pipeline modelleri, ardışık düzen dağıtımını hızlandırmak ve en iyi uygulamalardan yararlanmak için kolayca kopyalanabilir, değiştirilebilir ve yeniden kullanılabilir.

SAP Data Hub, daha çevik, kapsamlı veri odaklı uygulamaları güçlendirmek için yenilikçi “push-down” işleme ile iş sonuçlarını hızlandırır.

 

SAP Data Hub yalnızca çeşitli veri kaynaklarını kapsayan veri pipeline oluşturulmasını ve yönetimini hızlandırmakla kalmaz, aynı zamanda hesaplama görevlerini verilerin bulunduğu yerel ortamlara dağıtarak pipeline etkinliklerinin hızlı bir şekilde yürütülmesini sağlar. Bu birleşik “push-down” dağıtılmış işleme, pipeline’ın faaliyetlerinin olabildiğince hızlı tamamlanmasını sağlayarak işletmeye hızlı sonuçlar sunar. Bu veri işleme yaklaşımı, müşterilerin bulutta sunucusuz bilgi işlemden yararlanmasına olanak tanıyarak, potansiyel olarak veri pipeline ve veri yönetiminin genel maliyetini düşürür.

Alternatif diğer çözümlerde genellikle verilerinizi merkezileştirmenizi gerektirir. Bazı şirketler bir pipeline ve düzenleme çözümü sunar, ancak bunlar sadece çözümlerinde tutulan veriler içindir. Gelişmiş bir pipeline oluşturmak ve yürütmek için tüm verilerinizi tek bir yere taşımanızı isterler.

 

SAP Data Hub’ın Faydalı Olabileceği Kullanıcı Profilleri

  • Şirket içinde ve bulutta, veri göllerinde, veri ambarlarında ve data mart’larında tutulan veriler dahil olmak üzere karmaşık veri ortamlarını anlamanın, yönetmenin ve daha fazla değer elde etmenin daha kolay bir yolunu arayan kuruluşlar,
  • Kuruluş genelindeki verilerden yararlanan, veriye dayalı uygulamaları olan ve analitiği hızla oluşturabilmek isteyen kuruluşlar,
  • Operasyonel verimlilik ve / veya analitik içgörüler için Büyük Verileri (IoT, Sosyal Medya, Web Günlüğü veya Veri Akışı gibi) Kurumsal ortamlara entegre ederek zorluklarla karşılaşan kuruluşlar,
  • Büyük Veri Göllerini etkin bir şekilde kontrol etmek ve yönetmek için çözümler arayan kuruluşlar (Veri Dönüşümleri, Yönetişim, Operasyonlar, Harmonization, Akış Entegrasyonu, Kodlama, Komut Dosyası Oluşturma, Konsolidasyon)
  • SAP HANA tabanlı bir ortamı (Data Warehouse, BW, vb.) Big Data Lakes ile birleştirmeye ve entegre etmeye çalışan kuruluşlar için faydalı olacağı düşünülmektedir.

 

Planlanan Deployment Seçenekleri

İlk sürüm için SAP Data Hub, bulut ortamlarında (ör.Amazon AWS’deki Data Lakes) verileri bağlayabilen ve işleyebilen şirket içi bir uygulama olarak sunulacak.

Mimarisi buluta hazırdır (cloud-ready) ve bir PaaS ve SaaS sürümü gelecek sürümlerde yayınlanacaktır.

 

SAP Data Hub’ın Desteklediği Bağlantı Tipleri

Connection Type

Connection

Capabilities

ABAP

SAP ABAP

DATASET, BROWSING

ADL

Microsoft Azure Data Lake Store (ADL) connection

DATASET, PROFILING, BROWSING DATA_TRANSFORM, PARTITION_FILES 

BW

SAP Business Warehouse connection

DATASET, BROWSING, ORCHESTRATION, EXTRACT_LINEAGE

CPI

SAP Cloud Platform Integration system connection

ORCHESTRATION

DATASERVICES

SAP Data Service Connection

ORCHESTRATION

DB2

IBM DB2 connection

DATASET, BROWSING

GCP_BIGQURY

Google Cloud BigQuery connection

BROWSING

GCP_DATAPROC

Google Cloud Dataproc Connection

GCP_PUBSUB

Google publish/subscribe service

GCS

Google Cloud Storage (GCS)

DATASET, PROFILING, BROWSING, DATA_TRANSFORM, PARTITION_FILES

HANA_DB

SAP HANA Database Connection

DATASET, PROFILING, BROWSING, EXTRACT_LINAGE

HANA_XS

SAP HANA Database Connection

ORCHESTRATION

HDFS

Hadoop Distributed File System (HDFS) server connection

DATASET, PROFILING, BROWSING, DATA_TRANSFORM, PARTITION_FILES

HTTP

HTTP connection

IMAP

IMAP server connection

MSSQL

Microsoft SQL connection

DATASET, BROWSING,

MYSQL

Oracle MySQL connection

DATASET, BROWSING,

ODATA

ODATA endpoint

DATASET, BROWSING, EXTRACT_DATASET

ORACLE

Oracle Schemas and Tables

DATASET, BROWSING, EXTRACT_DATASET

RSERVE

RESERVE server connection

S3

Amazon S3 connection

DATASET, PROFILING, BROWSING, DATA_TRANSFORM, PARTITION_FILES

SMTP

SMTP server connection

VORA

SAP Vora catalog service connection

DATASET, PROFILING, BROWSING, DATA_TRANSFORM, EXTRACT_LINAGE

WASB

Microsoft Windows Azure Storage Blob (WASB) connection

DATASET, PROFILING, BROWSING, DATA_TRANSFORM, PARTITION_FILES

SAP Data Hub Olarak Adlandırılma Sebebi: Verilerin Merkezileştirilmesi

SAP Data Hub adını, karmaşık veri ortamının birleşik bir görünümü ve veri yönetimi olan merkezi yönetişim ve pipeline yetenekleri sunmasından alıyor.

Çözümün gücünün bir kısmı, verileri olduğu yerde bırakabilmesinde yatmaktadır. Verilerin SAP Data Hub ile toplu olarak merkezileştirilmesi gerekmez. Bu, yönetim kolaylığı ve veri pipeline yürütme hızı açısından avantajlar sağlar. Müşteriler mevcut veri depolarından ve mevcut işleme yeteneklerinden yararlanır.

 

SAP Data Hub’da Verilerin Saklanması Konusu

SAP Data Hub veri depolamasını sunmaz. Mevcut veri depoları arasındaki verileri düzenlemek ve yönetmek için bir platformdur, ancak kendi başına bir veri ambarı, Data Mart veya Data Lake değildir.

 

SAP Data Hub Başka Bir ETL Veya Akış Aracı mı?

Hayır. SAP Data Hub, klasik toplu ETL* veya gerçek zamanlı akışın ötesine geçer. Bu işlevleri modernize eder ve yeni teknolojilerin entegrasyonuna odaklanır, dağıtılmış ortamlarda (ör. Hadoop kümesi veya genel bulut depoları) çalışır. Ana paradigma, mantığı verinin bulunduğu yere getirmek ve küme bilgi işlem gücünden yararlanmaktır. Dolayısıyla işleme ve entegrasyonu en üste ekler.

*ETL (Extract Transform Load): Verinin kaynak sistemden alınıp belirli işlemlerden geçirildikten sonra hedef sisteme yüklenmesidir.

 

 SAP Data Hub V1.0’ın İçerdiği Temel İşlevleri

SAP Data Hub, ilk sürümü ile işletmenin aşağıdakileri gerçekleştirmesine olanak tanıyacaktır :

 

Data Pipeline

Data Lakes (Hadoop tabanlı), nesne depoları (Amazon S3), bulut / şirket içi veritabanları ve veri ambarları arasında Data Pipeline oluşturabilirsiniz. Çözüm, en başından beri veri ortamının tamamına ulaşarak, “push-down” dağıtılmış veri işlemeyi kullanarak:

  • Veri dönüşümlerini, veri kalitesini ve veri hazırlama süreçlerini bir grafik kullanıcı arayüzü aracılığıyla gerçekleştirin,
  • Veri işlem hatlarını ve akışlarını tanımlayın,
  • Veri Bilimcisinin (Data Scientist) komut dosyalarını, programlarını ve algoritmalarını gömün ve ürünleştirin,
  • Açık kitaplıkları veya makine öğrenimi algoritmalarını tek bir çerçevede üretin.

 

Orkestrasyon

Sistem sınırları boyunca karmaşık süreçlerin ve iş akışlarının düzenlenmesi :

  • İzleme ve analiz yetenekleriyle ortam genelinde işlemlerin ve süreçlerin iş akışı oluşturulması,
  • Veri işleme de dahil olmak üzere verilerin mimariye (Örneğin Data Lake) alınmasından başlayarak ve elde edilen verilerin kurumsal süreçlere ve uygulamalara teslim edilmesine veya entegrasyonuna kadar uçtan uca veri süreçlerinin yürütülmesi,
  • Uzaktan Süreç planlama: SAP Business Warehouse süreç zincirleri, SAP Data Services veri akışları ve SAP HANA akıllı veri entegrasyonu Flowgraphs kullanma avantajı.

 

Data Lakes için veri alma ve işleme

Yapılandırılmamış ve yapılandırılmış veri / dosya veya akış desteği :

  • Veri entegrasyonu, temizleme, zenginleştirme, maskeleme ve anonimleştirme için önceden oluşturulmuş işlevsellik sunar,
  • Data Lakes’de verileri hazırlamak ve dönüştürmek için kodlama veya komut dosyası gerekmez,
  • Uçtan uca veri işlem hatlarında (pipeline) Kafka akış entegrasyonu,
  • Kurumsal veri kalitesi ve veri yönetişimi işlevleri, açık kaynaklı bileşenler veya bulut mikro hizmetleri tarafından genişletilebilen yerleşik hizmetleri kullanarak Data Lake’de dağıtılmış olarak yürütülür,
  • SAP HANA Akıllı Veri Entegrasyonu, SAP Veri Hizmetleri, SAP BW’den yararlanma ve entegre etme.

 

Karmaşık veri ortamlarını kontrol edin, yönetin, operasyonel hale getirin ve ürünleştirin

  • Bağlantılar için birlikte verilen adaptörle sistemler arasındaki bağlantıların işlenmesi,
  • Mimarinin birleşik izlenmesi ve planlanması, veri görevlilerinin bağlı tüm bileşenlerdeki veri süreçlerinin durumunu görebileceği merkezi bir giriş noktası sağlar,
  • Bağlantı için önceden tanımlanmış bağdaştırıcı çerçevesi,
  • Bir sistem mimarisinde bölgeler oluşturun ve yönetin (örneğin laboratuvar ortamı, üretim, vb.) ekli politikalar ve hizmet seviyeleri ile,
  • Güvenlik ve Erişim Kontrol yetenekleri.

 

Köken ve etki analizi ile meta veri yaşam döngüsü

  • Depo entegrasyonu ile meta veri modeli içerik geliştirme (Github temelli)

 

Data Discovery

Data Lake verilerindeki değeri görsel olarak anlamak için kullanılır

  • Kalite ve kapsamlı yapı bilgilerini gösteren büyük veri kümeleri için veri profilleri,
  • Veri öğelerini tarama, keşfetme ve etiketleme yeteneği,
  • Keşfedilen verileri daha fazla kullanım için açığa çıkarın.

 

SAP Data Hub’ın diğer SAP Ürünleri ile İlişkileri

SAP Data Hub ile SAP Vora ile İlişkisi 

SAP Vora yetenekleri SAP Data Hub’a dahildir, ancak SAP Data Hub ve SAP Vora, müşterilerin özel ihtiyaçlarına göre farklı kullanım durumlarını ele almak için tasarlanmıştır.

SAP Data Hub, büyük veri depoları, kurumsal veri depoları, kurumsal uygulamalar ve bulut çözümleri dahil olmak üzere modern ve çeşitli ortamlarda yönetişim sağlarken karmaşık veri süreçlerinin orkestrasyonunu basitleştirir.

SAP Vora, kuruluşların, genellikle Hadoop ve NoSQL çözümlerinde depolanan Büyük Veri’den eyleme geçirilebilir içgörüler ortaya çıkarmasına yardımcı olan, kurumsal kullanıma hazır, kullanımı kolay bellek içi dağıtılmış bir bilgi işlem motorudur. Hem veri bilimcileri için hem de Hadoop ile çok katmanlı veri stratejisinin bir parçası olarak konumlandırılmıştır.

 

SAP HANA Akıllı Veri Entegrasyonu (SDI) ve SAP HANA Akıllı Veri Kalitesi (SDQ) İle İlişkisi 

SAP Data Hub, mevcut müşteri yatırımlarını geliştirecek ve SAP HANA’da çalışan SAP HANA SDI/SDQ akış grafiklerini yürütecek ve mevcut veri hizmetleri iş sunucularında çalışan SAP Data Services işlerini geliştirecektir. Bu onların mevcut kullanım durumlarını değiştirmez.

SAP Data Hub, SAP Data Services işleri, SAP HANA SDI ve SDQ görevlerinin ve Büyük Veri akışlarının bir araya getirilebildiği entegrasyon akışlarını düzenlemek, izlemek ve modellemek için merkezi bir yer olarak tasarlanmıştır. Bu SAP EIM ürünleri, SAP Data Hub’dan ayrı olarak geliştirilmeye ve sunulmaya devam edecektir.

 

SAP ADP (Agile Data Preparation) ile İlişkisi 

SAP Data Hub bazı yerleşik profil oluşturma yeteneklerine sahiptir, ancak self servis veri hazırlama aracı olarak SAP ADP ile tamamlanabilir.

Bu kullanım durumu için SAP ADP, iş kullanıcılarına veri kaynaklarını arama ve bunlara erişme, raporlamaya hazır hale getirmek için verileri görsel olarak değiştirme ve yayınlama yetenekleri sunar.

Bu self servisi Büyük Veri senaryolarına getirmek için SAP Data Hub ile yakın etkileşim içinde olacak. Daha sonraki sürümlerde SAP ADP, SAP Data Hub meta veri havuzundan yararlanacaktır.

 

SAP Analytics ile İlişkisi :

SAP Data Hub, kuruluşların o anda doğru bilgilere göre hareket etmesini sağlamak için veri hattını hız ve güvenlikle optimize ederek analitiğin değerini artırmaya yardımcı olur.

SAP; Veri, Analitik ve İş Uygulamaları genelinde uçtan uca bir yazılım portföyü sunabilen pazardaki tek satıcıdır.

Tüm analizler için bulut tabanlı bir çözüm olan SAP Analytics Cloud (SAP Cloud Platform üzerine inşa edilmiştir); SAP Data Hub ile güçlü veri düzenleme yeteneklerinden yararlanarak, kuruluşların veri ortamlarını kontrol etme, yönetme ve optimize etme becerisiyle güçlü analitik kullanım durumlarını geliştirmelerine olanak tanır.

 

SAP Leonardo ile İlişkisi

SAP Leonardo, müşterilerin hızla inovasyon yapmasını ve ardından bu inovasyonu dijital dünya için işlerini yeniden tanımlamak üzere hızla ölçeklendirmesini sağlayan bir dijital inovasyon sistemidir.

SAP’nin Büyük Veri çözümleri, SAP Data Hub, SAP Vora ve SAP Cloud Platform Büyük Veri Hizmetleri, ölçekleme ve inovasyon için kilit önemde olduklarından Leonardo ile ilişkilidir. Bu nedenle, Leonardo Büyük Veri paketlerinde tavsiye edilmektedir.

 

Leonardo ile birbirine hitap etme sebepleri

  1. Risk ve kesintileri en aza indirir. Mevcut veri ortamınızla çalışır ve verileri merkezileştirmenizi gerektirmez.
  2. Mevcut teknoloji yatırımlarınızı en üst düzeye çıkarır ve bunlardan en iyi şekilde yararlanmanızı sağlar – veriyi olduğu yerde oynatır ve veriye en yakın işleme yeteneklerini kullanır, böylece pipeline mümkün olduğunca çabuk tamamlanır.
  3. Pipeline kuruluşunuzdaki daha geniş bir kullanıcı yelpazesine sunduğu için yeniliği hızla ölçeklendirmenize olanak tanır ve başarıları kolayca inşa etmenize olanak tanır.
  4. Bu, geleceğe açık olmanızı sağlar. Açık mimarisi sayesinde, bulutta, şirket içinde, SAP çözümünde veya SAP dışı çözümde olsun, verilerinize erişebilir, aynı zamanda makine öğrenimi ve bir sonraki veri analizi veya işleme yeniliği gibi yeni gelişmeleri hızlı ve kolay bir şekilde yapabilirsiniz.

 

SAP Data Hub’ı Nasıl Satın Alırım?

 Başlamak için SAP Danışmanınız ile iletişime geçebilir ya da şu adresten SAP ile iletişime geçebilirsiniz


Benzer
Bloglar

Mailiniz başarıyla gönderilmiştir en kısa sürede sizinle iletişime geçilecektir.

Mesajınız ulaştırılamadı! Lütfen daha sonra tekrar deneyin.