Data Lake Nedir - Ham Verinin Sakladığı Yer

Data Lake Nedir
Açıklaması şöyle. Çeşitli formatlardaki ham veya işlenmiş tüm veri anlamına gelir. Wikipedia açıklaması burada.

A data lake is a system or repository of data stored in its natural/raw format, usually object blobs or files. A data lake is usually a single store of all enterprise data including raw copies of source system data and transformed data used for tasks such as reporting, visualization, advanced analytics and machine learning. A data lake can include structured data from relational databases (rows and columns), semi-structured data (CSV, logs, XML, JSON), unstructured data (emails, documents, PDFs) and binary data (images, audio, video).

Data Lake Olarak Ne Kullanabiliriz
Açıklaması şöyle.

In real-time systems, a data lake can be an Amazon S3, Azure Data Lake Store/Azure Blob storage, Google Cloud Storage, or Hadoop Distributed file system.

Data Lake Nasıl Sorgulanır

Data Lake içinde çok fazla veri kaynağı olduğu için bunları bizden yalıtacak şekilde sorgulayan araçlar geliştirilmiş. Sanırım Presto + Alluxio bu çözümlerden birisi

Delta Lake Nedir
Bir de böyle bir şey var. Sadece not olmak istedim. Databricks şirketinin bir ürünü. Açıklaması şöyle.

Delta Lake is an open source release by Databricks that provides a transactional storage layer on top of data lakes.

Data Mart Nedir

Açıklaması şöyle. Data mart genellikle hızlı okuma (fast reading) içindir. 

Data marts are the business user interface of your data warehouse.

Data Mart inşa ederken şu konular dikkate alınabilir

1. Common Structures : Ortak veri tüm bölümlerin kullandığı veridir

2. Security : Bölümler birbirlerinin verisini görmemelidir.

3. Aggregated and Calculated Data : Hızlı okumaya yönelik veridir

4. Keeping Historical Data : 

Polyglot Persistence Nedir
Polyglot Persistence Nedir yazısına bakabilirsiniz

Polyglot Persistence  ve Data Lake İlişkisi Nedir
Yani Polyglot Persistence bir kavram.

Her servisin kendi veri deposu var. Ancak bu veri deposu
- klasik veri tabanı olabileceği gibi,
- Key-Value Database,
- Document Oriented Database veya
- herhangi bir şey de olabilir.

Açıklaması şöyle.

To my mind, one can think of a data lake as an instance of polyglot persistence (in much the same way as an object is an instance of a class). Polyglot persistence is a concept, a data lake is a materialisation of that concept in action.