팀 프로젝트/Data fabric (2023한이음) 2

[한이음 23_HF130] Data Fabric KPT 회고

*KEEP 알지 못했던 개념인 Data Fabric에 대해서 알게 되어서 좋았다. 앞으로 시간이 지나면 지날수록 이 개념이 더욱더 중요해지는 시기가 올 것이라고 생각한다. 그렇기 때문에 관련 기술 동향을 주기적으로 확인하고 공부해서 시대에 뒤처지지 않도록 해야겠다. Aws Glue를 처음 접해봤는데 ETL작업을 하기위한 툴임을 확인할 수 있었고 Spark을 기반으로 돌아가며 메타데이터 추출에 용이한 것을 확인할 수 있었다. 추후에 다시 클라우드를 경험할 수 있다면 Glue에 관한 공부를 조금 더 해봐야겠다 *PROBLEM Data Fabric의 개념에 대해서 난해하고 관련 지식이 부족해서 이해하기가 어려웠고 그 결과 결과물의 퀄리티가 생각보다는 낮았고 데이터 페브릭에 적합한지 의문이 들었다. 데이터의 양..

[23_HF130] 프로젝트 요약

GitHub 링크: 1. 프로젝트 소개 데이터 패브릭 구조는 데이터를 직접적으로 통합하는 것이 아니라 메타데이터 활성화를 통해 분산된 데이터를 연결하는 방식 데이터 패브릭 구조를 활용하여 데이터를 통합하는 방식은 빠른 데이터 액세스를 제공 사용하는 데이터양이 증가하면서 복잡해지고 있기 때문에 이를 데이터 사이 취사선택에 어려움이 증가 데이터 간 상관관계를 파악한다면 데이터 사용자는 자신이 필요한 데이터를 선택하는 상황에서 도움이 됨 따라서 다양한 데이터에서 메타데이터를 추출해 데이터 사이의 상관관계를 분석해서 사용자의 빠른 데이터 선택과 처리를 도와주는 프로젝트를 기획하게 되었음 이 프로젝트에서는 공공데이터의 메타데이터를 추출하여 상관관계를 분석하고 점수를 보여주는 포털을 만드는것이 목표 2. 적용기술 ..