[한이음 23_HF130] Data Fabric KPT 회고

*KEEP

• 알지 못했던 개념인 Data Fabric에 대해서 알게 되어서 좋았다. 앞으로 시간이 지나면 지날수록 이 개념이 더욱더 중요해지는 시기가 올 것이라고 생각한다. 그렇기 때문에 관련 기술 동향을 주기적으로 확인하고 공부해서 시대에 뒤처지지 않도록 해야겠다.
• Aws Glue를 처음 접해봤는데 ETL작업을 하기위한 툴임을 확인할 수 있었고 Spark을 기반으로 돌아가며 메타데이터 추출에 용이한 것을 확인할 수 있었다. 추후에 다시 클라우드를 경험할 수 있다면 Glue에 관한 공부를 조금 더 해봐야겠다

*PROBLEM

• Data Fabric의 개념에 대해서 난해하고 관련 지식이 부족해서 이해하기가 어려웠고 그 결과 결과물의 퀄리티가 생각보다는 낮았고 데이터 페브릭에 적합한지 의문이 들었다.
• 데이터의 양이 부족해서 기본적으로 키워드를 입력받고 관련 데이터들을 추천해줌에 있어서 적합하게 결과가 나오는 경우도 있었지만 그렇지 않은 경우도 있었다.
• 웹 서버 검색을 할 때 GPT API가 답변을 주는 시간이 생각보다는 오래걸려서 검색시간이 오래 걸리는 문제가 발생했었다. GPT의 답변을 간소화하도록 질문양식을 만들었고 지연시간을 줄이는 데에는 성공했지만 웹 백엔드에 대한 지식이 부족해 완벽한 최적화는 못해서 아쉬웠다

* TRY

• 추후에 다시 데이터 페브릭과 관련된 프로젝트를 진행하게 된다면 이번 프로젝트보다는 더 기능적으로도 발전하고 실용성까지 있는 프로젝트를 도전해봐야겠다.
• 이번 프로젝트 역시 팀 프로젝트를 함에 있어서 나의 역량 부족을 느낄 수 있었다. 더 많은 지식을 쌓고 다음 프로젝트에서는 조금 더 수월하게 프로젝트를 진행할 수 있도록 지속적인 공부를 해야겠다.