Can LLMs Clean Up Your Mess? A Survey of Application-Ready Data Preparation with LLMs

← 📚 이번 주 Weekly Digest로 돌아가기

DD-001 Can LLMs Clean Up Your Mess? A Survey of Application-Ready Data Preparation with LLMs

arXiv: 2601.17058 기관: Shanghai Jiao Tong University Upvotes: 181 | Comments: 4 순위: 이번 주 Top 1

---

[논문 리뷰] Can LLMs Clean Up Your Mess? A Survey of Application-Ready Data Preparation with LLMs

Paper Info: arXiv:2601.17058
Topic: LLM을 활용한 데이터 준비(Data Preparation) 설문 조사
Target Audience: Junior Data Engineers, ML Engineers

---

1. 왜 이 논문이 중요한가?

기존의 데이터 준비 방식은 정해진 규칙(Rule-based)에 지나치게 의존하여, 데이터 형식이 조금만 달라져도 작동하지 않거나 개발자가 수작업으로 코드를 고쳐야 하는 한계가 있었습니다. 이 논문은 데이터 정제, 통합, 보강의 전 과정에서 LLM(대규모 언어 모델)을 활용하여 ‘규칙 기반’에서 ‘의미 이해 기반’으로 패러다임을 전환할 수 있음을 체계적으로 정리했습니다. 수백 개의 최신 연구를 분석하여, LLM이 단순한 텍스트 생성을 넘어 실제 기업의 더러운 데이터(Messy Data)를 청소하고 가치 있는 자산으로 만드는 핵심 도구로 자리 잡고 있음을 입증했습니다.

---

2. 핵심 아이디어 쉽게 이해하기

🏷️ 일상생활 비유: “요리사와 로봇 팔의 차이”

데이터 준비를 **‘요리를 위한 재료 손질’**에 비유해 보겠습니다.

• 기존 방식 (Rule-based): “토마토는 무조건 2cm 큐브로 썰어라”, “당근은 3분간 삶아라”라고 적힌 매뉴얼대로만 움직이는 로봇 팔과 같습니다. 재료(데이터)가 조금 상했거나 모양이 예쁘지 않아도 매뉴얼에 없으면 처리하지 못합니다. 예외 상황에 대처하려면 사람이 일일이 코드(매뉴얼)를 수정해야 합니다.
• 논문이 제시하는 LLM 방식: **“미슐랭 셰프(LLM)“**을 고용하는 것입니다. 셰프에게 “비빔밥을 만들 재료를 준비해 줘”라고 시키면, 셰프는 상한 잎사귀를 골라내고(Cleaning), 들깨 가루와 참기름을 적절히 섞어(Enrichment), 재료들이 어울리게 준비합니다. 매뉴얼이 없어도 재료의 **맥락(Context)**을 이해하고 유연하게 처리합니다.

⚙️ 단계별 동작 방식

이 논문은 LLM이 데이터를 준비하는 3단계 프로세스를 제안합니다.

1. Data Cleaning (청소 - 씻고 다듬기)
   • 과정: 날짜 형식이 2024/01/01인 곳도 있고 Jan 1st인 곳도 있을 때, LLM에게 “모든 날짜를 YYYYMMDD 형식으로 통일해줘”라고 지시합니다.
   • LLM 역할: 단순히 문자열을 자르는 것이 아니라, 문맥을 보고 01/02/03이 2001년인지 2003년인지 판단하여 표준화합니다.
2. Data Integration (통합 - 묶기)
   • 과정: A 데이터베이스의 ‘삼성전자’와 B 데이터베이스의 ‘Samsung Electronics’가 같은 회사인지 확인합니다.
   • LLM 역할: 단순 스펠링 매칭이 아니라, 두 기업의 설명이나 위치 정보를 보고 **“같은 실체(Entity)이다”**라고 의미적으로 판단합니다 (Entity Matching).
3. Data Enrichment (보강 - 양념하기)
   • 과정: 메타데이터가 없는 데이터에 태그를 달거나, 설명을 덧붙입니다.
   • LLM 역할: 데이터를 분석하여 자동으로 요약본을 만들거나 빠진 의미를 채워 넣습니다.

🧠 핵심 알고리즘 및 기법

이 논문은 단일 알고리즘보다는 프롬프트 엔지니어링 전략을 핵심 기법으로 다룹니다.

• Prompt-Based End-to-End Standardization:
  • 사용자가 “날짜를 YYYYMMDD로 바꿔”라고 명령어(Instruction)와 예시(In-context example)를 함께 주면, LLM이 이를 참조하여 데이터를 변환합니다. (예: LLM-GDO 모델 방식)
• Reasoning-Enhanced Batch Processing:
  • 데이터를 하나씩 처리하지 않고 한꺼번에(Batch) 보여주되, “생각하는 과정(Chain-of-Thought)“을 프롬프트에 포함시켜 오류(Hallucination)를 줄이는 방식입니다. (예: LLM-Preprocessor)

---

3. 실험 결과 분석

주의: 이 논문은 **Survey(조사 논문)**이므로, 특정 모델 하나의 성적표가 있는 것이 아니라 수백 개의 논문에서 발견된 **통찰(Insights)**을 정리한 결과입니다.

🔍 주요 벤치마크 및 성과

• 벤치마크: 다양한 도메인(전자상거래, 금융, 의료 등)의 Dirty Dataset과 기존 데이터 정제 툴들이 사용하는 Entity Matching 표준 데이터셋들을 대상으로 수행된 기존 연구들을 분석했습니다.
• 성과 분석:
  • 일반화 능력 (Generalization): 기존의 사전 학습된 언어 모델(Pretrained LMs)은 특정 도메인 데이터에만 잘 맞춰져 있어(OOD, Out-of-Distribution) 데이터가 조금만 달라지면 성능이 급격히 떨어졌습니다. 반면, 최신 LLM들은 도메인 지식이 없더라도 **강력한 의미 이해 능력(Semantic Understanding)**을 바탕으로 데이터의 관계를 찾아내는 데 있어 **강건한 성능(Robust Performance)**을 보였습니다.
  • 효율성: “Reasoning-Enhanced Batch Prompting” 기법을 사용하면, 데이터를 처리하는 정확도를 높이는 동시에 한 번에 여러 데이터를 묶어 처리하여 API 호출 비용과 시간을 절약할 수 있음이 확인되었습니다.
  • 수작업 감소: 전문가가 직접 규칙을 코딩하던 방식보다 자연어 명령만으로도 80% 이상의 정제 작업을 자동화할 수 있어, 인건비와 시간을 획기적으로 줄였다고 보고되었습니다.

---

4. 한계점과 향후 연구 방향

🛑 저자가 언급한 한계점

1. 할루시네이션 (Hallucination): LLM은 가끔 존재하지 않는 데이터를 그럴듯하게 지어낼 수 있습니다. 데이터 정제 과정에서 원본 데이터를 엉뚱하게 수정하면 치명적입니다.
2. 비용 및 속도: 데이터가 수천만 건 이상일 경우, LLM을 호출하는 데 드는 비용과 시간이 기존 규칙 기반 방식보다 훨씬 비쌀 수 있습니다.
3. 프라이버시: 기업의 민감한 데이터를 LLM에 입력하여 처리할 때 보안 이슈가 발생할 수 있습니다.

🚀 향후 연구 방향

• Agentic Workflows (에이전트 워크플로우): LLM이 단순히 답변만 하는 것이 아니라, 검색 도구(SQL 쿼리 등)를 사용하거나 코드를 실행하여 스스로 데이터를 검증하고 수정하는 자율적인 에이전트(Agent) 형태로 발전해야 합니다.
• 소형 모델 및 효율화: 거대한 모델 대신, 데이터 정제 특화에 최적화된 작고 효율적인 모델(SLM)을 연구하여 비용 문제를 해결해야 합니다.

---

5. 실무 적용 가능성

🏢 어디에 바로 적용 가능한가?

• BI(비즈니스 인텔리전스) 대시보드 구축: 서로 다른 형식의 엑셀 파일들이 섞여 있을 때, 이를 하나로 통합하여 분석 가능한 형태로 만드는 ETL(추출, 변환, 적재) 파이프라인의 첫 단계에 즉시 사용 가능합니다.
• 마이그레이션 시스템: 레거시 시스템(옛날 방식)에서 현대적인 시스템으로 데이터를 옮길 때, 데이터 포맷을 자동으로 변환하는 작업에 유용합니다.
• 고객 데이터 통합(CDP): 이름이 다르게 기록된 고객(홍길동 vs 길동 홍)을 하나로 묶는 고객 360도 뷰 구축 작업에 활용됩니다.

💻 필요한 리소스

• 하드웨어: 로컬에서 LLM을 돌리려면 고사양 GPU(예: A100, RTX 4090)가 필요하지만, **API 방식(OpenAI, Claude 등)**을 사용하면 별도의 GPU 없이 일반 개발용 노트북으로도 바로 개발 가능합니다.
• 데이터: 프롬프트 튜닝을 위한 소량의 예제 데이터(예: 정제 전과 후의 쌍)가 필요합니다.
• 라이브러리: LangChain, LlamaIndex와 같은 LLM 연동 프레임워크와 Pandas/SQL 같은 데이터 처리 도구가 기본적으로 필요합니다.

---

6. 이 논문을 이해하기 위한 사전 지식

1. LLM (Large Language Model): 대규모 텍스트로 학습하여 자연어를 이해하고 생성하는 AI 모델(예: GPT-4, Llama).
2. Prompt Engineering: LLM이 원하는 결과를 내도록 입력하는 명령어나 질문을 최적화하는 기술.
3. Data Cleaning (데이터 정제): 데이터에 포함된 오류, 잡음, 중복을 제거하여 품질을 높이는 과정.
4. Entity Resolution (엔티티 해결/매칭): 서로 다른 데이터 소스에서 “서울특별시”와 “Seoul”이 같은 대상을 가리키는지 식별하여 통합하는 기술.
5. In-Context Learning (문맥 내 학습): 모델의 파라미터를 재학습시키지 않고, 프롬프트에 예시를 보여줌으로써 모델이 문제를 풀게 하는 방식.
6. Few-Shot Learning: 단 몇 개의 예시만 주어도 모델이 패턴을 학습하여 새로운 데이터를 처리하는 능력.
7. Semantic Understanding (의미적 이해): 단어의 표면적 형태가 아니라, 그 단어가 내포하는 뜻과 문맥을 이해하는 능력.

---

📚 이번 주 관련 Deep Dive

순위	논문	Deep Dive
🥇	Can LLMs Clean Up Your Mess? A Surv…	📍 현재 문서
🥈	LongCat-Flash-Thinking-2601 Technic…	DD-002
🥉	Idea2Story: An Automated Pipeline f…	DD-003
4.	daVinci-Dev: Agent-native Mid-train…	DD-004
5.	AgentDoG: A Diagnostic Guardrail Fr…	DD-005

---

📅 생성일: 2026-02-02 | 🤖 GLM-4.7 Deep Dive