기사 개수 크롭 코드 추가

Author: TTOAI

.gitignore

@@ -14,3 +14,5 @@ __pycache__/
 
 # Storage files
 *.zip
+
+*/test.py

playwright_news_crawler/daum_news_crawler.py

@@ -263,6 +263,55 @@ def run(self):
             print("[경고] 수집 중 오류 발생 - 종료")
             return None
 
+        print("\n===================================\n")
+        print("[크롤링 완료]")
+        print(f"총 수집된 기사 수: {len(data)}")
+        print("수집 실패 카테고리:", self.cat_list)
+        end = time.time()
+        print(f"실행 시간: {end - start:.4f}초")
+        print("\n===================================\n")
+
+
+        counts = {}
+
+        for d in data:
+            if d["subcategory"].strip():
+                counts[d["subcategory"]] = counts.get(d["subcategory"], 0) + 1
+            elif d["category"].strip():
+                counts[d["category"]] = counts.get(d["category"], 0) + 1
+
+        for k in counts:
+            counts[k] = counts[k] // 10
+
+        new_data = []
+        cat_count = {}
+
+        for d in data:
+            cat = d["category"].strip()
+            sub = d["subcategory"].strip()
+            key = sub if sub else cat
+            if not key:
+                continue
+            if counts.get(key, 0) > 0 or cat_count.get(cat, 0) < 20:
+                new_data.append(d)
+                counts[key] = counts.get(key, 0) - 1
+                cat_count[cat] = cat_count.get(cat, 0) + 1
+
+        filtered_category = {}
+        filtered_subcategory = {}
+
+        for d in new_data:
+            cat = d["category"].strip()
+            filtered_category[cat] = filtered_category.get(cat, 0) + 1
+
+        print("\n===================================\n")
+        print("[필터링 완료]")
+        print(f"총 기사 수 (필터링 후): {len(new_data)}")
+        print("필터링 후 카테고리별 기사 수:")
+        for cat, cnt in sorted(filtered_category.items(), key=lambda x: (-x[1], x[0])):
+            print(f"{cat:20} {cnt}")
+        print("\n===================================\n")
+
         try:
             with tempfile.NamedTemporaryFile("w", delete=False, encoding="utf-8") as tmp:
                 for item in data:
@@ -275,12 +324,8 @@ def run(self):
                 os.remove(tmp_path)
 
         print("\n===================================\n")
-        print("[완료] 크롤링 완료")
-        print(f"총 수집된 기사 수: {len(data)}")
-        print(f"결과가 {self.NEWS_URLS_JSONL} 파일에 저장되었습니다.")
-        print("수집 실패 카테고리:", self.cat_list)
-        end = time.time()
-        print(f"실행 시간: {end - start:.4f}초")
+        print("[저장 완료]")
+        print(f"결과가 {self.NEWS_URLS_JSONL} 파일에 저장됨.")
         print("\n===================================\n")