docs(sources): 레지스트리 갱신 반영 + bluesky 0건 원인 기록 - #15
Merged
Conversation
added 2 commits
August 10, 2026 15:43
머지 후 프로덕션 DB에 source sync/refresh --all을 돌린 결과다. blogs 10개가 새로 등록됐고 tier는 전부 관측값으로 채워졌다. scrape로 떨어진(피드가 죽은) 소스는 없다. tracked_sources는 DB에 있어 저장소 diff로 따라오지 않으므로, 이 문서가 언제 무엇이 추가됐는지의 유일한 기록이다.
크롤러는 정상이다(프로덕션 실측: HTTP 200, 엔트리 20개). BLUESKY_ACCOUNTS에 bsky.app 하나뿐인데 이 계정의 게시 간격이 며칠에서 한 달이라 --days 1에서는 거의 매번 0건이다. 창을 넓혀도 같은 글을 다시 받을 뿐이라 해결이 안 된다. 매일 올라오는 계정 목록이 필요한데 그건 큐레이션 결정이다.
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
TL;DR
#14 머지 후 프로덕션 DB(32,418건)에 운영 명령을 돌린 결과다. 파일로 남아야 하는 건 두 가지다.
docs/SOURCES.md— 레지스트리 갱신분 (39 -> 51행, blogs 10개 신규)docs/TODO.md— bluesky가 데일리 창에서 0건이라는 사실 (아래)데이터 손실 0건,
doctor --strictexit 0.bluesky를 잘못 넣었다
#14에서 추가한 bluesky가 프로덕션 첫 실행에서 0건이었다. 조사 결과 크롤러는 정상이다 — API를 직접 찌르면 HTTP 200에 엔트리 20개가 온다.
문제는 소스 선정이다.
BLUESKY_ACCOUNTS에bsky.app하나뿐인데, 이 공식 계정의 게시 간격이 며칠에서 한 달이다. 확인 시점에 최신 글이 4일 전이라--days 1에서는 거의 매번 0건이다.AGENTS.md에 이미 적혀 있는 함정("등록해도 매번 0건인데 겉보기엔 멀쩡하다")을 #14에서 그대로 반복했다. URL이 200을 주는지는 봤지만 운영 조건에서 산출이 0인지는 확인하지 않았다.창을 넓히는 건 해결이 아니다. 같은 글을 다시 받을 뿐이다. 매일 올라오는 계정 목록이 필요한데 그건 큐레이션 결정이라 임의로 정하지 않고
docs/TODO.md의 새 "Underfilled Sources" 절에 남겼다. 그때까지doctor는 bluesky를 0건 회귀로 계속 잡는다.프로덕션에서 확인한 것
실행한 운영 명령과 결과
작업 전 백업을 뜨고(8개 테이블 +
MAX(id)+quick_check전수 대조) 진행했다.skim migratecanonical_url32,418/32,418 백필 + 인덱스 생성. API 승격 0 / content 정리 0 (이미 적용돼 있었다는 뜻, 멱등 확인)skim source syncskim source refresh --allskim source list --emit markdown손실 검사 (백업 = 작업 전):
canonical_url중복 그룹 258개 — 교차소스 중복이 실제로 그만큼 있다.#14이 고친 것이 실제로 복구됐는지
데일리와 같은 조건(
--days 1)으로 프로덕션에 돌렸다.doctor실행 전에는 과거 run #255/#257/#258에 arxiv·huggingface 0건 회귀가 남아warning: recent runs need attention이 떴다. 위 크롤 이후 #260~#263이 전부 success로 바뀌며 해소됐고, 최종doctor --strict는 exit 0이다.남은 결손은 geeknews 2/193, lobsters 2/24로 둘 다 미미하다. youtube
missing_text=3036은youtube-history백필 행이라 설계상 예외다.검증
백업본은 위 검증을 마친 뒤 정리했다.