Skip to content

docs(sources): 레지스트리 갱신 반영 + bluesky 0건 원인 기록 - #15

Merged
seungwonme merged 2 commits into
mainfrom
docs/sources-registry-260810
Aug 10, 2026
Merged

docs(sources): 레지스트리 갱신 반영 + bluesky 0건 원인 기록#15
seungwonme merged 2 commits into
mainfrom
docs/sources-registry-260810

Conversation

@seungwonme

Copy link
Copy Markdown
Owner

TL;DR

#14 머지 후 프로덕션 DB(32,418건)에 운영 명령을 돌린 결과다. 파일로 남아야 하는 건 두 가지다.

  • docs/SOURCES.md — 레지스트리 갱신분 (39 -> 51행, blogs 10개 신규)
  • docs/TODO.mdbluesky가 데일리 창에서 0건이라는 사실 (아래)

데이터 손실 0건, doctor --strict exit 0.

bluesky를 잘못 넣었다

#14에서 추가한 bluesky가 프로덕션 첫 실행에서 0건이었다. 조사 결과 크롤러는 정상이다 — API를 직접 찌르면 HTTP 200에 엔트리 20개가 온다.

문제는 소스 선정이다. BLUESKY_ACCOUNTSbsky.app 하나뿐인데, 이 공식 계정의 게시 간격이 며칠에서 한 달이다. 확인 시점에 최신 글이 4일 전이라 --days 1에서는 거의 매번 0건이다.

AGENTS.md에 이미 적혀 있는 함정("등록해도 매번 0건인데 겉보기엔 멀쩡하다")을 #14에서 그대로 반복했다. URL이 200을 주는지는 봤지만 운영 조건에서 산출이 0인지는 확인하지 않았다.

창을 넓히는 건 해결이 아니다. 같은 글을 다시 받을 뿐이다. 매일 올라오는 계정 목록이 필요한데 그건 큐레이션 결정이라 임의로 정하지 않고 docs/TODO.md의 새 "Underfilled Sources" 절에 남겼다. 그때까지 doctor는 bluesky를 0건 회귀로 계속 잡는다.

프로덕션에서 확인한 것

실행한 운영 명령과 결과

작업 전 백업을 뜨고(8개 테이블 + MAX(id) + quick_check 전수 대조) 진행했다.

명령 결과
skim migrate canonical_url 32,418/32,418 백필 + 인덱스 생성. API 승격 0 / content 정리 0 (이미 적용돼 있었다는 뜻, 멱등 확인)
skim source sync blogs 10개 신규 등록
skim source refresh --all 21개 tier 관측, 10개 확정. scrape로 떨어진(죽은) 피드 0건
skim source list --emit markdown 39 -> 51행

손실 검사 (백업 = 작업 전):

posts             32418 -> 32418
runs                259 -> 259
본문 있는 글       29055 -> 29055
tracked_sources      40 -> 50  (+10)

canonical_url 중복 그룹 258개 — 교차소스 중복이 실제로 그만큼 있다.

#14이 고친 것이 실제로 복구됐는지

데일리와 같은 조건(--days 1)으로 프로덕션에 돌렸다.

플랫폼 결과
arxiv 50건 저장 (2,519 -> 2,569)
huggingface 46건 수집, 22건 저장 (2,284 -> 2,306)
lobsters 24건 저장 (신규 플랫폼)
bluesky 0건 — 위 참고

doctor 실행 전에는 과거 run #255/#257/#258에 arxiv·huggingface 0건 회귀가 남아 warning: recent runs need attention이 떴다. 위 크롤 이후 #260~#263이 전부 success로 바뀌며 해소됐고, 최종 doctor --strict는 exit 0이다.

남은 결손은 geeknews 2/193, lobsters 2/24로 둘 다 미미하다. youtube missing_text=3036youtube-history 백필 행이라 설계상 예외다.

검증

skim doctor --strict   exit 0
integrity              ok
tools / playwright     ok

백업본은 위 검증을 마친 뒤 정리했다.

seungwonme added 2 commits August 10, 2026 15:43
머지 후 프로덕션 DB에 source sync/refresh --all을 돌린 결과다.
blogs 10개가 새로 등록됐고 tier는 전부 관측값으로 채워졌다.
scrape로 떨어진(피드가 죽은) 소스는 없다.

tracked_sources는 DB에 있어 저장소 diff로 따라오지 않으므로,
이 문서가 언제 무엇이 추가됐는지의 유일한 기록이다.
크롤러는 정상이다(프로덕션 실측: HTTP 200, 엔트리 20개).
BLUESKY_ACCOUNTS에 bsky.app 하나뿐인데 이 계정의 게시 간격이
며칠에서 한 달이라 --days 1에서는 거의 매번 0건이다.

창을 넓혀도 같은 글을 다시 받을 뿐이라 해결이 안 된다.
매일 올라오는 계정 목록이 필요한데 그건 큐레이션 결정이다.
@seungwonme
seungwonme merged commit 0753627 into main Aug 10, 2026
3 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant