HouseSigma Collector Skill
HouseSigma에서 매물 데이터를 수집하여 Hauscout SQLite DB에 저장하는 skill.
프로젝트 경로
- Hauscout:
/Users/kendrick/projects/hauscout - DB:
/Users/kendrick/projects/hauscout/data/hauscout.db - 스크립트:
/Users/kendrick/projects/hauscout/scripts/collect.ts
사용법
자동 수집 (검색 프로필 기반)
cd /Users/kendrick/projects/hauscout && npx tsx scripts/collect.ts특정 매물 수집
cd /Users/kendrick/projects/hauscout && npx tsx scripts/collect.ts --url "<housesigma_url>"특정 프로필만 수집
cd /Users/kendrick/projects/hauscout && npx tsx scripts/collect.ts --profile <id>브라우저 창 보면서 수집 (디버깅)
cd /Users/kendrick/projects/hauscout && npx tsx scripts/collect.ts --headed수동 수집 (브라우저 직접 사용)
Playwright 스크립트 대신 Clawdbot 브라우저로 직접 수집할 때:
- 브라우저로 HouseSigma 매물 상세 페이지 열기
- DOM 스냅샷에서 데이터 추출
- SQLite에 직접 INSERT
DOM 데이터 매핑
HouseSigma 상세 페이지의 구조:
- 주소/상태:
<h1>태그 (Unit X - Street - Municipality - Community) - 가격:
<em>태그의$ X,XXX패턴 - Key Facts:
<dt>/<dd>쌍 (Tax, Property Type, Maintenance, etc.) - Details: 같은
<dt>/<dd>패턴 (Bedrooms, Bathrooms, etc.) - 방 정보: "Metres" 섹션의 텍스트 패턴
- Estimates: SigmaEstimate, Estimated Rent, Rental Yield
- 학교: Catchment Schools 섹션
- 인기도: "Popularity : XX/100" 텍스트
- 커뮤니티 통계: Community Statistics 섹션
검색 프로필 관리
프로필 추가:
cd /Users/kendrick/projects/hauscout
sqlite3 data/hauscout.db "INSERT INTO search_profiles (name, center_lat, center_lng, radius_km, property_types, price_min, price_max, beds_min, beds_max, baths_min, baths_max, is_active) VALUES ('이름', lat, lng, radius, '[\"Condo Apartment\"]', 0, 800000, 2, 3, 1, 2, 1);"현재 프로필 확인:
sqlite3 data/hauscout.db "SELECT * FROM search_profiles;"데이터 수집 후
수집 후 대시보드에 반영하려면:
cd /Users/kendrick/projects/hauscout
git add data/hauscout.db
git commit -m "data: daily collection $(date +%Y-%m-%d)"
git pushVercel 배포 시 자동으로 최신 데이터가 반영됩니다.
크론잡
Clawdbot cron으로 매일 오전 9시에 자동 수집:
- 스크립트 실행 → DB 업데이트 → git commit & push
주의사항
- HouseSigma rate limiting 방지를 위해 요청 간 2-4초 간격 유지
- headless 모드에서 차단될 수 있음 → --headed 옵션으로 확인
- 검색 프로필의 결과가 많으면 시간이 오래 걸림 (매물당 ~5초)