상업주의를 벗어난 '스몰 웹', 우리가 생각했던 것보다 훨씬 거대하다
TL;DR 저자는 광고와 추적이 없는 비상업적 개인 사이트인 ‘스몰 웹’의 모든 업데이트를 한 페이지에 모아주는 피드 애그리게이터를 만들려 했습니다. 하지만 Kagi 검색엔진 데이터를 분석한 결과, 활성화된 스몰 웹 사이트가 예상보다 너무 많아 단일 페이지 통합이 불가능하다는 것을 깨달았습니다. 이는 개인 프로젝트에는 실패일지 몰라도, 순수한 웹 생태계가 여전히 건재하다는 매우 긍정적인 신호입니다.
오늘날의 웹은 거대 테크 기업들의 알고리즘, 무분별한 광고, 그리고 사용자 추적으로 가득 차 있습니다. 이에 대한 반발로 순수한 텍스트와 정보 공유의 목적을 가진 ‘제미나이(Gemini)’ 프로토콜이나 ‘스몰 웹(Small Web)’ 운동이 개발자들 사이에서 조용히 주목받고 있습니다. 이 글은 광고 없는 순수한 개인 웹사이트들이 과연 얼마나 남아있을지에 대한 호기심에서 출발합니다. 상업적 이익이 배제된 웹 생태계가 멸종 위기일 것이라는 우리의 편견을 흥미로운 데이터 분석을 통해 반박합니다.
핵심 내용
저자는 제미나이 프로토콜 생태계에서 유용하게 쓰이는 ‘전체 피드 통합 페이지’를 일반 스몰 웹에도 적용해보고자 했습니다. 이를 위해 Kagi 검색엔진의 스몰 웹 디렉토리 데이터를 활용하여 수만 개의 RSS/Atom 피드를 직접 다운로드하고 분석했습니다. 죽은 링크와 타임스탬프가 없는 피드를 제외하고, 한 달에 최소 1회 이상 업데이트되는 활성 사이트만 추려냈음에도 무려 9,000여 개의 사이트가 남았습니다. 특정 일자(3월 15일) 하루에만 단순 오타 수정을 넘어서는 1,251개의 새로운 콘텐츠가 생산되는 것을 확인했습니다. 결과적으로 스몰 웹은 단일 페이지에 업데이트를 모아보기에는 너무 방대하고 활발하게 돌아가고 있었으며, 이는 ‘스몰 웹’이라는 이름과 달리 그 규모가 결코 작지 않음을 증명합니다.
기술적 인사이트
소프트웨어 엔지니어 관점에서 이 글은 프로토콜의 제약이 생태계 아키텍처에 미치는 영향을 잘 보여줍니다. 제미나이 프로토콜은 의도적으로 기능을 극도로 제한하여 상업적 확장을 막았고, 그 결과 소규모 커뮤니티의 중앙 집중식 피드 취합(Aggregator)이 가능했습니다. 반면, HTTP 기반의 스몰 웹은 비상업성을 지향하더라도 웹의 근본적인 개방성 덕분에 쉽게 파편화되고 거대하게 확장됩니다. 기술적으로 RSS와 Atom 피드 표준이 여전히 분산된 웹을 연결하는 가장 강력한 접착제 역할을 하고 있다는 점이 흥미롭습니다. 다만, 중앙화된 API 없이 수만 개의 분산된 XML 피드를 크롤링, 파싱, 시간순 정렬하는 과정은 여전히 만만치 않은 데이터 처리 과제임을 시사합니다.
시사점
이 분석은 개발자들에게 중앙화된 소셜 미디어나 대형 플랫폼에 의존하지 않고도 충분히 의미 있고 활발한 콘텐츠 생태계가 존재함을 상기시켜 줍니다. 개인 블로그, 정적 사이트 생성기(SSG), RSS 피드와 같은 독립적인 웹 기술들이 여전히 유효하며, 오히려 틈새시장에서 강력한 생명력을 유지하고 있습니다. 실무적으로는 사용자들에게 ‘알고리즘 없는 순수한 정보 소비’ 경험을 제공하기 위해, 탈중앙화된 데이터를 효율적으로 큐레이션하고 개인화할 수 있는 새로운 형태의 리더기나 검색 도구의 필요성을 제시합니다.
빅테크가 지배하는 웹의 이면에는 여전히 순수한 열정으로 운영되는 거대한 ‘스몰 웹’ 우주가 존재하고 있었습니다. 우리는 편리함이라는 명목 하에 너무 많은 웹의 통제권을 거대 플랫폼에 넘겨준 것은 아닐까요? 앞으로 AI가 생성한 스팸 콘텐츠가 범람하는 시대에, 진정성 있는 인간의 기록이 담긴 스몰 웹의 가치는 더욱 빛을 발할 것입니다.