포탈사이트 실시간 검색자료 수집방법

반응형

1. 포털 사이트 활용 (네이버, 다음 등)

🔹 네이버 데이터랩

  • URL: https://datalab.naver.com/
  • 기능: 인기 검색어, 급상승 키워드, 분야별 트렌드 등 제공
  • 장점: 신뢰도 높고 카테고리 세분화 가능
  • 단점: 실시간보다는 '트렌드 기반'

🔹 다음(Daum) 검색어 순위

  • 모바일 다음 앱 또는 메인 페이지에서 실시간 이슈 확인 가능

2. 구글 트렌드 (Google Trends)

  • URL: https://trends.google.com/trends/
  • 기능: 실시간 검색어, 특정 키워드 추세, 지역별 인기 등 확인
  • 장점: 글로벌 트렌드 분석 가능
  • 특징: RSS 피드도 제공되어 자동화 가능

3. 트위터 실시간 트렌드

  • 방법: 트위터 메인 또는 Trends24 같은 사이트 활용
  • 장점: 유저 반응 빠름, 감정 분석 가능
  • 자동화: Twitter API 연동으로 실시간 트렌드 수집 가능

4. 유튜브 실시간 인기 검색어

  • 방법: 유튜브 검색창 자동완성, 실시간 인기 영상 분석
  • 도구: TubeBuddy, VidIQ 같은 유튜브 확장 프로그램 사용

5. 실시간 검색어 수집 자동화 방법 (고급)

🔹 Python + BeautifulSoup/Selenium

  • 네이버, 다음, 구글 트렌드 등 크롤링
  • 예시 코드 (네이버 실시간 뉴스 키워드):
python

import requests
from bs4 import BeautifulSoup

url = 'https://datalab.naver.com/keyword/realtimeList.naver'
res = requests.get(url)
soup = BeautifulSoup(res.text, 'html.parser')

keywords = soup.select('.item_title')
for rank, keyword in enumerate(keywords, 1):
    print(f"{rank}. {keyword.text}")

 

🔹 Google Trends API (pytrends)

python

from pytrends.request import TrendReq

pytrends = TrendReq(hl='ko', tz=540)
trending = pytrends.trending_searches(pn='south_korea')
print(trending.head(10))

6. RSS 피드 이용 (자동화에 유리)

  • 구글 트렌드, 네이버 뉴스 등 RSS 제공하는 곳에서 자동 수집 가능
  • Zapier, IFTTT와 연동하여 슬랙/노션/스프레드시트로 자동 저장 가능

🎯 사용 목적에 따른 추천

목적추천 경로
콘텐츠 주제 찾기 네이버 데이터랩, 구글 트렌드
시사/속보 파악 트위터, 다음, 네이버 실시간 뉴스
자동 수집 Python 크롤링, pytrends, RSS 피드
영상/쇼츠 주제 유튜브 인기 검색어, VidIQ

✅ 실시간 검색어 자동 수집 시스템 (Google Sheet + Apps Script)

📌 목표

  • 매일(또는 매시간) 실시간 검색어 20개를 자동으로 구글 시트에 저장
  • 데이터 출처: 네이버 급상승 검색어 (Datalab 기준)

📂 Step 1: Google Sheet 준비

  1. 구글 드라이브에서 새 Google Sheet 문서를 생성
  2. 시트 이름을 실시간검색어로 변경 (또는 그대로 둬도 무방)
  3. 1행에 아래와 같이 헤더를 작성:
날짜  순위  키워드

 


🧩 Step 2: Apps Script 코드 삽입

  1. 상단 메뉴에서 [확장 프로그램] → [Apps Script] 클릭
  2. 아래 코드를 붙여넣기:
javascript

function fetchNaverRealtimeKeywords() {
  const sheet = SpreadsheetApp.getActiveSpreadsheet().getSheetByName("실시간검색어");
  const url = "https://datalab.naver.com/keyword/realtimeList.naver";
  const response = UrlFetchApp.fetch(url, { muteHttpExceptions: true }).getContentText();
  const keywords = [...response.matchAll(/<span class="item_title">(.*?)<\/span>/g)].map(m => m[1]);

  const today = Utilities.formatDate(new Date(), "Asia/Seoul", "yyyy-MM-dd HH:mm");
  
  keywords.forEach((keyword, index) => {
    sheet.appendRow([today, index + 1, keyword]);
  });
}

 

⏰ Step 3: 트리거 설정 (자동 실행)

  1. Apps Script 창에서 좌측 시계 아이콘 (트리거) 클릭
  2. 트리거 추가하기 (+) 클릭
  3. 아래와 같이 설정:
    • 함수: fetchNaverRealtimeKeywords
    • 이벤트 소스: 시간 기반
    • 반복: 매시간(또는 원할 경우 6시간/1일마다)

🎉 결과 예시 (Google Sheet)

날짜순위키워드
2025-03-29 15:00 1 총선 일정
2025-03-29 15:00 2 애플 이벤트
... ... ...

🌟 추가 기능 (원하면 확장 가능)

  • 날짜별 시트 자동 생성
  • 중복 키워드 제거
  • 유튜브 Shorts 주제로 자동 추천
  • Notion 자동 연동
반응형