반응형 AI 자동화2 네이버 뉴스 자동 수집기 프로그램 크롤링 crawler_nnews 소개 네이버 뉴스 섹션의 경우 다양한 고품질의 텍스트 자료가 풍부하게 제공되고 있습니다. 이러한 텍스트 자료를 활용한다면, AI 분야 및 빅데이트 연구등에 적극적으로 활용할 수가 있습니다. 다만 지정된 키워드에 대하여 뉴스 검색 후 그 결과를 바탕으로 텍스트를 수집 정리하는 것은 정말 어려운 과정인데요, 프로그램을 통해 자동화를 한다면, txt로 원하는 데이터만 추출하는 것이 가능합니다. 이번 포스팅에서는 AI와 빅데이터 연구를 위한 크롤링 프로그램인 crawler_nnews를 소개해 드리려고 합니다. 이 프로그램의 경우 크롬 브라우져를 바탕으로 원하는 뉴스 키워드에 대하여 자동으로 검색 및 텍스트 추출을 수행하게 됩니다. 특히 추출 과정에서 기사 제목, 링크, 작성자, 본문 내용을 선택적으로 수집할 수 있으.. 2023. 6. 27. 네이버 블로그 텍스트 수집 자동화 크롤링 툴 crawler_nblog 소개 최근 AI 기술이 급속도로 발전하면서, 연구 및 상업 분야에 다양한 텍스트 데이터 수집이 매우 중요한 시점이 되었습니다. 특히 새롭고 다양한 데이터가 풍부하게 제공되는 네이버 블로그의 경우 AI 및 빅데이터 경향성을 연구 분석하기에 우수한 자료원이라고 말씀 드릴 수 있습니다. 다만 이러한 데이터 수집 (크롤링 봇) 프로그램의 경우 변화하는 서비스 환경에 맞춰 업데이트가 되어야 하기 때문에 쓸만한 프로그램을 찾기가 쉽지 않습니다. 이번 포스팅에서는 네이버 블로그의 텍스트를 문서로 수집할 수 있는 크롤링 툴을 소개해 드리려고 합니다. 크롤링 툴의 경우, 검색어를 지정하면 해당 검색어를 네이버에서 검색 후 나온 블로그들의 텍스트를 txt 파일로 저장해 줍니다. 이 과정에서 추출이 안되는 블로그는 생략하며, 각.. 2023. 6. 27. 이전 1 다음 반응형
