네이버 뉴스 자동 수집기 프로그램 크롤링 crawler

네이버 뉴스 섹션의 경우 다양한 고품질의 텍스트 자료가 풍부하게 제공되고 있습니다.

이러한 텍스트 자료를 활용한다면, AI 분야 및 빅데이트 연구등에 적극적으로 활용할 수가 있습니다.

다만 지정된 키워드에 대하여 뉴스 검색 후 그 결과를 바탕으로 텍스트를 수집 정리하는 것은 정말 어려운 과정인데요, 프로그램을 통해 자동화를 한다면, txt로 원하는 데이터만 추출하는 것이 가능합니다.

이번 포스팅에서는 AI와 빅데이터 연구를 위한 크롤링 프로그램인 crawler_nnews를 소개해 드리려고 합니다.

이 프로그램의 경우 크롬 브라우져를 바탕으로 원하는 뉴스 키워드에 대하여 자동으로 검색 및 텍스트 추출을 수행하게 됩니다.

특히 추출 과정에서 기사 제목, 링크, 작성자, 본문 내용을 선택적으로 수집할 수 있으며, 또한 네이버 뉴스로 포함된 뉴스만 추출하는 것도 가능합니다.

크롬 브라우저의 크롬 드라이버를 활용하여 자동화가 되어 있기 때문에 사용자 컴퓨터에 크롬 브라우저가 없다면 자동으로 설치하여 크롤링을 진행합니다.

프로그램의 경우 위 파일 세개를 다운로드 하여 압축을 해제 한 다음에 실행하면 간단하게 설치없이 실행이 가능합니다.

다른 다운로드 링크입니다.

네이버 블로그 텍스트 수집 자동화 크롤링 툴 crawler_nblog 소개 (4)	2023.06.27

스마트 투자