네이버 뉴스 크롤링&워드클라우드(9주차)

-

 이번주에는 네이버금융에서 IT분야의 정보를 가져와 등락률의 상위 10개 종목만을 가지고 그 종목들을 검색어로 사용하여 뉴스기사의 제목, 언론사, 링크를 가져왔다. 그리고 그 제목을 가지고 워드클라우드로 시각화해 보았다.

1
2
3
4
5
6
7
import requests
from bs4 import BeautifulSoup
import pandas as pd
from collections import Counter
from konlpy.tag import Twitter
from wordcloud import WordCloud
import matplotlib.pyplot as plt
cs

위의 라이브러리를 사용하여 진행하였다.

네이버금융 크롤링

먼저 네이버금융에서 IT분야의 정보를 가져와 등락률의 상위 10개 종목을 뽑아보았다.


1
2
3
4
5
6
7
8
9
url = 'https://finance.naver.com/sise/sise_group_detail.nhn?type=upjong&no=154'
req = requests.get(url)
html = req.text
soup = BeautifulSoup(html,'html.parser')
finance_html = soup.select('div.box_type_l table.type_5')
finance_html = str(finance_html)
finance_list = pd.read_html(finance_html)
finance_df = finance_list[0]
finance_df
cs

위의 코드를 실행하면 아래와 같이 데이터 프레임을 가져올 수 있다.

















1
2
finance_df = finance_df[1:67]
df = finance_df
cs

아래의 67,68번째 행은 비어있으므로 제거하고 진행한다.

1
2
3
4
5
df['등락률_11'] = df['등락률'].str[0]
df['등락률_11'] = df['등락률_11'].replace('+','0').replace('-','1')
df['등락률_22'] = df['등락률'].str[1:].str.split('%').str[0]
df['등락률_22'] = df['등락률_22'].astype(float)
df
cs

위에 코드는 등락률의 부호로 등락률_11이라는 열을 만들고 +면 0, -면 1로 바꾸어준다.

그리고 등락률의 숫자로 등락률_22라는 열을 만들고 float로 변환해준다.

실행 결과는 다음과 같다.















1
2
3
df = df.sort_values(by=['등락률_22'], axis=0, ascending=False)
df = df[:10]
df
cs

등락률_22라는 열로 정렬을 시켜 등락률 상위 10개 종목만 가져왔다.

결과는 다음과 같다.















네이버 검색어기반 뉴스 크롤링

1
2
3
4
df['종목명'] = df['종목명'].str.replace('*', '').replace(' ','')
name = df.iloc[:,0]
name = list(name)
name
cs

종목명을 다음과같이 리스트로 만들었다.












1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
s_date = "2020.10.05"
e_date = "2020.10.12"
s_from = s_date.replace(".","")
e_to = e_date.replace(".","")
 
l = []
for query in name:
    for n in range(0,3):
        req = requests.get("https://search.naver.com/search.naver?where=news&query=" + query + "&sort=1&ds=" + s_date + "&de=" + e_date + "&nso=so%3Ar%2Cp%3Afrom" + s_from + "to" + e_to + "%2Ca%3A&start=" + str(n*10+1), 
                            headers={'User-Agent':'Mozilla/5.0'})
        html = req.text
        soup = BeautifulSoup(html, 'html.parser')
 
        articles = soup.select('ul.type01 > li')
 
        for article in articles:
            d = {}
            d['title'] = article.select_one("a._sp_each_title").text          
            # 기사 제목
            d['agency'] = article.select_one("span._sp_each_source").text     
            # 언론사
            d['link'] = article.select_one("a._sp_each_title")['href']
        
            l.append(d)
cs

날짜를 지정하여 다음과 같은 코드로 기사의 제목, 언론사, 링크를 크롤링한다.

1
pd.set_option('display.max_colwidth', -1)
cs

크롤링한 링크 뒷부분에 ...으로 생략되는 문제가 있어 위에 코드를 사용한다.

1
2
a = pd.DataFrame(l)
a
cs

데이터프레임으로 만들어 결과를 확인하면 다음과 같다.









워드클라우드

두 가지 방법으로 그려보았다.

1. 형태소 분석을 하지않고 진행하였을 때

1
2
3
4
5
6
7
8
9
10
title = list(a['title'])
title1 = ''.join(title)
 
wordcloud = WordCloud(font_path='C:/Windows/Fonts/NanumGothic.ttf', background_color='white',
                     width = 1000, height = 1000, max_words = 100, max_font_size = 300)
 
fig = plt.figure(figsize = (10,10))
plt.axis('off')
img = wordcloud.generate(title1)
plt.imshow(img)
cs

위의 코드로 기사제목을 가지고 워드클라우드를 그려보았다. 결과는 다음과 같다.
















2. 형태소 분석을 하고 진행하였을 때

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
title = list(a['title'])
title1 = ''.join(title)
 
wordcloud = WordCloud(font_path='C:/Windows/Fonts/NanumGothic.ttf', background_color='white',
                     width = 1000, height = 1000, max_words = 100, max_font_size = 300)
 
nlp = Twitter()
nouns = nlp.nouns(title1)
count = Counter(nouns)
words = dict(count.most_common())
 
fig = plt.figure(figsize = (10,10))
plt.axis('off')
img = wordcloud.generate_from_frequencies(words)
plt.imshow(img)
cs

위의 결과는 다음과 같다.
















댓글

댓글 쓰기

이 블로그의 인기 게시물

SQL(9)(performance tuning queries, pivoting data)

-
이미지
PERFORMANCE TUNING QUERIES 쿼리를 개선할 수 있는 개선방법을 식별하는 방법 먼저 수행해야하는 계산 수와 쿼리 런타임에 영향을 주는 몇가지 사항 - 테이블 크기 : 쿼리가 수백만개의 행이 있는 하나 이상의 테이블에 도달하면 성능에 영향을 미칠 수 있다. - 조인 : 쿼리가 결과 집합의 행 수를 크게 늘리는 방식으로 두 테이블을 조인하면 쿼리가 느려질 수 있다. - 집계 : 결과를 생성하기 위해 여러 행을 결합하려면 단순히 해당 행을 검색하는 것보다 더 많은 계산이 필요하다. - 쿼리를 실행하는 다른 사용자 : 데이터베이스에서 동시에 실행되는 쿼리가 많을수록 데이터베이스가 주어진 시간에 더 많은 처리해야하며 모든것이 느리게 실행된다. - 데이터베이스 소프트웨어 및 최적화 : 제어 할 수 없는 부분이지만 사용중인 시스템을 알고있다면 범위 내에서 작업하면 쿼리를 보다 효율적으로 만들 수 있다. 테이블 크기 줄이기 1 2 3 4 SELECT   *    FROM  benn.sample_event_table   WHERE  event_date  > =   '2014-03-01'    AND event_date  <    '2014-04-01' cs 1 2 3 SELECT  COUNT( * )    FROM  benn.sample_event_table   LIMIT   100 cs 1 2 3 4 5 6 SELECT  COUNT( * )    FROM  (      SELECT   *        FROM  benn.sample_event_table       LIMIT ...
자세한 내용 보기

데이터 크롤링(3주차)

-
이미지
 데이터를 시각화하고 분석을 진행함에 앞서 필요한 데이터들을 수집가능한지 어떤 문제점이 있는지 알아보기 위해 테스트를 진행해 보았다. 먼저 네이버 금융에 들어가 IT서비스 분야를 선택하면 다음과 같은 화면이 나타난다. 이 곳에서 필요한 데이터를 수집해 보기로 했다. 일단 종목명부터 수집해 보았다. import requests from pprint import pprint from bs4 import BeautifulSoup 먼저 웹 크롤링을 하기 위해 필요한 패키지들을 불러왔다. html = requests.get('https://finance.naver.com/sise/sise_group_detail.nhn?type=upjong&no=154') # 웹 페이지 요청 soup = BeautifulSoup(html.text, 'html.parser') # 다루기 좋게 파싱작업진행 data2 = soup.find_all('div', {'class':'name_area'}) # 회사 이름들을 추출한다. len(data2) #66 66개의 모든 종목명을 추출했다. name=[] for i in range(len(data2)):     name.append(soup.find_all('div', {'class':'name_area'})[i].get_text()) print(name) 리스트로 만들어 좀 더 보기 쉽게 만들었다. 결과는 다음과 같다. name1=[] for i in range(len(name)):     name1.append(name[i].replace('*', '').replace(' ','')) print(name1) 종목명에 특수문자와 공백을 제거했다. 결과는 다음과 같다. 이제 종목명 옆에 있는 다른 값들을 추출해 볼것이다. 이 곳에서 두가지의 문제점을 발견한다. 1. na...
자세한 내용 보기

SQL(8)(writing subqueries, window functions)

-
이미지
WRITING SUBQUERIES 하위쿼리는 쿼리내의 여러 위치에서 사용할 수 있지만 from문으로 시작하는 것이 가장 쉽다. 1 2 3 4 5 6 7 SELECT  sub. *    FROM  (          SELECT   *            FROM  tutorial.sf_crime_incidents_2014_01           WHERE  day_of_week  =   'Friday'        ) sub   WHERE  sub.resolution  =   'NONE' cs 1 2 3 SELECT   *    FROM  tutorial.sf_crime_incidents_2014_01   WHERE  day_of_week  =   'Friday' cs 연습문제 모든 Warrant Arrests를 선택하는 쿼리를 작성하고 해결되지 않은 사건만 표시하는 외부쿼리로 래핑 1 2 3 4 5 6 7 SELECT  sub. *    FROM  (          SELECT   *            FROM  tutorial.sf_crime_incidents_2014_01        ...
자세한 내용 보기