데이터 크롤링(4주차)

-

 

서비스기획초안작성에서 했던 2번째 기업을 선택했을 때의 페이지를 삼성전자로 구현해볼 것이다. 먼저 구현하기에 앞서 네이버 금융에서 삼성전자 페이지를 들어가 필요한 데이터를 크롤링해올 것이다.

1
2
3
4
5
6
import requests
from bs4 import BeautifulSoup
import traceback
import pandas as pd
import datetime
import plotly.express as px
cs
위 패키지들을 사용하여 작업을 진행할 것이다.
1
2
code = '005930'
code
cs
위의 코드는 삼성전자의 종목코드번호이다.
1
2
3
4
url = 'http://finance.naver.com/item/sise_day.nhn?code={code}'.format(code=code)
res = requests.get(url)
res.encoding = 'utf-8'
res.status_code
cs
위의 코드로 url을 준비하고 라이브러리를 사용하여 호출한다.
1
soap = BeautifulSoup(res.text, 'lxml')
cs
1
2
3
4
5
6
el_table_navi = soap.find("table", class_="Nnavi")
el_td_last = el_table_navi.find("td", class_="pgRR")
pg_last = el_td_last.a.get('href').rsplit('&')[1]
pg_last = pg_last.split('=')[1]
pg_last = int(pg_last)
pg_last
cs
위의 코드는 먼저 Pagination영역을 가져와서 마지막 페이지를 알아내는 코드다.
1
2
3
4
5
6
7
8
9
10
11
def parse_page(code, page):
    try:
        url = 'http://finance.naver.com/item/sise_day.nhn?code={code}&page={page}'.format(code=code, page=page)
        res = requests.get(url)
        _soap = BeautifulSoup(res.text, 'lxml')
        _df = pd.read_html(str(_soap.find("table")), header=0)[0]
        _df = _df.dropna()
        return _df
    except Exception as e:
        traceback.print_exc()
    return None
cs
위의 함수는 종목과 페이지 번호를 입력받아서 일별 주가를 DataFrame으로 반환하는 함수다.
1
parse_page(code, 1)
cs
함수를 한번 작동해보면 다음과 같이 나타난다.
1
2
str_datefrom = datetime.datetime.strftime(datetime.datetime(year=2018, month=1, day=1), '%Y.%m.%d')
str_dateto = datetime.datetime.strftime(datetime.datetime.today(), '%Y.%m.%d')
cs
위의 코드는 기준일자를 시작과 끝을 만들어 가져올 수 있도록 기준일자를 정의한다.
1
2
3
4
5
6
7
8
9
10
df = None
for page in range(1, pg_last+1):
    _df = parse_page(code, page)
    _df_filtered = _df[_df['날짜'] > str_datefrom]
    if df is None:
        df = _df_filtered
    else:
        df = pd.concat([df, _df_filtered])
    if len(_df) > len(_df_filtered):
        break
cs
다음과 같이 df를 만들면 아래와 같은 결과가 나타난다.
1
df.head()
cs
1
df.tail()
cs
이제 삼성전자의 일별 시세 데이터를 가져왔으니 이 데이터로 plotly패키지로 그래프를 그릴것이다.
그 전에 앞서 날짜를 datetime형식으로 바꾸어 준다.
1
2
df['날짜'] = pd.to_datetime(df['날짜'])
df
cs
다음과 같이 날짜의 형식이 바뀌었다.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
fig = px.line(df, x='날짜', y='종가')
 
fig.update_xaxes(
    rangeslider_visible=True,
    rangeselector=dict(
        buttons=list([
            dict(count=1, label="1m", step="month", stepmode="backward"),
            dict(count=6, label="6m", step="month", stepmode="backward"),
            dict(count=1, label="1y", step="year", stepmode="backward"),
            dict(step="all")
        ])
    )
)
fig.show()
cs
위의 코드를 입력하면 아래와 같이 한달, 6달, 1년, 전체 등 원하는 단위로 그래프를 볼 수 있다.




















그러나 어떤 날의 기점으로 값이 너무 달라졌다. 이 정보를 확인해보니 2018년 5월 4일 기준으로 값이 달라지는 것을 확인하였다. 그래서 2018년 5월 5일을 기준으로 다시 그려보았다.




















그 다음으로 삼성전자의 재무제표를 크롤링해 보았다.
1
2
3
4
5
code = '005930'
url = 'http://finance.naver.com/item/main.nhn?code={code}'.format(code=code)
tables = pd.read_html(url, encoding='euc-kr')
df2 = tables[3]
df2
cs

이렇게 이번주에는 일별 시세, 일별시세로 그래프 그리기, 재무제표 등 서비스기획초안작성의 기업을 선택했을 때의 페이지를 구성해 보았다.









댓글

댓글 쓰기

이 블로그의 인기 게시물

SQL(9)(performance tuning queries, pivoting data)

-
이미지
PERFORMANCE TUNING QUERIES 쿼리를 개선할 수 있는 개선방법을 식별하는 방법 먼저 수행해야하는 계산 수와 쿼리 런타임에 영향을 주는 몇가지 사항 - 테이블 크기 : 쿼리가 수백만개의 행이 있는 하나 이상의 테이블에 도달하면 성능에 영향을 미칠 수 있다. - 조인 : 쿼리가 결과 집합의 행 수를 크게 늘리는 방식으로 두 테이블을 조인하면 쿼리가 느려질 수 있다. - 집계 : 결과를 생성하기 위해 여러 행을 결합하려면 단순히 해당 행을 검색하는 것보다 더 많은 계산이 필요하다. - 쿼리를 실행하는 다른 사용자 : 데이터베이스에서 동시에 실행되는 쿼리가 많을수록 데이터베이스가 주어진 시간에 더 많은 처리해야하며 모든것이 느리게 실행된다. - 데이터베이스 소프트웨어 및 최적화 : 제어 할 수 없는 부분이지만 사용중인 시스템을 알고있다면 범위 내에서 작업하면 쿼리를 보다 효율적으로 만들 수 있다. 테이블 크기 줄이기 1 2 3 4 SELECT   *    FROM  benn.sample_event_table   WHERE  event_date  > =   '2014-03-01'    AND event_date  <    '2014-04-01' cs 1 2 3 SELECT  COUNT( * )    FROM  benn.sample_event_table   LIMIT   100 cs 1 2 3 4 5 6 SELECT  COUNT( * )    FROM  (      SELECT   *        FROM  benn.sample_event_table       LIMIT ...
자세한 내용 보기

데이터 크롤링(3주차)

-
이미지
 데이터를 시각화하고 분석을 진행함에 앞서 필요한 데이터들을 수집가능한지 어떤 문제점이 있는지 알아보기 위해 테스트를 진행해 보았다. 먼저 네이버 금융에 들어가 IT서비스 분야를 선택하면 다음과 같은 화면이 나타난다. 이 곳에서 필요한 데이터를 수집해 보기로 했다. 일단 종목명부터 수집해 보았다. import requests from pprint import pprint from bs4 import BeautifulSoup 먼저 웹 크롤링을 하기 위해 필요한 패키지들을 불러왔다. html = requests.get('https://finance.naver.com/sise/sise_group_detail.nhn?type=upjong&no=154') # 웹 페이지 요청 soup = BeautifulSoup(html.text, 'html.parser') # 다루기 좋게 파싱작업진행 data2 = soup.find_all('div', {'class':'name_area'}) # 회사 이름들을 추출한다. len(data2) #66 66개의 모든 종목명을 추출했다. name=[] for i in range(len(data2)):     name.append(soup.find_all('div', {'class':'name_area'})[i].get_text()) print(name) 리스트로 만들어 좀 더 보기 쉽게 만들었다. 결과는 다음과 같다. name1=[] for i in range(len(name)):     name1.append(name[i].replace('*', '').replace(' ','')) print(name1) 종목명에 특수문자와 공백을 제거했다. 결과는 다음과 같다. 이제 종목명 옆에 있는 다른 값들을 추출해 볼것이다. 이 곳에서 두가지의 문제점을 발견한다. 1. na...
자세한 내용 보기

SQL(8)(writing subqueries, window functions)

-
이미지
WRITING SUBQUERIES 하위쿼리는 쿼리내의 여러 위치에서 사용할 수 있지만 from문으로 시작하는 것이 가장 쉽다. 1 2 3 4 5 6 7 SELECT  sub. *    FROM  (          SELECT   *            FROM  tutorial.sf_crime_incidents_2014_01           WHERE  day_of_week  =   'Friday'        ) sub   WHERE  sub.resolution  =   'NONE' cs 1 2 3 SELECT   *    FROM  tutorial.sf_crime_incidents_2014_01   WHERE  day_of_week  =   'Friday' cs 연습문제 모든 Warrant Arrests를 선택하는 쿼리를 작성하고 해결되지 않은 사건만 표시하는 외부쿼리로 래핑 1 2 3 4 5 6 7 SELECT  sub. *    FROM  (          SELECT   *            FROM  tutorial.sf_crime_incidents_2014_01        ...
자세한 내용 보기