[스마트인재개발원]-1차 프로젝트를 진행하며-(2-1)

이번 포스팅에는 실질적으로 DB에 크롤링한 파이썬 데이터들을 json 확장자로 DB에 추가하는 과정등을 알아보자. 

블로그 썸네일

크롤링 결과를 통해 확보한 네이버 리뷰와 평점 데이터와 다음 현재 상영중인 영화 목록에 맞춰 제목과 리뷰, 평점을 크롤링하였다.

크롤링한 데이터들을 비롯한 DB에 삽입할 데이터들은 공유문서로 만들어 한번에 취합본으로 만들었었다. 

 

Movie_info 가 담긴 공유문서.

이후 MBTI들도 각자 하나씩 담기도록 바꿔주었다. 이후 jsp에서 vo들을 불러와야 할 때, 오류가 나는 경우가 잦아

MBTI를 하나씩만 지정해줘야했다. 

 

이후 데이터는 xlsx로 확장자를 바꾸었고, xlsx파일을

엑셀에서 csv파일( ','로 구분된)(incoding=UTF-8)로 바꾸어 저장하였다. 

MySQL Import Wizard에서는 데이터를 두가지 형태로 넣을 수 있다.
1. csv
2. json

이제부터 csv파일을 import해보자.

 

test schema를 만들어 table data Import Wizard를 이용해 csv파일을 넣어보자.

아까 저장했던 파일을 넣어준다. 

 

그러면 기존에 지정하는 테이블에 csv파일 내의 데이터를 넣을 것인지, 아니면 테이블을 새로 만들어 csv파일 내의 데이터를 넣을 것인지 지정할 수 있다. 

 

기존에 있던 테이블에 넣는 방식으로는 오류가 많이 났어서 (왜 나는지도 알고싶다. 추후 기회가 된다면 포스팅 하겠다.) 0 data imported가 나를 반겨줬다. 

프로젝트를 진행할때는 new table에 새로 넣어주는 방식으로 진행하겠다. 

 

그러자 또 오류가 나를 반겨준다! 이런 오류들을 해결하는 방법은 구글링으로 해결하려 했으나

그 당시 우리 팀은 json으로 파일을 바꿔 import하기 위해 시도했다. 

 

csv파일을 json으로 바꾸기 전, 체크해야할 사항들!
1) 인코딩이 UTF-8인가?
2) 쉼표로 구분된 값인가?

Web에서 간단하게 csv파일을 JSON으로 바꿀 수 있다. 

https://www.convertcsv.com/csv-to-json.htm

CSV To JSON Converter

접속해서 두번째 탭을 눌러서 바꿀 csv 파일을 선택한다. 

 

확인해야할 부분이다. json확장자인지 확인하고 다운로드 해주면 된다. 

 

이렇게 다시 준비된 파일을 넣어보자. 

json 파일이 파이썬의 딕셔너리 형태로 잘 정제되어 나오고 있는 것을 확인할 수 있다. 

UTF-8 인코딩도 정상적이다. 

여기서 확장자를 json으로 바꿔 파일을 찾아 선택하자. 

 

아까와 똑같은 과정으로 진행하겠다.

 

다행히도 삽입할 데이터가 정상적으로 들어오게 되었다. 여기서 주목해야 할 점은

movie_score가 소수점이 있는 double형으로 들어오게 되어 있었다. 

이대로 import를 해보자.

여기서도 그냥 next눌러도 된다.

두근두근 확인의 시간!

0개의 데이터가 들어왔다. 

json을 import할때 double 자료형을 인식을 못하는걸까?

 

import시킬 때 dtype을 한번 바꿔서 넣어보자. 

고민에 빠졌다. 어떤 dtype으로 넣지... 

우리팀은 jsp에 movie_info/movie_score를 가져올 때 어차피 출력의 용도였으며 연산을 위한 것이 아니었으므로 

text의 형태로 넣어주게 되었다. 

 

다시 진행시킨다. 

성공했다!

새로고침 후, 정상적으로 tables에 아까 import한 json파일이 DB table로 생성되어있는 것을 확인할 수 있다.