IT114 네이버 스마트스토어 상품 가져와서 쿠팡에 자동으로 올리는 프로그램 만들기 스마트스토어에서 상품을 대량으로 올려서 팔고 있습니다. 말이 대량이긴 한데, 아직 3천 건 정도밖에 안되긴 합니다.그래서, 이 상품들을 쿠팡과 다른 온라인 마켓에 올려보려고 합니다.일단 계획은 네이버 커머스 API를 통해 상품 정보를 가져오고 이 정보를 이용해서 쿠팡 API로 자동으로 상품 등록을 해보려고 합니다.Table Of Contents 1. 네이버 커머스 API 센터2. 쿠팡 API 키 발급 및 조회쿠팡 API 키 발급쿠팡 API 키 조회3. 쿠팡 상품 등록 절차 이해하기4. 물류센터 API로 반품지와 출고지 코드 가져오기5. 카테고리 정하기1. 네이버 커머스 API 센터먼저 네이버 커머스 API 센터에서 상품 정보를 가져와서 이 정보들을 쿠팡의 상품으로 등록할 정도의 정보가 나오는지 확인해 봐.. 2024. 10. 28. 우분투 20.04 리눅스에서 crontab(크론탭)으로 주기적인 작업 자동화하기 파이썬으로 크롤링을 돌려서 주기적으로 특정 작업을 하는 프로그램을 만들었습니다. 이 프로그램은 주기적으로 매일 돌려야해서 자동으로 우분투에서 실행되게하고 저는 가끔 로그만 보고 싶습니다. 어떻게 해야할까요?바로 linux에는 crontab이라는 명령이 있어서 주기적인 작업을 자동화 할 수 있습니다. Table Of Contents주기적인 작업을 위한 crontab명령 해석하기리눅스 장비 시간이 UTC로 맞춰져 있는 경우오늘은 ubuntu 계정에서 주기적으로 수행해야하는 "nohup python3 ..." 명령을 crontab으로 매일 밤에 동작하도록 자동화 해보려고 합니다.주기적인 작업을 위한 crontab매일 새벽 2시에 nohup python3 web-tools/ss-crawling/apiSellou.. 2024. 10. 21. 우분투에서 크롬 드라이버와 Selenium으로 headless(헤드리스) 웹 크롤링 문제 해결하기 크롬 드라이버와 셀레니엄을 통해 로그인을 하는데 headless로 했더니 아래와 같이 버튼 클릭시 에러가 납니다. 오늘은 헤드리스로 느린 우분투 서버에서 동작시킬때 왜 문제가 발생하는지 알아보겠습니다. Traceback (most recent call last): File "web-tools/ss-crawling/apiSellout.py", line 31, in main inStockOriginProductsNo.extend(crawlerupick.checkInStockAPI(productsCodes)) File "/home/ubuntu/web-tools/ss-crawling/crawlerUPick.py", line 840, in checkInStockAPI inStockCodes = se.. 2024. 9. 23. 파이썬으로 웹 페이지 크롤링 - 홈페이지 로그인 하기 특정 사이트에 홈페이지에 로그인을 하여 로그인 한 상태에서 웹 사이트를 크롤링하는 경우가 많습니다. 이를 위해서 오늘은 로그인을 하기 위한 기술들과 코드를 알아보도록 하겠습니다. Table Of Contents로그인 페이지 찾기개발자 모드에서 페이로드 찾기코드 작성하기로그인 페이지 찾기먼저, 로그인을 하는 페이지를 찾아야 합니다. 로그인 하는 페이지를 찾고 URL을 알아낸 후 해당 URL에서 데이터를 보내는 페이로드를 찾아 동일한 내용으로 request를 보내면 로그인이 됩니다. 개발자 모드에서 페이로드 찾기이때, 네트워크 탭에서 캐시 사용 안 함을 체크해 놓고 하는 것이 좋습니다. 아래와 같은 페이로드를 찾아서 실제 코드에 동일하게 붙여 넣으면 됩니다. saveId는 n으로 바꿔줬습니다. 코드 작성하.. 2024. 9. 23. 리눅스(우분투 20.04)에서 커맨드라인으로 구글 크롬(google-chrome) 설치하기 저는 오라클 클라우드 서버를 무료로 사용중에 있습니다. 성능은 느리지만 오라클 클라우드는 평생 무료 서버를 제공해 줍니다. 물론 과정은 조금 힘들었는데, 현재는 오라클에서 평생 무료 서버를 할당 받아서 사용중입니다.여기에서 크롬을 설치할 필요가 생겼습니다. 그래서, 오늘은 GUI가 없는 우분투에서 CLI를 사용하여 Google Chrome을 설치하는 방법을 알아보고 하나씩 따라해 보도록 하겠습니다. Table Of Contents1. 필수 패키지 설치2. Google Chrome의 GPG 키 추가3. Google Chrome의 소스 리스트 추가4. Chrome 설치5. 확인6. 크롬 실행 테스트7. 한글 폰트 설치8. 폰트 캐시 갱신9. Chrome 재시작1. 필수 패키지 설치Google Chrome을 .. 2024. 9. 23. 워드프레스 블로그 홈페이지 1분만에 자동 목차 차례 만들고 적용하기 - 플러그인으로 가장 쉽게 하기 최근 워드프레스로 홈페이지를 만들었습니다. 이 홈페이지는 저희 제품에 대한 쇼핑몰과 함께 건강관련 정보를 제공하는 블로그로 활용하기로 마음먹었습니다. 그러다보니, 블로그 글에 목차가 나오면 좋을 것 같아서 워드프레스 홈페이지에 자동목차를 적용하는 방법을 적용해 보았습니다.오늘은 워드프레스 홈페이지에 자동목차를 적용하는 가장 쉬운 방법을 차근차근 설명해 드리겠습니다. 자동목차를 적용하면 긴 글의 가독성을 높이고, 사용자가 원하는 섹션으로 쉽게 이동할 수 있게 됩니다.가장 쉬운 방법은 플러그인을 사용하는 것입니다.Table Of Contents1. 플러그인 설치2. 플러그인 설정3. 목차 확인 및 적용4. 특정 포스트에서 목차 활성화 또는 비활성화5. 요약1. 플러그인 설치자동목차를 적용하기 위해, Easy.. 2024. 8. 28. 우분투 리눅스(ubuntu linux)에서 selenium으로 웹 크롤링 하기 파이썬으로 beautifulshop을 이용해서 크롤링을 하고 있었습니다. 그런데, 특정 사이트가 웹 브라우저가 아니라고 자꾸 418 client 에러를 뱉어냅니다.결국, 크롬 selenium을 이용해서 실제 크롬 웹 브라우저를 띄우고 크롤링을 해야겠다는 생각으로 시도해 보았습니다.결과는 매우 잘 되는 것을 확인할 수 있었고, 아래에 이러한 과정을 기록해 놓았습니다. 추가로 우분투에서 특정 사이트를 크롤링 하거나 로그인 하는 작업을 할때, request로 가능한 사이트가 있습니다. 하지만, 많은 사이트들은 파이썬의 일반 request를 이용하면 헤더를 보거나 다른 신호를 파악해서 에러를 반환합니다. 크롤링으로 너무 많은 작업을 요청하면 사이트에 문제가 생기거나 할 수 있어서 그렇습니다. 파이썬의 requ.. 2024. 8. 17. 파이썬(python3) 실행파일(exe) 만드는 법 - pyinstaller 설치부터 생성까지 요즘에 파이썬으로 간단한 도구를 만들면서 취미생활을 하고 있습니다. 그런데, 이걸 다른 사람에게 전해주려니 그냥 주면 안 될 것 같아서 실행파일을 만들어서 주려고 합니다.파이썬 스크립트를 실행 파일(exe)로 변환하면, 파이썬이 설치되지 않은 컴퓨터에서도 프로그램을 실행할 수 있습니다. pyinstaller는 이러한 작업을 쉽게 도와주는 도구입니다. 오늘은 pyinstaller를 설치하고, 파이썬 스크립트를 실행 파일로 만드는 과정을 단계별로 설명하겠습니다.Table Of Contents1. pyinstaller 설치2. 파이썬 스크립트 준비3. pyinstaller로 실행 파일 생성4. 생성된 실행 파일 확인5. 추가 옵션6. 주의사항결론1. pyinstaller 설치pyinstaller를 설치하려면 .. 2024. 7. 22. 구글 애드센스 최초로 가입하는 법과 티스토리 계정 연결 ( 가족 명의로 가입 하기) 애드센스 계정은 1인당 한 개의 계정을 유지할 수 있습니다. 하지만, 저는 계정이 한번 날아간 적이 있어서 한 개의 계정으로만 유지하기가 불안하더군요.그래서, 가족 명의로 하나의 애드센스 계정을 더 만들려고 합니다. 성인이라면 누구나 계정을 만들고 주소를 인증하면 되기 때문에 가족 계정으로 만들 수 있습니다.주의하실 점은 계정 만들때, 도메인을 사용해야 나중에 하나의 계정이 날아가더라도 서브 도메인을 통해 다시 광고를 송출 할 수 있습니다.Table Of Contents1. 애드센스 가입하기 2. 애드센스 개인정보 확인하기 3. 티스토리에 도메인 입히기4. 애드센스에 사이트 등록5. 애드센스 승인 검토 요청오늘은 애드센스를 처음 가입하는 과정으로 하나씩 만들어 보도록 하겠습니다.1. 애드센스 가입하기먼저.. 2024. 5. 20. 파이썬에서 DB 프로시저 호출하기 - pyodbc에서 procedure 호출 제가 사용중인 ubuntu에서 설치된 pyodbc는 현재 .callproc 메서드가 존재하지 않습니다. 관련해서 pyodbc에서 procedure를 호출하는 방법을 알아보도록 합니다.Table Of Contents기본 Procedure 사용방법1. 인자없는 프로시저 호출2. 입력 인자만 있는 프로시저 호출3. 프로시저 배치로 실행하기 4. 출력(output) 인자 처리하기기본 Procedure 사용방법ODBC는 프로시저 호출과 관련하여 ODBC 드라이버에서 지원해야 하는 {CALL ...}, ODBC CALL escape clause가 존재합니다. 이 내용은 MS SQL Server spec에 존재합니다. 더 자세한 내용은 아래 링크를 확인해 주세요.ODBC CALL escape clause 보러 가기p.. 2024. 5. 14. 레디스(Redis) AOF(Append Only File)을 통해 데이터를 유지하는 방법 이 글에서는 Redis의 데이터 복구를 책임지는 AOF에 대해서 간략하게 알아보고, 사용법과 켜는 방법을 알려드리겠습니다.Table Of ContentsRedis의 AOF(Append Only File) 파일이란?redis의 AOF(append only file) 로깅 켜는 방법 1. redis-cli로 설정하기 2. redis.conf 파일로 설정하기Redis의 AOF(Append Only File) 파일이란?Redis의 AOF(Append Only File) 파일은 데이터의 내구성을 보장하기 위한 방법 중 하나입니다. AOF는 Redis에서 발생하는 모든 쓰기 작업(Write Operation)을 로그 형태로 기록합니다. 이렇게 하면, Redis 서버가 예기치 않게 종료되더라도 AOF 파일을 통해 데.. 2024. 5. 3. 레디스(Redis)와 MySQL 동기화 방법 4가지 알아보기 ( 예제 포함 ) Redis를 캐시로 이용할 때 레디스와 MySQL 또는 Postgresql등의 RDBMS 와의 데이터 동기화를 위한 몇 가지 전략을 정리하였습니다. 1. 레디스의 키 스페이스 알람을 이용한 전략 ( Keyspace Notifications in Redis )레디스의 키 스페이스 알람(notification)을 이용한 동기화 전략에 대해서 알아보겠습니다. 동기화 방법Redis의 키에 HSET, HMSET, HDEL, DEL과 같은 명령을 Subscribe 등록 합니다. 키가 삭제되거나 해시값이 설정되거나 제거될 때마다 알림을 받게 됩니다.Redis keyspace notifications 보러 가기 예제 코드레디스의 키스페이스 알림을 활용하여 MySQL과 동기화하는 것을 예제를 통해 설명드리겠습니다. 예제.. 2024. 5. 3. 이전 1 2 3 4 ··· 10 다음