반응형

분류 전체보기 341

pycharm-copilot 베타버전 설치 방법

openAI 이후로 에이아이님이 안 계시면 코드를 어떻게 짰을지...생각하게 됩니다. 디테일한 부분이나 수정할 부분은 있지만 뚝딱 참고할 수 있는 코드는 만들어주니 편리해졌습니다. 주의. 사용하기 전에 copilot 사용할 수 있는 github 계정이 필요 1. Setting - Plugins - Github copilot 설치 2. restart IDE 3. github sign-in 4. 암호를 입력하는 창이 뜨는데 해당 암호는 다음과 같이 대기창 하단에 번호가 나와있습니다. 해당 값을 입력하면 sign-in 완료됨 5. 완료 6. 하단의 코파일 창을 볼 수 있습니다. 덧, 안되는 경우 update나 버전 확인 필요 확실히 생산성이 빨라졌습니다. 에러 찾는 것도 줄어들었습니다

Python 2023.05.12

한국어 텍스트 데이터 전처리

비정형 데이터 중 가장 많이 언급되는 것이 텍스트 데이터입니다. 일반적으로 전처리 코드는 영어를 중심으로 되어 있어서, 한글만을 위한 전처리 도구는 조금 공수를 들여야 하는 경우가 많습니다. 오픈 소스 라이브러리 자료들도 많이 올라와 있지만, 영어보단 활성화되진 않았습니다. 한국어는 영어처럼 띄어쓰기를 기준으로 관사와 명사, 형용사를 분리할 수 없는 독특한 구조를 가진 글자라서 처리할 때 좀 더 까다롭지 않을까란 생각을 합니다 한국어 전처리는 다음과 같은 과정들을 거친다고 생각합니다. 1. 텍스트 데이터 수집 2. 텍스트 cleaning 과정 - 필요없는 텍스트 제거 -불필요한 html 태그 제외 - 문장부호 제거 - 맞춤법 체크 - 띄어쓰기 - 반복되는 문자 정규화 3. 불용어 제거 4. 품사 Tagg..

NLP-writing 2023.05.07

미적분 - 경사 하강법(gradient descent)

호다닥 작성하겠습니다. 경사하강법 gradient descent 경사하강법은 인공지능에서 많이 언급되는 단어입니다. ML, AL 책에서 정말 많이 본 개념이 경사하강법 gradient descent 이었습니다. 영어 단어로 gradient 는 기울기, 경사, 변화나 증감을 의미하고, descent는 하강, 내려오다, 내려가다, 내리막이 되다 란 의미를 가진 단어입니다. gradient descent는 내려오는 기울기의 변화 란 뜻이 되면서 미분의 개념이 연결됩니다. 미분 공식들은 현재 상태에서 앞으로 어떻게 변화할지를 측정하니까요. 인공신경망에서는 최적의 파라미터 값을 찾을 때 많이 사용됩니다. 편미분 partial derivate AL에서의 미적분은 일반적인 미적분과는 다르게 다변량 미적분이 필요합니다..

NLP-writing 2023.04.27

server 날짜, 시간대 서울 기준 변경 UTC -> KST

Ubuntu 등 리눅스 server 날짜, 시간대 서울 기준 변경 UTC -> KST # sever time utc -> kst sudo ln -sf /usr/share/zoneinfo/Asia/Seoul /etc/localtime 관리자 권한으로 usr/share/zoneinfo에 있는 서울 시각을 /etc/localtime 폴더로 옮기는 것 sudo- 슈퍼유저 권한으로 실행 ln - 링크(link)를 생성 -sf 옵션 - symbolic link를 생성하되, 기존에 존재하면 덮어씌우라 `/usr/share/zoneinfo/Asia/Seoul` 경로: 시간대 데이터가 저장된 파일의 경로. 아시아/서울 시간대를 설정 `/etc/localtime` 경로: 시스템에서 현재 시간대를 설정하는 파일의 경로로 아..

linux 2023.04.25

[리버스]Pyinstaller exe에서 py로 변환(23.04.04)

하다보니 파일이 날라가서 복구하는데 리버스 엔지니어링이 필요했습니다. 작성한 스크립트 파일은 python 3.9 이기 때문에 디컴파일 프로그램 한 번으로 변환되지 않았습니다. de컴파일러와 버전 안 맞으면 복구 쉽지 않습니다. (안 될 수도) 이래저래 테스트해보기 위해서 여러 운영체제에서 테스트했습니다. 그 과정을 혹시나 싶어 정리...  해당 과정은 실행파일을 바이너리 파일로 추출하고, 추출한 바이너리 파일을 다시 원본 스크립트로 변환하는 과정. 실행파일을 바이너리 파일로 추출하는 건 pyinstxtractor를 활용했습니다. 최신 버전 python과 pyinstaller version을 지원함. # 실행 python pyinstxtractor.py {recover_file_name}.exe 제대로 ..

Python 2023.04.17

Linear Algebra 선형대수학 with NLP

Linear Algebra는 ML, AL 을 할 때 기초가 되는 학문입니다. 정말 방대한 분량이라서 아주아주아주 소량만 슬쩍 소개하는 걸로 포스팅합니다. 선형대수학을 도대체 왜 쓰는 걸까? 일단, 사람이 세상을 바라보는 것과 현재 셀프 진화하고 있는 컴퓨터가 데이터를 이해하는 것은 다릅니다. 사람이 화면에 떠다니는 이미지, 동영상, 음악 을 볼 때는 감각적으로 이해합니다. 눈과 귀가 메인이 되는데, 컴퓨터는 트랜지스터가 켜지고 꺼지는 1과 0으로만 이해합니다. 사람이 보는 데이터를 컴퓨터에게 이해시키기 위해서는 숫자가 필요합니다. 그것도 상당히 많은 숫자들의 나열이 필요합니다. 숫자들의 나열 array를 벡터라고 할 수 있고, 이 벡터가 컴퓨터가 보는 세상입니다. 선형대수학은 벡터를 다루는 학문이고, ..

NLP-writing 2023.04.09

[windows]이니세이프 삭제/침입 경로 INISAFE CrossWeb EX V3

일단 본론부터 windows: 시작 - 프로그램 추가/제거 - Inisafe CrossWeb EX V3 3.3.2.40 이하 버전 - 제거 해당 프로그램은 금융 홈페이지 접속할 때의 보완 프로그램이라고 하니, 만약 윈도우에서 금융 앱등을 접속하는 분들의 경우에는 확인이 필요합니다. 맥에도 확인해봤는데 맥으로 금융앱을 들어갈 일이 없어서 맥에는 따로 발견하지 못했습니다. 뉴스에도 떴으니, 꼭 확인하시길🙏🏻 https://www.krcert.or.kr/kr/bbs/view.do?bbsId=B0000133&nttId=71030&menuNo=205020 KISA 인터넷 보호나라&KrCERT KISA 인터넷 보호나라&KrCERT www.krcert.or.kr

Network 2023.04.05

3. Probability - 베이지안Bayesian

목차 2023.02.25 - [NLP-writing] - 1. 자연어 처리란 무엇일까? 2023.03.20 - [NLP-writing] - 2 정규표현식을 익히자 Regular Expression with Python Intro 머신러닝과 인공지능 분야에서 베이스가 되는 확률 중 하나가 베이지안 확률입니다. 그 외의 로지스틱 회귀 분석, 정규 분포, 이항, 푸아송, Likelihood 추정 등이 모두 중요하지만, 오늘 주요하게 다루고 싶은 주제는 베이지안 확률입니다. 베이지안 확률이 왜 필요한지? 일단 why 를 중요하게 생각합니다. 무언가를 배울 때 이건 도대체 왜? 탄생을 했고, 도대체 왜 필요할까? 란 질문을 던지면 나름 대답을 해보면서 이해하기가 수월해집니다. 확률에는 일반적으로 추론(Infere..

NLP-writing 2023.03.26

chromedriver, Crontab, 저장된 파일 위치, 권한 issue

crontab과 chromdriver 이전 글 이전 글에서 크론탭과 크롬드라이버가 문제를 해결하기 위해서 1. 경로를 크론탭에 작성하고 2. 크롤링 과정이 창으로 보이도록 뜨지 않도록 설정하고, 3. 저장하는 파일을 csv로 수정하고, 이렇게 수정했었는데, 해결하려면 추가 과정이 필요하다. 4. 루트(최고) 권한 수준해서 해당 사용자가 크론탭을 사용하는 걸 허가해주어야 한다. # root로 접속 su - # cron.allow 나 cron.deny 확인해보기 ls -l /etc/cron.allow /etc/cron.deny /etc/at.allow /etc/at.deny # vim or nana 등등 편집 vim /etc/cron.allow # 여기에서 root(최종권한)이나, username (해당 사..

Python 2023.03.21

2 정규표현식을 익히자 Regular Expression with Python

목차 1. NLP 란 (링크 : https://summerorange.tistory.com/entry/1-%EC%9E%90%EC%97%B0%EC%96%B4-%EC%B2%98%EB%A6%AC%EB%9E%80-%EB%AC%B4%EC%97%87%EC%9D%BC%EA%B9%8C) 2. 정규표현식을 익히자 3. 확률 4. 선형대수 5. 미적분 6. 텍스트 전처리 7. 분류 8. 텍스트 유사도 9. Bert & Gpt 10. ChatBot 한줄평: Text처리에는 정규표현식이 쵝오👍 정규표현식이란? Python에서 원하는 텍스트만 추출할 때 꼭 써야 하는 게 정규표현식입니다. 파이썬 뿐만 아니라 JAVA, C, JavaScript, PHP, Rust, C++, 에도 지원합니다. 파이썬 이외에도 자주 썼던 경우는, ..

NLP-writing 2023.03.20

Windows 11 클림쉘 모드 변환 방법(2023.03 기준)

안녕하세요. WINDOWS 11에서 맥북 처럼 클림쉘 변환하는 방법입니다. 아주 간단한 방법입니다. 전원 관리 옵션 편집 항목에서 설정을 변경하면 됩니다. 전원 사용일 경우, 디스플레이 끄기 - 해당 없음 컴퓨터를 절전 모드로 설정 - 해당 없음 으로 선택한 다음, 노트북을 닫아도 연결된 외부 모니터에 화면은 유지되게 됩니다. 작성기준 : 2023.03.16

General-Info 2023.03.16

1. 자연어 처리란 무엇일까?

https://summerorange.tistory.com/entry/%EA%B8%80%EB%98%90-NLP-writing-%EC%9D%BC%EC%A0%95 [글또] NLP writing - 일정 2023년에는 좀 더 다양한 활동을 시도하고 싶어서, 글쓰는 개발자 라고 글또에 참여하게 되었습니다. 사실 처음 참여해서 아직 잘 모르지만... 일단 들어가서 활동해보고 난 뒤에 자세하게 쓸 수 summerorange.tistory.com (*제가 이해한 것 기준으로 작성했습니다. 잘못된 정보가 있을 수 있습니다.) 1. 자연어란? 자연어 처리란 무엇인지에 대해서 자연어 처리의 산물인 chatGPT에게 물어보았다. 일단 한국어와 영어 모두 질문을 동일하게 물어봤다. 한국어로 질문할 때 대답하는 것을 잘보면 영..

NLP-writing 2023.02.25

chromedriver 과 crontab 문제-/usr/bin/google-chrome is no longer running

크롤링 해서 아침마다 자동으로 작업해두도록 뭘 짰는데, crontab으로 스케쥴 맞춰 두었는데 작동을 하지 않는다. 표 긁어서 엑셀로 자동으로 만들어 주고, 아침마다 그걸로 보고할 수 있는 업무 자동화 프로그램이었다. 코드 짜는 게 귀찮아서 그렇지 한 번 만들어 두면 매일 아침마다 스크랩 안 해도 되서 편하다. chromedriver 경로와 디스플레이, crontab 간에 문제가 있는 것 같다. File "/home/user1/anaconda3/lib/python3.8/site-packages/selenium/webdriver/remote/errorhandler.py", line 242, in check_response raise exception_class(message, screen, stacktra..

linux 2023.02.19

SQLAlchemy - db.create_all()

main.py에서 돌리면 db.create_all()을 돌리면 에러가 나서 파이참 terminal을 이용해서 만들었다. 1. export 시키기 export FLASK_APP=(현재작업중인메인파이썬파일. 예를 들어 main.py 혹은 app.py) 2. shell connect flask shell 3. from (해당 파일) import db, (테이블이름) 데이터베이스 내용 불러오려니 에러가 긴다. 아직 해당 테이블이 만들어지지 않았다. 4. 해당 데이터베이스 만들기 db.create_all() SQLAlchemy 관련 참고할 사이트: 여기가 정리가 굉장히 잘 되어 있다. https://www.digitalocean.com/community/tutorials/how-to-use-flask-sqlalc..

Python 2023.02.19

Apple Developer program 갱신 / 갱신 방법

메일을 받았다. 사실 메일을 여러 통 받았다. 갱신 메일 상당히 많이 오는 것 같다. 맨 처음 짠 코드에서 pull request 해 주신 부분 반영도 못한 채로 벌써 갱신 메일을 받았다. ios 길 대신 다른 길을 가고 있어서 ios 트렌드를 사실 잘 모른다ㅠㅠ swift UI로 전부 다 바뀐다고 해서 swift UI도 살짝 발을 담궜었는데. 현재 2023년. 아직까진 아니다. UI kit 만세. object-c 코드도 여전히 쓰이고 있는 것 같다. 주위의 iOS 개발자 분들에게 그렇다고 들었다. 갱신 방법은 맥북에서 APP store 에 들어가 Developer 앱을 다운 받아서 로그인 하면 다음과 같이 프로그램과 갱신하기 버튼이 있다. 매년 자동 갱신되는 구독 형태로 바꿨다. 앱 출시하고 나면 이것..

iOS_Swift5 2023.02.12

[글또] NLP writing - 일정

2023년에는 좀 더 다양한 활동을 시도하고 싶어서, 글쓰는 개발자 라고 글또에 참여하게 되었습니다. 사실 처음 참여해서 아직 잘 모르지만... 일단 들어가서 활동해보고 난 뒤에 자세하게 쓸 수 있을 것 같습니다. 현업에 계신 다른 개발자 분들과 소통할 수 있는 기회는 언제든 반갑고, 다양한 의견을 들을 수 있으면 정말 좋죠. 참여하면서 뭘 써야 할지 고민을 하다가 NLP 와 관련해서 주제를 잡아서 글을 써보기로 결심했습니다. 디테일한 일정은 다음과 같고 각 주제에 맞게 관련해서 글을 써보는 연습입니다. 개발자의 숙명이 일하면서 끊임없이 배워야 하는 건데, 거기에 글쓰기를 약간 더했습니다. ⭐️ 함께 글을 쓰자 라는 글또 모임에 뭔가 제가 줄 수 있는 부분을 고민하다보니. 응원입니다💪💪💪 초기엔 솔직히 ..

NLP-writing 2023.02.11

갓 개발하며 느낀 점들

아직 얼마 되지 않았으니... 이 때 느꼈던 것들을 기록하면 나중에 도움이 되겠지 싶어서 남깁니다. 매우 주관적인 생각입니다. 개발하면서 느낀 것 생각보다 사용자가 원하는 건 단순한 기능이다 그런데 사용자는 그런 기능이 있는지 몰랐고. 알더라도 사용하기 편하지 않으면 절대 쓰지 않는다 당연하게 여기는 기능들은 실은 당연하지 않다. 사용자는 당연하게 쓰지만 사실 보이지 않는 뒤에는 많은 작업들이 돌아간다. 그 간극을 몰라서 대부분 유명하게 알려진 기능들을 쉽게 만들 수 있다고 생각한다. 개발자는 그 기능들을 만들기 어렵다고 인지하고 있지만, 어려운 작업들을 당연시 여기는 부분이 상당히 많다 (예 커뮤니케이션만 잘 하면 안 만들어도 되었을 기능들) 이지만 어떻게든 만들기 위해 끊임없이 노력하면서 수정한다 어..

untagged 2023.02.10

Pycharm 라이브러리 설치 안될 때, flask_bootstrap, venv 에러, activate virtualenv from pycharm terminal

windows 설정 환경에서 다음과 같은 문제가 많이 생기는 것 같다. 맥에선 이런 에러가 안 났다ㅠ pycharm 를 켰을 때 다음과 같이 activate.ps1 파일을 업로드 할 수 없습니다. 라는 경고문이 든다면, 가상 환경 설정 과정에서 문제가 있어서, 외부 라이브러리 설치에 문제가 있을 수 있다. remotesigned 설정을 해주면 된다. 관리자 권한으로! 다음과 같이 외부 설정 과정을 변경해 주면 파이참을 켰을 때, 맨 앞에 ps1이 아닌, (venv)라고 설정된 가상 환경이 자동으로 불러와짐을 터미널에서 확인 할 수 있다. 한참 고생하다가 알아낸 방법인데, 이 에러 말고 다른 에러일 수도 있다.🥲 그렇다면... good luck👏 💪 하단의 포스팅을 추가로 참고했다: •https://oye..

Python 2023.02.05
반응형