반응형

전체 글 341

Kali - Snore apt-get install 설치

kali 에서 sudo apt-get install snort 하면 에러가 떠서 해결 방법. 다른 분들이 이미 올려주신 게 있는데 테스트 해보니 잘 되서. 마찬가지로 혹시 몰라서 포스팅. (23.10) 혹시 모르니 백업하기. source list 백업 mv /etc/apt/sources.list /etc/apt/sources.list.bak 이전 업데이트 삭제 find /var/lib/apt/lists -type f -exec rm {} \; sources.list 변경 # vim, nano, cat? editor 활용 sudo vim /etc/apt/sources.list Virtual box에서 다루고 있어서 다음과 같이 수정했다 # 해당 editor에서 하단의 내용을 붙여넣고 :wq! deb [ar..

linux 2023.10.09

Bard API key 오류 / error

23.10.04 현재 beta 버전의 Bard. chatGPT 와 Bard를 사용하고 있는데 Bard는 현재 베타 버전이지만 !pip install bardapi 요 라이브러리를 설치한 뒤 호출해서, 쿠키 값을 활용해서 api 활용할 수 있다. api를 임시로 끌어 쓸 수 있는데 키값 에러가 나는 경우가 있다. 보통 다음과 같이 뜬다. __Secure-1PSID를 제대로 찾아서 넣었는데도 이 에러가 뜬다면, 153 if not snim0e: --> 154 raise Exception( 155 "SNlM0e value not found. Double-check __Secure-1PSID value or pass it as token='xxxxx'." 156 ) Exception: SNlM0e value n..

Python 2023.10.04

문해력 테스트 - 주식 계산

EBS 문해력 테스트 관련해서 유튜브에서 영상을 최근에 봤다. 그런데 문해력 테스트인데 주식 관련한 계산이 나와서 호기심에 풀다가, 이걸 나만 잘못 계산한 건지 헷갈려서 끄적끄적. 보통 매매할 땐 수수료가 들죠. 특히 팔 때는 좀 더 들구요. 그리고 딴 얘기지만 수수료가 좀 더 괜찮은 증권사가 있을 듯한데... 문제는 다음과 같습니다. 계산을 해봤는데, 990만원 어치를 매수했다. 이 부분에서, 990만원 어치 매수 할 때, 0.3% 수수료를 부과하기 때문에, 987.03 만원, 대략 987만원 어치가 주식 통장에 있을 것이고, 저기에서 1000만원 어치의 주식이 되었으니 이득을 본 금액 12.97 대략 13 만원... 그리고 매도할 때는 0.3% 수수료에 0.23% 증권 거래세 를 떼기 때문에 0.53..

Math 2023.08.31

ubuntu) 한/영 키가 먹지 않을 때

이것저것 눌러보다가 알게 된 부분인데, 저 부분을 맨 앞으로 설정하면 됩니다. Hangul 오른쪽에 한국어라고 인식이 되어 있는데, 그 외에는 모름 이라고 인식이 안되는 듯합니다. 상하 순서만 바꿔줍니다. 인식된 부분을 위쪽으로 올려주면 한/영 키가 제대로 작동합니다. 저 설정은 맨 하단에서 키보드 혹은 태극모양을 클릭하고 설정을 클릭하면 찾을 수 있습니다. 그 외에 이것저것 바꿔봤는데, 맨 위 처럼 한글 인식된 부분만 맨 첫번째 위치에 있으면 인식되는 듯합니다. 가끔 인식이 잘 안되서 왜 그러는지 알 수 없음. 설정을 이것저것 바꿔보면서 테스트하는 수밖엔 없는 듯합니다

linux 2023.08.30

[수학적 증명 필요]두 그래프의 교점 찾기 / how to calculate two graph intersection without slope and intercept. trapezoid

두 그래프의 교점을 찾는 방법 중에 신기한 방법이 있어서,,, 직관적으로는 해당 방법이 맞는 것 같은데, 수학적으로 증명을 어떻게 해야 하는진 모릅니다. 다음과 같이 하단 x 값과 y값을 가진 두 그래프가 서로 만나는 지점이 있습니다. 그래프는 직선 그래프가 아니라 특정 가격에서 나타난 값들을 이은 다항 그래프입니다. 구간은 11500 달러 ~ 12000 달러 사이에 해당 값들이 들어가 있습니다. 그럼 저 구간 사이를 직선으로 구해서 겹치는 값을 구하면 되지 않을까 라고 하는데, 절편 구하고 기울기 구할 필요 없이 간단한 방법입니다. { ((42.00 - 25. 50) /(38.40-28.40) + (42.00 - 25.50) ) * (12000 - 11500) } + 11500 이런 형식으로 코드가 짜..

Math 2023.08.29

flask)직접 신청폼 만들기-1 / flask-sqlite3 연결하기

8월 달엔 한 번 해보고 싶은 원데이클래스 - 직접 개발 스티커 만들어보기! 모임을 해보려고 합니다.., 그런데 신청폼을 직접 flask로 만들어서 받아보려고 합니다. 구글 신청폼이나 노션 등등 많이 있지만, 직접 만들어서 쓰는 걸로... 이유는? 직접 만드는 게 더 기억에 남을 것 같습니다. 예상 기획 Draft는 다음과 같습니다. ㄱㅣ획은 그림그리듯 손으로... home 이나 index.html 에는 3가지 html을 연결할 겁니다. 1 Register 폼이 있는 등록 페이지, 2 신청 인원을 볼 수 있는 명단 페이지, 3 온라인 갤러리 페이지. 하지만 갤러리까지 만드는 건 시간 없을 것 같아서 갤러리는 노션 링크를 붙여넣기로 했습니다. 여기에 추가로 전반적으로 관리가 되는 관리자 페이지는 보이지 않..

Python 2023.07.30

[마무리] What's Next?

글또 8기 마무리 회고! 7월 중반입니다~~ 2023년 한 해의 거의 절반이 온 것 같네요. 뜻한 바 대로 잘 이루고 있으시면 좋을 것 같습니다🙏🏻 글또는 어떻게 알게 되었는지? .... 매번 뭘 만들 때마다 구 박사님(Google)을 매번 찾아뵙게 됩니다. 그런데 구 박사님이 제시한 맨 앞 상단 검색창은 주로 티스토리였고.., 개발 블로그를 주로 읽다보니 알게 되었습니다. 글또 활동을 한 이유? - 다른 개발자 분들은 어떻게 사시나...👩‍💻🧑‍💻 - 영감을 받고 나도 잘해야지...👽 이 2가지 이유입니다. 너무 가깝지도 너무 멀지도 않은 적당한 거리를 유지하면 좋지 않을까 싶어서 활동을 하게 되었습니다. Computer Language를 다루는 공통점이 있으니 대화는 잘 통할 거라고 생각했습니다. 그..

NLP-writing 2023.07.16

chatbot 만들기 실패 - google spreadsheet 연결하는 법

chatbot과 관련해서 쓰려고 이것저것 만들어보다가 완성을 못해서 오늘은 실패 기록기... 발화자의 의도 분류 모델 만드는 데 시간쓰기 보단 google spreadsheet를 데이터베이스 대용으로 써보려고 하는 뻘짓이 더 많았습니다. mysql, sqlite3, postsql 등 쓰면 될텐데 굳이 spreadsheet를 연동해서 써보는 걸 테스트 해보고 싶었습니다... 챗봇이란 chatbot은 chatter + robot 의 합성어 입니다. 사람과 대화를 나누는데, 음성이나 텍스트 형태로 대화를 나누는 것을 뜻한다고 합니다. 그런데 최근엔 가상인간 이미지로 화면에 띄워져 있고, 집주인이 집에 들어오는 거 보고 서로 안부 대화를 나누는 시연 장면을 본 적이 있었는데, 요약하면 사람과 대화를 나누는 로봇..

NLP-writing 2023.07.02

A6 사이즈 스티커 굿즈 제작하는 법 (feat.글또)

🙂스티커 굿즈 제작방법 정리🙃 사실 처음 만들어 봅니다.... 딱히 가이드라인이나 만드는 법 등이 없어서...🥲 검색해가면서 만들었습니다. 글또 준비위하면서 어떻게 만들었는지 한 번 정리해두면 좋지 않을까 해서 작성했습니다. 꼭 이렇게 만들라는 게 아닙니다. 사실 잘 몰라요!!ㅋㅋㅋㅋ 제작에 필요한 것: ipad & 👌(얼마나 줄 수 있니? - 예산 정하기) & 🙌 (파이팅) 여기에서는 예산 등등을 고려해서 A6 사이즈 (제일 작은 사이즈)를 기준으로 했습니다. 1. 아이패드 프로크리에이터 에서 선택, 가져오기, 사진, + 에서 저기 새로운 캔버스 오른쪽 버튼을 클릭. (프로크리에이터 앱은 유료입니다. 잘 만들어진 앱이니 개발자를 생각하며 구입합니다🥹) 2. 사이즈를 정합니다. 너비는 105mm, 높이는..

untagged 2023.06.24

BERT와 OpenAI GPT 란

* 잘못 이해한 내용이 있을 수 있습니다. 오늘은 BERT: Pre-trainining of Deep Bidirectional Transformers for Language Understanding 이라는 2019년도 5월에 발표된 논문을 읽어보고, BERT에 대해서 간략하게 작성했습니다. Google의 Bard와 OpenAI GPT 구글 Bard가 출시되었지만, chatGPT 만큼 핫하지 않은 것 같습니다. 구글이 앞서가고 있고 이런 저런 오픈 소스를 많이 풀고 있었는데 어느 순간 분위기가 바뀌었습니다. 재주는 google이 넘고 MS가 주가를 더 가져갔.... (광고주님 화이팅) 구글 Bard와 chatGPT의 차이에 대해서 살펴보려면, 일단 BERT의 개념에 대해서 살펴볼 필요가 있습니다. 간단하게..

NLP-writing 2023.06.18

Google애널리틱스4 전환하기-티스토리 및 워드프레스 설정하기

Google애널리틱스4 전환하기-티스토리 및 워드프레스 설정하기 애널리틱스4로 대체된다며, 다음과 같은 메일이 지속적으로 날라옵니다. 귀찮음을 이겨내고 호다닥 수정하러 갑니다... 애널리틱스4가 뭔지 모르지만... 1. 설정 완료하기 클릭해서 애널리틱스에 들어가면 맨 하단에 관리있습니다. 관리 클릭 2 속성 - 데이터 스트림 3 여기에서 화살표 클릭 4 하단에 GOOGLE 태그에서 태그 안내 보기 클릭 5 설치 안내 - 직접 설치 (tistory 인 경우) 하단에 코드를 복사합니다. 그리고 티스토리 설정으로 이동 6. 티스토리 설정으로 들어가서 꾸미기 - 스킨 편집 - html 편집 7. 사이에 해당 복사한 내용을 붙여넣습니다 before after 8. 상단의 저장 누르면 끝 워드프레스Wordpress..

Tistory정보 2023.06.13

텍스트 유사도-벡터 유사도

서론 ChatGPT는 일상 생활에 들어와서 없으면 안 될 존재가 되셨습니다. 저의 사수 같은 chatGPT....😂 가끔 사용하는 언어가 바뀔 일이 있어도 gpt 분이 계시기 때문에 괜찮습니다. 생산성과 효율성이 확실히 빨라졌다고 느낍니다. chatGPT를 사용해서 텍스트 요약이나 키워드 추출, 표 설명, 텍스트 생성 등을 하는 경우도 있습니다. GPT-4를 사용하고 있는데 플러그인을 잘 활용하면 문서 분류도 자동으로 해줍니다. 하지만 외부로 알려지면 안되는 개인정보나 중요한 정보의 경우엔 프롬프트를 사용하는 것이 금지되어 있죠. 최근엔 문서 분류와 관련해서 현업에서 활용할 것인지 고민하고 있습니다. 텍스트 유사도은 이런 문서 분류, 정보 검색, 기계 번역 등의 자연어 처리 분야에서 중요한 개념입니다. ..

NLP-writing 2023.06.04

(주의) 스타벅스 프리민트nft 피싱사이트 주의

해당 메일이 보이면 -> 바로 삭제! 네이버 메일로 다음과 같은 피싱사이트를 발견했습니다. 맨 처음엔 피싱사이트인지도 몰랐음. 너무 공식 사이트처럼 메일과 페이지를 꾸며놨거든요. 메일 주소를 보면 엄청 이상한데. 모바일로 보면 그냥 지나치게 됩니다. 공식 주소가 아닙니다. 아침에 휴대폰으로 모르고 들어가다가 뒤늦게 알아차렸습니다. 너무 그럴듯하게 해서 기분 나빴습니다. 그리고 색상이 공식 스타벅스의 초록색과 많이 다릅니다. 뭔가 그럴듯하지만. 뭔가 이상합니다. 어떻게 신청하고 언제까지 신청하라는 공식적인 설명문도 없을 뿐더러.... NFT가 뭔지 모르는 사람도 대상으로 설명을 해줘야할텐데. 그런 것도 없음. 이건 NFT가 뭔지 알고 코인이 뭔지 아는 사람을 대상으로 썼다는 느낌이 강하게 들고, 모르고 무..

General-Info 2023.05.24

텍스트 분류

삶을 살다가 이런 저런 문제들에서 공통점을 발견할 때가 있습니다. 매번 다르게 문제를 해결하는 것도 좋지만, 에너지와 시간을 절약하기 위해서 공통된 문제를 특정 값으로 처리하는 자동화 시스템을 만드는 과정도 있습니다. ML, AI... 머신러닝 분야에서 자주 언급되는 것 중 하나가 분류 과제입니다. 텍스트 분류 활용 텍스트 분류 과제는 여러 곳에서 활용되는데, 민원 분류 보이스피싱 분류 혐오 발언 분류 채용 및 사내 인사 평가 분류 스팸 메일 감성 분석 의도 분석 등과 같은 실무에서 활용할 일이 많은 과제 중 하나라고 생각합니다. 지도 학습, 비지도 학습 있지만,,, 대체로 지도 학습으로 많이 활용하지 않을까 싶습니다. 텍스트 분류에서 분류해야 할 범주가 2가지이면 Binary Classification..

NLP-writing 2023.05.21

pycharm-copilot 베타버전 설치 방법

openAI 이후로 에이아이님이 안 계시면 코드를 어떻게 짰을지...생각하게 됩니다. 디테일한 부분이나 수정할 부분은 있지만 뚝딱 참고할 수 있는 코드는 만들어주니 편리해졌습니다. 주의. 사용하기 전에 copilot 사용할 수 있는 github 계정이 필요 1. Setting - Plugins - Github copilot 설치 2. restart IDE 3. github sign-in 4. 암호를 입력하는 창이 뜨는데 해당 암호는 다음과 같이 대기창 하단에 번호가 나와있습니다. 해당 값을 입력하면 sign-in 완료됨 5. 완료 6. 하단의 코파일 창을 볼 수 있습니다. 덧, 안되는 경우 update나 버전 확인 필요 확실히 생산성이 빨라졌습니다. 에러 찾는 것도 줄어들었습니다

Python 2023.05.12

한국어 텍스트 데이터 전처리

비정형 데이터 중 가장 많이 언급되는 것이 텍스트 데이터입니다. 일반적으로 전처리 코드는 영어를 중심으로 되어 있어서, 한글만을 위한 전처리 도구는 조금 공수를 들여야 하는 경우가 많습니다. 오픈 소스 라이브러리 자료들도 많이 올라와 있지만, 영어보단 활성화되진 않았습니다. 한국어는 영어처럼 띄어쓰기를 기준으로 관사와 명사, 형용사를 분리할 수 없는 독특한 구조를 가진 글자라서 처리할 때 좀 더 까다롭지 않을까란 생각을 합니다 한국어 전처리는 다음과 같은 과정들을 거친다고 생각합니다. 1. 텍스트 데이터 수집 2. 텍스트 cleaning 과정 - 필요없는 텍스트 제거 -불필요한 html 태그 제외 - 문장부호 제거 - 맞춤법 체크 - 띄어쓰기 - 반복되는 문자 정규화 3. 불용어 제거 4. 품사 Tagg..

NLP-writing 2023.05.07

미적분 - 경사 하강법(gradient descent)

호다닥 작성하겠습니다. 경사하강법 gradient descent 경사하강법은 인공지능에서 많이 언급되는 단어입니다. ML, AL 책에서 정말 많이 본 개념이 경사하강법 gradient descent 이었습니다. 영어 단어로 gradient 는 기울기, 경사, 변화나 증감을 의미하고, descent는 하강, 내려오다, 내려가다, 내리막이 되다 란 의미를 가진 단어입니다. gradient descent는 내려오는 기울기의 변화 란 뜻이 되면서 미분의 개념이 연결됩니다. 미분 공식들은 현재 상태에서 앞으로 어떻게 변화할지를 측정하니까요. 인공신경망에서는 최적의 파라미터 값을 찾을 때 많이 사용됩니다. 편미분 partial derivate AL에서의 미적분은 일반적인 미적분과는 다르게 다변량 미적분이 필요합니다..

NLP-writing 2023.04.27

server 날짜, 시간대 서울 기준 변경 UTC -> KST

Ubuntu 등 리눅스 server 날짜, 시간대 서울 기준 변경 UTC -> KST # sever time utc -> kst sudo ln -sf /usr/share/zoneinfo/Asia/Seoul /etc/localtime 관리자 권한으로 usr/share/zoneinfo에 있는 서울 시각을 /etc/localtime 폴더로 옮기는 것 sudo- 슈퍼유저 권한으로 실행 ln - 링크(link)를 생성 -sf 옵션 - symbolic link를 생성하되, 기존에 존재하면 덮어씌우라 `/usr/share/zoneinfo/Asia/Seoul` 경로: 시간대 데이터가 저장된 파일의 경로. 아시아/서울 시간대를 설정 `/etc/localtime` 경로: 시스템에서 현재 시간대를 설정하는 파일의 경로로 아..

linux 2023.04.25

[리버스]Pyinstaller exe에서 py로 변환(23.04.04)

하다보니 파일이 날라가서 복구하는데 리버스 엔지니어링이 필요했습니다. 작성한 스크립트 파일은 python 3.9 이기 때문에 디컴파일 프로그램 한 번으로 변환되지 않았습니다. de컴파일러와 버전 안 맞으면 복구 쉽지 않습니다. (안 될 수도) 이래저래 테스트해보기 위해서 여러 운영체제에서 테스트했습니다. 그 과정을 혹시나 싶어 정리...  해당 과정은 실행파일을 바이너리 파일로 추출하고, 추출한 바이너리 파일을 다시 원본 스크립트로 변환하는 과정. 실행파일을 바이너리 파일로 추출하는 건 pyinstxtractor를 활용했습니다. 최신 버전 python과 pyinstaller version을 지원함. # 실행 python pyinstxtractor.py {recover_file_name}.exe 제대로 ..

Python 2023.04.17

Linear Algebra 선형대수학 with NLP

Linear Algebra는 ML, AL 을 할 때 기초가 되는 학문입니다. 정말 방대한 분량이라서 아주아주아주 소량만 슬쩍 소개하는 걸로 포스팅합니다. 선형대수학을 도대체 왜 쓰는 걸까? 일단, 사람이 세상을 바라보는 것과 현재 셀프 진화하고 있는 컴퓨터가 데이터를 이해하는 것은 다릅니다. 사람이 화면에 떠다니는 이미지, 동영상, 음악 을 볼 때는 감각적으로 이해합니다. 눈과 귀가 메인이 되는데, 컴퓨터는 트랜지스터가 켜지고 꺼지는 1과 0으로만 이해합니다. 사람이 보는 데이터를 컴퓨터에게 이해시키기 위해서는 숫자가 필요합니다. 그것도 상당히 많은 숫자들의 나열이 필요합니다. 숫자들의 나열 array를 벡터라고 할 수 있고, 이 벡터가 컴퓨터가 보는 세상입니다. 선형대수학은 벡터를 다루는 학문이고, ..

NLP-writing 2023.04.09

[windows]이니세이프 삭제/침입 경로 INISAFE CrossWeb EX V3

일단 본론부터 windows: 시작 - 프로그램 추가/제거 - Inisafe CrossWeb EX V3 3.3.2.40 이하 버전 - 제거 해당 프로그램은 금융 홈페이지 접속할 때의 보완 프로그램이라고 하니, 만약 윈도우에서 금융 앱등을 접속하는 분들의 경우에는 확인이 필요합니다. 맥에도 확인해봤는데 맥으로 금융앱을 들어갈 일이 없어서 맥에는 따로 발견하지 못했습니다. 뉴스에도 떴으니, 꼭 확인하시길🙏🏻 https://www.krcert.or.kr/kr/bbs/view.do?bbsId=B0000133&nttId=71030&menuNo=205020 KISA 인터넷 보호나라&KrCERT KISA 인터넷 보호나라&KrCERT www.krcert.or.kr

Network 2023.04.05

3. Probability - 베이지안Bayesian

목차 2023.02.25 - [NLP-writing] - 1. 자연어 처리란 무엇일까? 2023.03.20 - [NLP-writing] - 2 정규표현식을 익히자 Regular Expression with Python Intro 머신러닝과 인공지능 분야에서 베이스가 되는 확률 중 하나가 베이지안 확률입니다. 그 외의 로지스틱 회귀 분석, 정규 분포, 이항, 푸아송, Likelihood 추정 등이 모두 중요하지만, 오늘 주요하게 다루고 싶은 주제는 베이지안 확률입니다. 베이지안 확률이 왜 필요한지? 일단 why 를 중요하게 생각합니다. 무언가를 배울 때 이건 도대체 왜? 탄생을 했고, 도대체 왜 필요할까? 란 질문을 던지면 나름 대답을 해보면서 이해하기가 수월해집니다. 확률에는 일반적으로 추론(Infere..

NLP-writing 2023.03.26

chromedriver, Crontab, 저장된 파일 위치, 권한 issue

crontab과 chromdriver 이전 글 이전 글에서 크론탭과 크롬드라이버가 문제를 해결하기 위해서 1. 경로를 크론탭에 작성하고 2. 크롤링 과정이 창으로 보이도록 뜨지 않도록 설정하고, 3. 저장하는 파일을 csv로 수정하고, 이렇게 수정했었는데, 해결하려면 추가 과정이 필요하다. 4. 루트(최고) 권한 수준해서 해당 사용자가 크론탭을 사용하는 걸 허가해주어야 한다. # root로 접속 su - # cron.allow 나 cron.deny 확인해보기 ls -l /etc/cron.allow /etc/cron.deny /etc/at.allow /etc/at.deny # vim or nana 등등 편집 vim /etc/cron.allow # 여기에서 root(최종권한)이나, username (해당 사..

Python 2023.03.21
반응형