Skip to content

dumindu/web-scraper

Repository files navigation

web-scraper

Database Design

Database Design

Email Design

Email Design

Credits go to leemunroe/responsive-html-email-template

MailHog: http://localhost:8025 Username: user Password: password

Ed25519 JWT Signing and Verification Keys

Token Design

Public/ Private PEM keys for access/refresh tokens

openssl genpkey -algorithm ed25519 -outform PEM -out access-private-key.pem
openssl pkey -outform PEM -pubout -in access-private-key.pem -out access-public-key.pem

Project Design

.
├── cmd
│   ├── api
│   │   └── main.go
│   ├── dbmigrate
│   │   └── main.go
│   └── worker
│       └── main.go
├── database
│   └── migrations
│       └── 00001_create_initial_tables.sql
├── internal
│   ├── api
│   │   ├── errors
│   │   ├── handlers
│   │   │   ├── health
│   │   │   │   └── handler.go
│   │   │   ├── keyword
│   │   │   │   └── handler.go
│   │   │   └── user
│   │   │       ├── handler.go
│   │   │       └── handler_model.go
│   │   └── router
│   │       ├── middleware
│   │       │   ├── content_type.go
│   │       │   ├── content_type_test.go
│   │       │   ├── jwt_authentication.go
│   │       │   ├── request_id.go
│   │       │   ├── request_id_test.go
│   │       │   └── requestlog
│   │       │       ├── handler.go
│   │       │       └── log_entry.go
│   │       └── router.go
│   ├── config
│   │   └── config.go
│   ├── mailer
│   │   ├── conf.go
│   │   ├── mailer.go
│   │   ├── mailer_activation_email.go
│   │   └── tmpl
│   │       └── activation-email.html
│   ├── model
│   │   ├── keyword.go
│   │   ├── model.go
│   │   ├── token.go
│   │   ├── user.go
│   │   ├── user_activation_token.go
│   │   └── user_auth.go
│   ├── repository
│   │   ├── db.go
│   │   ├── keyword.go
│   │   ├── user.go
│   │   └── user_activation_token.go
│   ├── tasks
│   │   └── scrape.go
│   ├── utils
│   │   ├── ctxutil
│   │   │   ├── ctx_user.go
│   │   │   └── ctxutil.go
│   │   ├── jwtutil
│   │   │   ├── claims.go
│   │   │   ├── jwtutil.go
│   │   │   └── tokens.go
│   │   ├── logger
│   │   │   ├── logger.go
│   │   │   └── logger_test.go
│   │   └── validator
│   │       └── validator.go
│   └── workers
│       └── scrapeworker.go
├── LICENSE
├── mailhog.auth
├── openapi-v3.1.0.yml
├── compose.yml
├── Dockerfile
├── go.mod
├── go.sum
├── file.csv
└── README.md

Screenshots

💡 Whole website support light/ dark themes.

  • Sign up

sign-up.png

redirect-user-exists.png

  • Activation Code

activate-code.png

redirect-after-activation.png

  • Dashboard

dashboard.png

dashboard-widgets.png

  • Keywords

keywords.png

keywords-search.png

keywords-no-record.png

  • Upload

upload.png

upload-uploading.png

  • Dark mode

sign-in-dark.png

sign-in-light.png

  • Logs

docker-logs.png

About

No description, website, or topics provided.

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published